摘要:脑机接口技术为未来通信网络提供了一种全新的感知脑、感知人的方法,并且可以与网络内生智能双向赋能。以基于脑机接口的专注度分析作为切入点,深度探讨了基于脑机接口的专注度状态检测能力。首先,提出了一种基于神经网络的专注度状态检测算法,应用了注意力机制、卷积等技术,高
基于内生智能脑机接口技术的虚拟仿真
实验设计与专注度分析
2314(1.南京邮电大学自动化学院、人工智能学院,江苏 南京 210023;
2.中国科学院上海高等研究院,上海 201210;
3.江苏省送变电有限公司,江苏 南京 210028;
4.上海华位物联网科技有限公司,上海 200431)
【摘 要】脑机接口技术为未来通信网络提供了一种全新的感知脑、感知人的方法,并且可以与网络内生智能双向赋能。以基于脑机接口的专注度分析作为切入点,深度探讨了基于脑机接口的专注度状态检测能力。首先,提出了一种基于神经网络的专注度状态检测算法,应用了注意力机制、卷积等技术,高效提取了脑电信号在时、频、空(采集通道)域中的复杂特征。然后,招募了12位被试者,设计了面向电力巡检业务的虚拟仿真实验场景,针对每一位被试采集了专注状态与非专注状态对照的数据,进行后续的算法模型训练和测试。结果显示,所提算法相较于四种传统的脑电信号处理算法可以取得更高的专注状态识别准确率。探索了虚拟仿真实验与脑机接口技术的融合,所提方法有望进一步部署到未来内生智能计算硬件上,为基于脑机接口-网络一体化的系统高效运行提供支撑作用。
【关键词】脑机接口;内生智能;专注度检测;神经网络算法;仿真实验
doi:10.3969/j.issn.1006-1010.20241125-0003
中图分类号:TN929.5 文献标志码:A
文章编号:1006-1010(2025)03-0107-10
引用格式:吴巨爱,王振宇,陈春超,等. 基于内生智能脑机接口技术的虚拟仿真实验设计与专注度分析[J]. 移动通信, 2025,49(3): 107-116.
WU Juai, WANG Zhenyu, CHEN Chunchao, et al. Attention State Detection Based on Brain-Computer Interface and Network Endogenous Intelligence with Simulated Experiments[J]. Mobile Communications, 2025,49(3): 107-116.
0 引言
第六代移动通信技术(6G)作为下一代通信标准,旨在实现超越5G的性能提升和功能扩展。6G将通过内生智能、超低延迟、超高带宽和全球覆盖等技术突破,推动物联网、增强现实、自动驾驶等领域的发展。其核心目标是构建一个智能、自主、安全和可持续的通信生态系统,满足未来社会对数据传输和智能服务的需求。各项关键的支撑技术中,内生智能是一个核心概念,它涉及到通过智能化的设计和实现,将人工智能(AI)特性嵌入到网络的各个层次和组件中。这种智能不仅仅是一种附加功能,而且是网络的固有属性,使得整个系统能够自主学习、自主决策和自适应优化[1]内生智能的内涵是丰富的,整体包括AI for Network和Network for AI两个方面,其中前者指将AI贯穿整个网络架构和运营过程,通过将AI融入到网络的设计、管理、优化和维护中,可以实现更高的智能化水平,提供更加高效和灵活的服务;而后者指网络基础设施为AI应用提供定制化的支持和服务,包括数据收集、模型训练和分发等,从而促进AI技术的广泛应用和性能提升[2-3]。更加具体地,内生智能的网络又包括智能化的网络架构、智能化的协议设计、智能化的服务提供、智能化的终端设备、智能化的数据处理、智能化的生态系统等。AI是内生智能的核心,而AI的核心则是数据、模型和算力。数据一方面指以规模大小为主要特征的数据集,另一方面则指以维度为主要特征的传感或感知能力——AI是建立在包含信息的数据之上的[4]当前,网络中已经充斥着各种类型的传感器或设备,为AI应用提供着必要的数据支持,包括视觉传感器(图像、视频等信息)、声音传感器(语音、噪声等信息)、运动传感器(位置、速度、加速度、转动等信息)、环境传感器(温湿度、气体、光照等信息)等。这些传感器是AI智能应用与智能体感知真实世界的触手,从而是AI及网络与真实世界之间进行互动的桥梁,而更高效、更准确的互动需要更全面、更强大的传感或感知能力。注意到,这一趋势与6G中另一项关键技术——通信感知一体化的发展不谋而合。然而,对于网络的主要参与者和主要服务对象——人的感知能力却一直是空白的状态。考虑到6G的愿景是要实现物理世界人与人、人与物的高效智能互联,为了获得“以人为本”的网络体验,对人,特别是对脑的感知能力的这块空缺的拼图需要及时填补[5]脑机接口技术提供了一种感知脑的途径。中国信息通信研究院在2022年发布的《6G典型场景和关键能力》白皮书中提到“未来6G网络有望在情感交互和脑机接口等全新研究方向上取得突破性进展”。北京邮电大学张平院士2020年发表在《中国科学:信息科学》上的论文则表示“通过脑机双向信息感知、解析与融合,达到机器智能与生物智能的互联与协同”[6]。脑机接口通过检测大脑活动并对其分析处理,可以实现对人的主观心理状态的感知,包括注意力、情绪、用户体验等多维度信息,从而可以进一步实现个性化的网络服务和面向主观体验的资源优化,比如根据用户的情绪状态,智能推荐系统可以过滤和推荐适合当前情绪的内容,又比如根据用户对视频分辨率和卡顿的敏感程度,在不显著降低用户体验的同时,优化资源分配,提升系统整体效率[7]。脑机接口接入网络是必然的趋势,但在那之前,若干关键技术还有待进一步增强。一方面是脑信号的解码能力,人工智能算法是当前主流的技术手段,但是脑电信号的噪声特性、时变特性、个体差异性等问题阻碍了相关算法在现实中的应用;另一方面,脑机接口在网络中也应当是内生的,相关的架构和协议需要进行针对性的设计,以满足脑机接口对通信、计算等资源的需求,以及对安全和隐私保护的要求。针对上述问题,本文建立了一种基于内生智能的脑机接口网络架构,其中脑机节点通过网络回传信号数据并卸载计算任务到服务器,而其他终端节点则可以访问数据和计算结果,实现具体应用。另外,本文针对典型场景之一,即基于脑机接口的专注度状态分析,设计了基于注意力机制和卷积神经网络的信号处理算法,设计实验范式,采集了专注状态与非专注状态对比的脑电数据集,并在数据集上验证了所题算法的检测性能。
1 脑机接口技术赋能移动通信与内生智能
脑机接口通过解读和解释大脑的神经活动,实现人脑与外部设备之间的直接通信和控制(轮椅、机械臂等),同时也可以实现对注意力、情绪等人的主观状态的感知和评估。脑机接口系统一般包含信号采集、信号处理、控制应用等模块,其中以信号采集和信号处理最为关键。信号采集指通过侵入式或非侵入式的手段检测能够反映大脑的神经活动的各类型信号,以电信号最为常用,而根据传感电极所安放的位置,具体的采集手段又细分为深部脑电图(电极在皮层内部)、皮层脑电图(电极在皮层或硬膜表面)、脑电图(电极在头皮表面)。前两者是侵入式手段,尽管侵入式手段具有更高的原始信号信噪比,但需要通过开颅手术安放电极,手术风险高、维护成本高。相较于侵入式手段,脑电图作为非侵入式手段具有安全、便宜、便携等特点。目前,脑电图设备的体积和质量已经降低到100 cm3和100 g以下,成本也降低到1 000元以下,而随着技术的进一步发展,便携化程度会进一步提高,成本也会进一步降低,因此在未来的大规模应用中具有更强的竞争力。
信号处理是脑机接口系统中另一个关键环节,指应用算法从原始脑电信号中提取特征,恢复其中的有关脑控指令和个体主观状态的有效信息。由于目标的信号特征不同,脑机接口的信号处理算法针对不同的解码任务一般需要特殊定制。在使用傅立叶分析、小波分析、经验模态分解、共空间模式分析、空间滤波器分析等手段提取时频空等信号特征的基础上,研究者采用支持向量机[8]、随机森林[9]、k近邻、贝叶斯分析等技术实现了脑信号的分类解调,对视听觉、运动想象、心理状态等信息实现了有效准确的提取。然而,上述机器学习算法存在模型状态空间有限、拟合能力不足的问题,另外模型输入特征依赖经验的方式手工提取,信息丢失无法避免。深度学习更加擅长复杂信号处理和自动特征提取。基于端到端的设计,以卷积运算为基础,研究者提出了ShallowConNet和DeepConNet[10]网络结构用于脑电信号解码。在此基础上,研究者又进一步提出了EEGNet和FBCNet的网络结构,通过引入深度可分离卷积和滤波器组技术继续提升算法模型的解码性能。另外,递归神经网络、图神经网络、Transformer等模型也被成功应用到脑机接口的信号处理任务中。当前,受限于脑机接口的信息传输速率(少于10 bit/s),脑机接口技术的主要应用场景还是医疗康复,用于帮助脑神经疾病或运动瘫痪的患者控制假肢、轮椅等辅助设备,或是与外界沟通。除医疗康复外,脑机接口的潜在应用还包括娱乐、教育、人机交互、军事训练等。尽管在这些领域的应用水平目前还不高,但随着采集和信号处理技术的进步,相关应用将落地,市场也将随之扩大,而将脑机接口接入网络,形成一种双向赋能的态势也是必然。事实上,有一些研究已经前瞻了这种趋势,文献[13]中讨论了将脑机接口接入互联网的可能性,并定义了上下行的Brain-type communications,分析了网络对脑机接口的支撑作用,指出了脑机接口接入网络后的典型应用,包括脑控汽车、应急管理等。在此基础上,文献[14]提出了脑机通信的概念,在脑机接口与移动通信之间建立类比关系的同时,也概括了用户体验(QoE, Quality of Experience)检测[7]、脑联网等应用。如图1所示是脑联网应用的示意图,其中包含了协同控制、协同感知、脑联网通信等功能。事实上,正如引言中所述,脑机接口接入网络实际上是为网络增加了感知每一个个体的能力,而在6G智联万物的背景下,脑机接口会产生更加丰富的应用,例如使用脑机接口监测情绪变化可以产生根据实时情绪提供定制化的服务,比如智能家居、娱乐游戏等场景;而使用脑机接口评估用户的体验指数(QoE),建立区别与服务质量(QoS, Quality of Service)的新型评价体系,可以显著优化网络性能,提升效率,增强整体用户满意度;使用脑机接口监测专注力水平变化可以构建作业和学习任务中的反馈系统,提升效率,降低事故发生率,比如教育学习、工业生产等场景,而本文则主要研究基于脑机接口的专注度状态检测技术。2 基于脑机接口的专注度状态分析问题
内生脑机接口的网络,或者说脑联网,为传统网络提供了协同感知、协同控制、脑联网通信等新的技术维度。通过协同感知,可以检测评估大脑的情绪、疾病、专注度等,以及大脑对外部特殊刺激的特异性反应,使得协同感知在消费娱乐、智能家居、应急管理、军事等场景有潜在关键应用。其中,专注度作为大脑认知活动的功能指标,反映个体专心于某一事物或活动时的程度[15-16]。专注度并非一直稳定在同一水平,其随着时间变化,但在一定程度上受到个体的调控。人的行为受情绪、疲劳程度和心理波动等内在因素的影响,专注度水平的下降会导致各类型的任务执行效率降低、错误率升高等问题,而在工业生产、汽车驾驶等场景中将有可能导致操作失误,严重情况下将会产生安全事故,造成人员伤亡。因此,实时的专注度评估检测一直是一个重要的研究命题,受到学者们的关注。技术上,专注度的评估检测依赖对客观信号的分析处理,现存研究中一部分采用音视频信号,如评估对象的面部图像[17-18],另一部分则采用包括脑电、心电、眼动在内的各种模态的生理信号。特别地,考虑到大脑作为专注度调控的中枢,而脑电信号又作为大脑活动高时间分辨率的实时反映,基于脑电的专注度水平检测受到了广泛的研究,也有望取得最佳的性能[20]。2.1 实验范式
专注度作为人体的一种主观的心理状态,科学研究的第一步是要对其进行客观的标定。在现存研究中被最普遍采用的方法是利用不同类型的实验任务来诱发不同等级的专注程度,而实验任务的类型也即作为所诱发专注度的标签,从而方便后续信号处理的算法创新和评估[21-23]一般地,静息会作为其中一个任务类型,而所诱发的状态也被认定为非专注或者欠专注的状态。作为对比,专注状态则往往需要通过能够积极调动大脑功能的实验任务来实现诱发。例如,Chia‑Ju等[21]在实验中要求受试者完成“找不同”的传统益智游戏,受试者需要在高度相似的两幅图片中找出二者不同并将其标定。受试者在任务过程中的状态被认定为专注状态,与静息的非专注状态一起,构成了一个二分类的专注度检测问题,而这项研究中基于脑电的分析算法最终实现了84%的检测准确率。Dong-Hwa等[22]则使用了定制的视觉警戒任务来诱发专注状态,受试者需要对屏幕上随机出现的靶刺激做出反应,而对其他非靶刺激抑制反应。为了完成上述任务,受试者需要始终保持专注,从而达到状态诱发的目的。实际上,视觉警戒任务在专注度相关研究中应用广泛,除了将任务状态认定为专注状态的标准做法以外,受试者对靶刺激的反应时间在一定程度上也可以作为其专注程度高低分级的有效度量。在上述研究中,Dong-Hwa等最终实现了81%的专注状态检测准确率。Antoine等[24]设计了一个控制光标移动的小游戏来诱发受试者的专注状态,针对不同受试者的操控水平,游戏难度可以调控。在这项研究中,作者最终实现了75%的专注状态检测准确率。Cigdem Inan等[25]则针对铁路驾驶的场景设计了轨道路面状况监视的任务,尽管该任务不要求受试者做出主动的干预,实验结果证明仍能有效诱发受试者的专注状态,而这项研究最终也实现了91%的专注状态检测准确率。邱丽娜等[26]通过要求受试者进行不间断的数学加减法运算从而实现对其注意力集中状态的调动,作为对比还有注意力非集中状态和休息状态的对应实验,通过采集和分析受试者脑电信号最终实现了80.84%的识别准确率。2.2 解码算法
除去专注状态的诱发实验外,专注度的相关研究中另一个重点便是脑电的信号处理与检测分析算法,目的是从原始脑电信号中提取有效特征,并最终映射至实验对象的客观的专注状态。
针对专注度的早期研究指出,脑电的各个节律成分的能量大小可以在一定程度上反应受试个体的专注度高低。具体地,当受试个体处于专注状态时,其beta节律能量升高,alpha节律能量降低。因此,传统算法将beta节律与alpha节律的能量比值作为专注程度的数字指标,当该指标高于某一阈值时则认为受试者处于专注状态,否则处于非专注状态。在这个基础上,研究者利用机器学习方法继续提高专注度状态识别的准确率[27-28]。Hamadicharef等[29]提出使用滤波器组及共空间模式分析对原始信号提取频域和空域特征,并使用线性判别分析模型区分上述特征,最终实现了75%的识别准确率。Liu等[30]通过计算脑电信号的功率谱密度并将各个子带的能量作为特征合并输入到一个多项式核的支撑向量机,实现了76%的识别准确率。燕楠等[31]提出一种使用样本熵作为特征进行注意力相关脑电信号的分析与分类处理、并采用支持向量机算法实现分类器的方法,实现了85.50%的脑电信号识别准确率。此外,Fahimi等[32]探索了基于互信息量的特征选取,在传统算法选用频带能量及其比值作为特征的基础之上,优化得到特征的子集并利用支撑向量机作为分类器,最终实现了65%的识别准确率。近年来,研究者也开始利用深度学习算法解码脑电信号,例如王励烨等[33]提出了一种基于同步性脑网络和信息增益的注意力分类算法,采用锁相值构建脑网络提取大脑信息的耦合关系,同时为了保留脑网络结构的信息,采用卷积神经网络作为分类器,构建了一种基于同步性脑网络的注意力分类算法,分类准确率达到了90.09%。Fahimi等[34]在2019年提出使用卷积神经网络来解决专注度检测的问题,原始脑电信号经过简单预处理后即输入网络,网络自动执行特征抓取与分类决策,这种端到端的黑盒模型最终实现了76%的识别准确率。在此基础上,Yangsong等[35]创新设计了3D卷积运算用来加强对空域(2D)和时域(1D)信息的提取,同时应用多区块的网络结构处理多尺度的信号特征,最终实现了70%的识别准确率。2.3 问题定义
尽管在实际应用场景中,脑电信号处理和专注度状态检测的问题会更加复杂,但在本文使用一种更加简单明确的定义。算法处理的对象是一列固定长度的多通道脑电信号,其中N是通道的数量,即采集脑电信号的电极数量,而T是时间采样点的数量。目标是判断采集信号S时被试的专注度状态,一般情况下被设计成为一个有限类别的分类问题,例如在一个二分类的问题中是判断被试处于专注状态或非专注状态,而在一个三分类的问题中是判断被试处于专注状态,或中等专注状态,或非专注状态。离线数据分析的分类准确率一般被用来作为算法性能好坏的评价指标。
2.4 虚拟仿真实验设计与数据集
本文考虑二分类问题,即判断被试处于专注状态或非专注状态。本文设计了如图2所示的实验流程来采集专注状态和非专注状态的标签数据。实验过程中,受试者坐在电磁屏蔽室内一个舒适的扶手椅上。室内降低照明,并排除一切噪声干扰。受试者的面前摆放一台27英寸的液晶显示器,距离受试者约为60 cm,如图2所示。实验过程中,受试者被要求尽可能地排除肢体移动、吞咽、眨眼等活动,以减少采集信号中的伪迹成分。
每一位受试者的实验包含3组,每一组的实验流程如图3所示。具体步骤如下:
(a)每组实验开始的最初60 s,受试者保持休息状态。
(b)屏幕上将会提示接下来的实验任务类型是非专注实验任务或专注实验任务,提示将在屏幕上维持2 s。
(c)提示结束后进入实验任务阶段,实验任务维持10 s,实验任务包括非专注和专注两个类型。对于非专注实验任务,屏幕上会随机出现一般的风景图片,如图4(a)所示,受试者保持放松状态,可以随意浏览显示器上的内容,但并被要求不要将精神集中在某一特定事物上;对于专注实验任务,屏幕上会播放电力设施巡检相关的作业视频,时长为10 s,其截图如图4(b)所示,而受试者需求全神贯注地观看视频,并尝试记住视频中的作业内容和具体的操作步骤。
(d)实验任务结束后,受试者有10 s的时间做短暂休息,休息期间屏幕上并不展示任何内容。10 s的休息结束后,受试者进入下一个轮次的实验任务。每组实验包含20个轮次的实验任务,包括10次非专注实验任务和10次专注实验任务,非专注实验任务和专注实验任务交替出现。不同的风景图片和作业视频在不同轮次的实验中随机出现。
(e)在每一组的20个轮次的实验任务结束后,受试者有2分钟的休息时间。
实验总共招募了16位受试者,均为在校大学生或研究生,其中包括11位男生和5位女生,平均年龄25岁。16位受试者在之前均没有参加过任何形式的类似实验。16位受试者均视力正常,报告不存在神经相关疾病,且在实验前一天保证了充足的睡眠。在实验前,受试者完整了解了实验内容并表示同意实验,且在实验后得到了一定的经济补偿。另外,在正式实验前,受试者简单学习了电力设施巡检相关的操作知识,为专注实验任务做了基本的知识储备。
实验过程中使用NeuroScan的SynAmps2设备全程采集脑电信号,并利用时间戳在实验流程和脑电采集之间建立同步。
脑电采集的电极有30个,依照国际通用的10-5系统布置,分别是AFp1, AFp2, AFF1h, AFF2h, AFF5h, AFF6h, F3, F4, F7, F8, FCC3h, FCC4h, FCC5h, FCC6h, T7, T8, Cz, CCP3h, CCP4h, CCP5h, CCP6h, Pz, P3, P4, P7, P8, PPO1h, PPO2h, POO1, POO2;Fz作为地电极使用;采样率为1 000 Hz。原始信号经过平均重参考后,通过2-50 Hz的带通滤波器,并降采样至250 Hz。分析过程中,将实验中连续采集的脑电信号切割成为小窗后独立分析,在下文中若没有特别说明,切割的窗长均为2 s。
综上所述,实验所采集的数据共包括16位受试者,每一位受试者的实验数据包含专注和非专注状态两个类别,每个类别包含30个独立的脑电信号数据,10 s实验切割为2 s长度后是150个独立脑电信号数据,其中每一个是包含30个通道和500采样点长度(2 s*250 Hz)的矩阵数据。
3 基于深度学习的脑电信号处理和专注度状态检测算法
为了从脑电信号中提取相关特征,最终准确识别被试对象的专注度状态,本文设计了一种基于深度学习的脑电信号处理模型,算法模型的具体结构如图5所示,其大体上包含四个模块,分别是通道注意力模块、卷积模块、深度可分离卷积模块和可分离卷积模块。
通道注意力模块首先针对每个通道计算脑电信号的方差,也即是能量,然后将这些参数通过一个全连接层计算得到各通道的权重,随后与原始信号对应通道相乘后得到加权的信号,增强信号质量好的通道,同时削弱信号质量差的信号。一般情况下,脑电信号的功率整体保持稳定,而特别明显的浮动往往来自眼电、肌电等伪迹信号。因此,该注意力模块可有效识别各通道的信噪比,从而提升信噪比,降低下游模块提取有效特征的难度。
卷积模块通过应用1*100维度的卷积,提取时域特征,采用了F=16个不同的卷积核,提取不同的时域特征。实际上,时域上的卷积对应着频域上的滤波操作。因此,卷积模块的作用与滤波器组技术类似,即使用了16个不同参数的滤波器处理信号得到16个不同的“带通”信号,这里“带通”并非真正意义上的带通信号,每一个卷积核的滤波特性都可能是宽带且复杂的。
深度可分离卷积模块对上游卷积模块输出的16通道(注意区分此处“通道”的内含与前述多通道脑电信号中的“通道”的区别)的信号的每一个通道使用D=4个独立的30*1的卷积模块进行处理。每一个30*1的卷积核都相当于一个空间滤波器,对多通道脑电信号进行加权合并,得到信噪比更高的单通道信号,从而方便下游模块做进一步的高级特征的提取。由于每一个通道都使用D=4个不同的卷积核独立处理,深度可分离卷积模块输出的信号是64(4*16)通道。
可分离卷积模块与深度可分离卷积的前半部分类似,仍是对每一个通道使用独立的卷积核处理,但此处使用的卷积核大小与之前有所区分,大小为1*16,继续在时域上提取特征。随后,应用pointwise卷积,即M=32个1*1的卷积来处理通道间的组合,生成新的特征图,通道数为32。相较于普通的卷积处理,可分离卷积所需的参数量和计算量明显减少,尤其是在通道数较多的情况下,有效防止过拟合。
最后,使用全连接层综合考虑各通道特征输出一维参数,使用logistic函数将参数映射支[0,1]区间,获得专注状态的概率预测,并使用二元交叉熵损失函数对模型进行训练。
除上述主干模块外,所提的神经网络模型还包括批归一化层、dropout层、平均池化层,使用ELU激活函数,相较于ReLU函数,更接近自然梯度,网络的具体设置如表1所示。
4 算法实验结果
4.1 实验设置
算法实验在16位不同的受试者之间独立进行。对于每一位受试者,使用5-折交叉验证来评估所提算法模型和对比算法的分类性能,即将所有数据集随机分为5个大小相似的子集(称为“折”),每次使用其中1个折作为验证集,其余4个折作为训练集,重复5次,确保每个折都作为验证集使用一次,计算5次验证结果的平均值,作为模型的最终性能指标。所展示的结果是16位受试者的平均准确率。另外,在所提模型的训练过程中,采用adam优化器,随机梯度下降的批大小是64,学习率是0.001。为了避免过拟合,模型的训练轮数是300。有关drop out和l2正则化的细节在表1中给出。
4.2 对比算法
为了验证本文所提脑电信号处理专注度状态识别算法的有效性,这里选择了若干现存算法与之进行对比。这些算法包括共空间模式识别算法(CSP, Common Spatial Pattern)[37]、滤波器组CSP算法(FBCSP, Filter-Bank CSP)[38]、极限学习机算法(ELM, Extreme Learning Machine)[39]、切空间线性判别分析算法(TSLDA, Tangent Space Linear Discriminant Analysis)[40],下面简单介绍这些算法。(1)CSP算法:构建了最优的空间滤波器,应用该空间滤波器后可以最大化两类信号之间的能量区别,从而实现分类的目的,在脑电信号处理中有广泛的应用,但是主要用于捕捉空间特征,对时域特征、频域等关注较少。(2)FBCSP算法:在CSP算法的基础上,在前端增加了滤波器组的操作,将原始信号分解成若干窄带带通信号之后,在每一个带通成分上应用上述CSP算法后,再在决策时将各带通成分上的决策变量进行融合。相较于普通的CSP算法,FBCSP算法增加了对频域成分的考虑。(3)ELM算法:文献[37]提出了一种分层式的半监督的极限学习机算法用于提取脑电信号中的高级特征,进行信号分类。(4)TSLDA算法[38]:应用黎曼分析算法处理脑电信号的空间协方差矩阵,将脑电信号的空间协方差矩阵在黎曼空间中投影至切空间提取特征,再使用线性判别分析算法处理特则进行分类。4.3 性能对比与可视化
表2展示了本文所提算法与几种对比算法各自实现的专注度状态识别准确率。可以看到,本文所提的基于神经网络的算法相较于几种对比算法取得了最高的识别准确率,达到了87.14%。另外,表格中也展示了所提算法相较于其他算法的性能优势的显著性的p值。所有16位被试各自取得的不同的识别准确率如表3所示(所提算法):
如图6所示是16位不同被试所取得的ROC曲线,其中阳性代表专注状态,阴性代表非专注状态,通过调节模型输出层,即sigmoid的决策阈值,获得了不同的真阳性率和假阳性率,并做出了它们之间的关系,即ROC曲线。在理想情况下,ROC曲线接近左上角(即真阳性率接近1,假阳性率接近0),表示模型对正样本和负样本的区分能力很强,ROC曲线下面积接近1。16位不同被试的ROC曲线下面积如表4所示:
本文所提神经网络模型的一大特点是使用了注意力机制处理了多通道脑电信号,增强信噪比高的通道,抑制信噪比低的信道,从而为下游的特征提取模块传递更易分辨的信号。如图7所示,将注意力模块所得出的通道的加权系数做了可视化的展示,16个不同的子图代表16位不同的被试,其中深色区域表示权重系数更大,即模型认为此处信号质量更高。可以看到,16位不同被试的模式存在显著的差异,在专注任务中,所激活的脑区不同,表现为不同子图中不同的热力分布,而所提的算法模型可对这种个体之间的差异性进行准确的追踪和识别。另外,相当一部分被试之间也存在类似的特征,如被试1、5、6、7、8、10、11、12、13、14、15,他们的信号在大脑的枕区有明显的激活,其中以被试10、11、12、13、14、15的特征最为相似。
5 结束语
脑机接口技术作为一种前沿科技,通过直接连接人脑与计算机或其他外部设备,实现了思维与机器的无缝交互。未来,随着技术的不断进步,脑机接口将不可避免地接入互联网,从而开启一个全新的、高度互联的智能时代。这一接入将极大地扩展网络的感知能力,使得从脑中直接发送指令、获取信息成为可能,彻底改变我们与数字世界的互动方式。在医疗领域,脑机接口的互联网接入有望实现远程监控和治疗,提供精准的神经反馈和康复支持;在教育和工作领域,这一技术将促进个性化学习和智能辅助,提高效率和创造力;而在娱乐和社交领域,脑机接口将带来沉浸式的虚拟体验和情感交流,拓展人类体验的边界。
脑机接口技术和网络技术之间的赋能作用是相互的。一方面,脑机接口技术在视觉、听觉等维度外为网络提供了一种全新维度的传感技术,在感知真实物理世界外,使网络获得了感知用户、感知人、感知脑的能力。应用脑机接口技术可准确评估人的情绪、专注度状态、用于体验与满意度等,从而为网络中的内生智能提供了更多的输入参数,在驾驶、家居、教育、娱乐等诸多业务中将会产生重要的作用。另一方面,脑机接口技术需要网络中的智能算力和数据通信能力对其提供支持。当前,脑机接口都是离线单机运行的状态,采集、计算等功能都是本地完成。但是,在未来,随着脑机接口技术的普及,脑机接口接入网络,而计算任务势必将转移到网络,人工智能等脑机接口解码算法将部署在云端。
本文针对性地提出了一种基于神经网络的脑电信号处理专注度状态识别算法,招募16位被试者进行了基于虚拟仿真实验的电力巡检任务,并采集了专注与非专注状态对照的数据,构建了用于训练和测试模型的数据集。实验结果显示,所提算法相较于4种传统的对比算法可以取得更高的识别准确率,相关可视化结果也证实了所提模型中所应用的通道注意力的有效性,从而证实了所提算法模型的优越性。该算法模型可部署到未来通信网络中内生智能计算的云端、网络边缘等硬件上。分布在网络中脑机接口节点通过无线信道将原始脑电数据上传至这些硬件进行处理后,待处理完毕返回专注度状态分析的结果。然而,脑机接口算法研究仍有许多关键问题亟待解决,它们包括个体差异性、特征变异性、难以实现自主学习等。
参考文献:(上下滑动浏览)
[1] IMT-2030(6G)推进组, 6G总体愿景与潜在关键技术[R]. 2021.
[2] Xiao Y, Shi G M, Li Y Y, et al. Toward Self-learning Edge Intelligence in 6G[J]. IEEE Communications Magazine, 2020,58(12): 34-40.
[3] Xiao Y, Krunz M. AdaptiveFog: A Modelling and Optimization Framework for Fog Computing in Intelligent Transportation Systems[J]. IEEE Transactions on Mobile Computing, 2022,21(12): 4187-4200.
[4] 谢雨良,田雨晴,张朝阳. 6G智能内生无线通信网络:现状、挑战、系统设计和架构[J]. 移动通信, 2024,48(8): 8-12.
[5] 徐宇坚,陈翔. 纵横多维 以人为本——6G通信网络展望纵横多维以人为本——6G通信网络展望[J]. 2020,40(8): 28-32.
[6] 张平,张建华,戚琦,等. Ubiquitous-X: 构建未来6G网络[J]. 中国科学:信息科学, 2020,50(6): 913-930.
[7] Hu S, Duan Y, Tao X, et al. Brain-Inspired Image Perceptual Quality Assessment Based on EEG: A QoE Perspective[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024,46(12): 8424-8441.
[8] Chaisaen R, Autthasan P, Mingchinda N, et al. Decoding EEG rhythms during action observation, motor imagery, and execution for standing and sitting[J]. IEEE sensors journal, 2020,20(22): 13776-13786.
[9] Kæseler R L, Johansson T W, Struijk L N S A, et al. Feature and classification analysis for detection and classification of tongue movements from single-trial pre-movement EEG[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022,30: 678-687.
[10] Schirrmeister R T, Springenberg J T, Fiederer L D J, et al. Deep learning with convolutional neural networks for EEG decoding and visualization[J]. Human brain mapping, 2017,38(11): 5391-5420.
[11] Lawhern V J, Solon A J, Waytowich N R, et al. EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces[J]. Journal of neural engineering, 2018,15(5): 056013.
[12] Mane R, Chew E, Chua K, et al. FBCNet: A multi-view convolutional neural network for brain-computer interface[J]. arXiv preprint, 2021, arXiv: 2104.01233.
[13] Moioli R C, Nardelli P H J, Barros M T, et al. Neurosciences and wireless networks: The potential of brain-type communications and their applications[J]. IEEE Communications Surveys & Tutorials, 2021,23(3): 1599-1621.
[14] Hu H., Wang Z., Zhao X., et al. A Survey on Brain-Computer Interface-Inspired Communications: Opportunities and Challenges[J]. IEEE Communications Surveys & Tutorials, 2024.
[15] 龚涛,陈家英,张丽,等. 注意力调控感觉信息处理的脑功能区研究[J]. 放射学实践, 2018,33(4): 349-353.
[16] Cai S Q, Su E Z, Xie L H, et al. EEG-based auditory attention detection via frequency and channel neural attention[J]. IEEE Transactions on Human-Machine Systems, 2021,52(2): 256-266.
[17] Jha S, Marzban M, Hu T, et al. The multimodal driver monitoring database: A naturalistic corpus to study driver attention[J]. IEEE Transactions on Intelligent Transportation Systems, 2022,23(8): 10736-10752.
[18] Dua I, Nambi A, Jawahar C, et al. Evaluation and visualization of driver inattention rating from facial features[J]. IEEE Transactions on Biometrics, Behavior, and Identity Science, 2020,2(2): 98-108.
[19] Chabot R J, Di Michele F, Prichep L, et al. The clinical role of computerized EEG in the evaluation and treatment of learning and attention disorders in children and adolescents[J]. Journal of Neuropsychiatry and Clinical Neurosciences, 2001,13(2): 171-186.
[20] Hillard B, El-Baz A, Sears L, et al. Neurofeedback training aimed to improve focused attention and alertness in children with ADHD: A study of relative power of EEG rhythms using custom-made software application[J]. Clinical EEG and Neuroscience, 2013,44(3): 193-202.
[21] Peng C J, Chen Y C, Chen C C, et al. An EEG-based attentiveness recognition system using Hilbert-Huang transform and support vector machine[J]. Journal of Medical and Biological Engineering, 2020,40(2): 230-238.
[22] Jeong D H, Jeong J. In-ear EEG based attention state classification using echo state network[J]. Brain Sciences, 2020,10(6): 321.
[23] Toa C K, Sim K S, Tan S C. Electroencephalogram-based attention level classification using convolution attention memory neural network[J]. IEEE Access, 2021,9: 58870-58881.
[24] Gaueme A, Dreyfus G, Vialatte Fb. A cognitive brain-computer interface monitoring sustained attentional variations during a continuous task[J]. Cognitive Neurodynamics, 2019,13(3): 257-269.
[25] Aci C I, Kaya M, Mishchenko Y. Distinguishing mental attention states of humans via an EEG-based passive BCI using machine learning methods[J]. Expert Systems with Applications, 2019,134: 153-166.
[26] 邱丽娜,伍骞,姚佳楠,等. 基于对称双通道脑电信号的注意力检测[J]. 计算机系统应用, 2023,32(5): 1-10..
[27] Wan W, Cui X R, Gao Z L, et al. Frontal EEG-based multi-level attention states recognition using dynamical complexity and extreme gradient boosting[J]. Frontiers in Human Neuroscience, 2021,15: 673955.
[28] 颜世玉,刘冲,赵海滨,等. 基于小波包分解的意识脑电特征提取[J]. 仪器仪表学报, 2012,33(8): 1748-1752.
[29] Hamadicharef B, Zhang H H, Guan C T, et al. Learning EEG-based spectral-spatial patterns for attention level measurement[C]//Proceedings of IEEE International Symposium on Circuits and Systems (ISCAS 2009). 2009.
[30] Liu N H, Chiang C Y, Chu H C. Recognizing the degree of human attention using EEG signals from mobile sensors[J]. Sensors, 2014,13(8): 10273-10286.
[31] 燕楠,王珏,魏娜,等. 基于样本熵的注意力相关脑电特征信息提取与分类[J]. 西安交通大学学报, 2007(10): 1237-1241.
[32] Fahimi F, Guan C, Goh W B, et al. Personalized features for attention detection in children with attention deficit hyperactivity disorder[C]//Proceedings of 39th Annual International Conference of the IEEE-Engineering-in-Medicine-and-Biology-Society (EMBC. South Korea, 2018.
[33] 王励烨,丁威威. 基于同步性脑网络的注意力识别研究[J]. 计算机技术与发展, 2023,33(2): 146-152.
[34] Fahimi F, Zhang Z, Goh W B, et al. Inter-subject transfer learning with an end-to-end deep convolutional neural network for EEG-based BCI[J]. Journal of Neural Engineering, 2019,16: 2.
[35] Zhang Y S, Cai H, Nie L, et al. An end-to-end 3D convolutional neural network for decoding attentive mental state[J]. Neural Networks, 2021,144: 129-137.
[36] Beiramvand M, Shahbakhti M, Karttunen N, et al. Assessment of Mental Workload Using a Transformer Network and Two Prefrontal EEG Channels: An Unparameterized Approach[J]. IEEE Transactions on Instrumentation and Measurement, 2024,73: 1-10.
[37] Blankertz B, Dornhege G, Krauledat M, et al. The non-invasive Berlin brain-computer interface: fast acquisition of effective performance in untrained subjects[J]. NeuroImage, 2007,32(7): 539-550.
[38] Ang K K, Chin Z Y, Zhang H, et al. Filter bank common spatial pattern (FBCSP) in brain-computer interface[C]//In 2008 IEEE In- ternational Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence). 2008: 2390-2397.
[39] She Q, Hu B, Luo Z, et al. A hierarchical semi- supervised extreme learning machine method for EEG recognition[J]. Medical & Biological Engineering & Computing, 2019,57: 147-157.
[40] Barachant A, Bonnet S, Congedo M, et al. Multiclass brain-computer interface classification by Riemannian geometry[J]. IEEE Transactions on Biomedical Engineering, 2011,59(4): 920-928. ★
王振宇:博士毕业于中国科学院大学,现任中国科学院上海高等研究院副研究员,主要研究方向为脑机接口、移动通信、人工智能。
陈春超:高级工程师,博士毕业于东南大学,现任职于江苏省送变电有限公司,从事输变电设计及管理、电网运检等工作。
★往期推荐★汇总| 2025下半年专题征稿链接
《移动通信》杂志由中国电子科技集团公司主管,中国电子科技集团公司第七研究所主办,是中国期刊方阵“双效期刊”、工业和信息化部精品电子期刊、中国科技论文统计源刊、中国通信学会《信息通信领域高质量科技期刊分级目录》入选期刊、中国电子学会《电子技术、通信技术领域高质量科技期刊分级目录》入选期刊、中国应用型核心期刊、日本JST收录期刊。国内连续出版物号:CN44-1301/TN,国际连续出版物号:ISSN1006-1010,邮发代号:46-181。
来源:移动通信编辑部