用全脑的脑电图和近红外功能成像结合测量在类别流畅性任务时的心理状态
随着脑科学测量设备的发展，越来越多的研究者不再满足于使用单一的脑电测量或者近红外测量进行脑部功能的检测和实验研究，随之而来的是多模态的结合测量。近红外和脑电的结合，既考虑到了脑电的高时间分辨率也兼顾了近红外的高空间分辨率，两者的结合使得研究者对认知功能或脑功能测量更为得心应手。那么究竟所谓的多模态结合是否能如预期所想，同时应用到脑电的高时间分辨率和近红外的高空间分辨率呢？17年下半年新出的一篇论文，以多模态结合的方式测量10个被试，解释了这一点。
论文摘要
使用全脑脑电和近红外功能成像测量，即对比EEG&fNIRS多模态测量与单个测量系统之间的比较，采集健康被试群体在执行类别流畅性测验时的数据并将其应用到机器学习方法中，得出结论如下：脑电图和近红外的结合其精度高于各子系统。该研究亮点在于准确和实用的解码方法，对医学诊断、脑机接口设计和神经工效学方面应用都有极大的潜力。
前言及方法
一直以来准确、实用、无创地测量心理状态是所有研究人员梦寐以求的目标，高精确度和便捷性是很多应用的技术方向。一些应用于生活和诊所中的主动或被动的脑机接口技术，例如，通过更为精确的设计来提高人类的表现能力、幸福感、测量认知和认知状态、诊断和治疗疾病等。多模态结合研究能够保证其测量数据的精确性，本次的主要目标是量化使用相比单个测量的数据质量。
脑电图主要来自于树突突触后电位的同步化，它是一个大神经元种群的输入，而不是其动作电位。通过测量在电极和放置在头部或者身体上的参考电极之间的电位差（<100uv），EEG可以反映在该电极位置记录的动作电位，但也可能会受到远处较强电位的影响。近红外功能成像测量，依据血液动力学可以通过近红外光测量摆放在头皮上的探测器和光源形成有效通道中相关血氧浓度的变化。它与EEG测量同样具有便携性。我们使用连续波方法上，两个波长的近红外光测量皮质上的含氧和脱氧血红蛋白改变量。光源和探测器摆放在距离不远的光极点上，通过修正的Beer-lambert law进行计算血红蛋白改变量。在神经活动中，会伴随含氧血红蛋白的增加和脱氧血红蛋白的减少。这个和核磁的血液动力学反应类似。近红外已经被广泛地使用在成人的脑成像研究和脑发展领域中。
脑电和近红外信号来自于不同的测量原理和物理学基础，也表示这可能会受到光学耦合机制或测量元件的影响而导致测量上的时间不一致性。因此，使用两个测量系统进行收集数据是最好的选择。脑电和近红外测量结合也提供了基于神经血管的相关信息。神经血管信息会比单一的脑电测量和近红外功能成像测量要更为精确和具有优势。
虽然脑电和近红外结合的研究已经相对来说比较多，但是没有系统的进行两者结合和单个测量之间的特点比较。另一个主要的研究目的是比较使用混合系统中各子系统的性能。在本次研究中我们使用脑电和近红外在基于10-20的脑全图上测量，包括前额叶、额叶、中央区、颞叶、顶叶、枕叶区域。很多研究者使用前额叶进行研究因为其头发较少。实际上，在快速部署方面，小范围精确性的测量比全图测量要好。在测量精度上，如在BCI研究中，就引起了小范围测量精确度的问题。本文使用的全脑测量模式允许我们解决这个问题。
我们使用比较合适的言语流畅性测量中的类别流畅性作为测量任务。类别测量任务需要更多的心理能力，比如在特定的语义类别中枚举并在所提供的语义中搜索单词会需要额外的注意力及自我控制以防重复枚举。在健康个体中进行类别流畅性测试已经有了很多的神经影响数据。言语流畅相关能力表现和脑活动的改变与临床结果有关，如创伤性脑损伤或认知能力下降。言语流畅性任务也在BCI研究中或其他研究中被广泛使用，然而我们没有发现在多模态结合中测量言语流畅性，因此使用脑电和近红外结合在语言环境中的研究会有很大的贡献，尤其在测量的精确度和实用性上。
研究设计
本次实验，经过休斯敦大学机构评审委员会批准，使用标准设计的BLOCK设计。在填写知情同意书后，被试坐在桌子前的椅子上，一个block实验设计包括30秒的休息时间，被试处于放松状态、不进行移动、思考或沉睡。之后是30S的类别流畅性测验任务。在任务的开始阶段，从先前的名单中随机选择测验的目标词如：花、车。被试的任务是枚举属于此类的单词。在桌子上的小白板上写下名字。要求只用一只手且尽量小幅度地移动，30秒大概可以写6个左右的单词。实验过程中比较快的被试会被通知慢一点。如果在小白板上没有发现任何词语的话则以同样的速度写上“没有想法”。任务过后是下一个30S休息时间，最后一部分是让被试以周一-周二-周日的形式以相同速度写下词语，作为控制条件。任何一个记录都包括这三个重复的Block：任务、Rest或控制时间段。十个健康的被试参与了研究（8男，平均年龄26，24-28之间）。所有的被试都能够使用英语交流而且实验前三小时内无饮酒或咖啡，没有吸烟史和其他疾病（自我报告）。
数据收集
脑电和近红外的数据同步采集使用迷你EEG和NIRScout拓展连续波系统（美国NIRX，深圳瀚翔为中国区总代）。迷你EEG采用经药监局批准的无线设备，在250Hz水平上以16位的分辨率记录19个通道数据。fNIRS连续波分别在760和850nm处，且近红外软件在每次记录时都可以进行信号质量的检测。EEG和fNIRS的结合同步使用Prestation 软件进行操作，EEG和近红外的通道共同坐落在10-20系统中的Fp1、Fp2、F7、F3、F8、C3、Cz、C4、T3、T4、T5、T6、P3、P4、Pz、O1、O2点，覆盖了整个头部。EEG的参考和地电极分别位于FCz和Fpz，为了稳定地将脑电图传感器保持在一起，在每个点都有fNIRS源探测器对时，我们使用了三联容器。
过程
信号经过了双通滤波（0.5-80Hz的脑电滤波和0.01-0.5的近红外滤波），并且脑电经过60Hz的交流电滤波来消除交流电的影响。功率图谱使用非重叠的△W=1秒的明窗窗口建立。这个△f=1/△W=1HZ对于在后来的特征提取阶段确定频带是足够的了。近红外探测器在两个波长所产生的数据通过修正的beer-lambert公式来计算相应的含氧和脱氧血红蛋白改变量。研究者进行了伪迹处理如眨眼、肌肉运动、运动影响和睡眠。有两个被试的数据因为包涵了过多的额外伪迹，所以被剔除了。因此有8个包含最多10%的数据伪迹进入了分析阶段。在MBL中使用的参数值和其他硬件的设置及预处理和之前的研究是一样的。数据1显示了预处理数据的一个例子。大多数的EEG波包含了明显的α波，频率在8-12HZ。特别是在顶叶和枕叶区域。脑电图的模式，以及oxy-(红色的痕迹)和脱氧血红蛋白的变化(蓝色)，包含了可能与不同程度的认知负荷有关的波动。本文中描述的计算使用了Matlab的v.8.2.0.701。
美国NIRX公司
美国NIRX是一家致力于近红外成像研究的专业企业，近红外设备制造采用德国工艺，追求更精准的设计和更优质的服务，分析软件所使用的近红外数据分析环境在NITRC（神经成像信息学工具与资源之家）光学成像下载量为第一，活跃度为第一，深受欧美神经科学研究的喜爱，包含了便携式近红外NIRSport、NIRSOUT、NIRSCOUTX等兼容LED光源和laser激光光源可选，满足从幼儿到老年人的含氧和脱氧血红蛋白测量，更具有多模态结合能力，包括其与EEG/ERP、fMRI、TMS、TDCS等设备的结合。近期，NRIX设备结合成熟的近红外数据分析软件使得最近涌现出一批高影响因子文章：
1、de Lima-Pardini, Andrea Cristina., Zimeo Morais, Guilherme A., Balardin, Joana Bisol., Coelho, Daniel Boari., Azzi, Nametala Maia., Teixeira, Luis Augusto.,Sato, João Ricardo. (2017). Measuring cortical motor hemodynamics during assisted stepping - An fNIRS feasibility study of using a walker., Gait Posture, 56, 112-118. 便携式近红外NIRSport8*8；（康复、自然环境）；
2、Balardin, Joana B., Zimeo Morais, Guilherme A., Furucho, Rogério A., Trambaiolli, Lucas., Vanzella, Patricia., Biazoli, Claudinei.,Sato, João R. (2017). Imaging Brain Function with Functional Near-Infrared Spectroscopy in Unconstrained Environments., Front Hum Neurosci, 11, 258. 台式NIRScout16x16 &便携式NIRSport8x8；（运动：音乐+乒乓球，自然环境检测）；
3、Balardin, Joana Bisol., Zimeo Morais, Guilherme Augusto., Furucho, Rogério Akira., Trambaiolli, Lucas Romualdo., Sato, João Ricardo.. (2017). Impact of communicative head movements on the quality of functional near-infrared spectroscopy signals: negligible effects for affirmative and negative gestures and consistent artifacts related to raising eyebrows., J Biomed Opt, 22(4), 46010.NIRScout16x16台式近红外（人际间交流、信号质量控制）；
4、Shin, Jaeyoung., Müller, Klaus-Robert., Schmitz, Christoph H., Kim, Do-Won., Hwang, Han-Jeong.. (2017). Evaluation of a Compact Hybrid Brain-Computer Interface System., Biomed Res Int, 2017, 6820482. NIRSport8*8；（BCI脑机接口）；
5、Graber, Harry L., Al abdi, Rabah., Xu, Yong., Asarian, Armand P., Pappas, Peter J., Dresner, Lisa.,...Barbour, Randall L. (2015). Enhanced resting-state dynamics of the hemoglobin signal as a novel biomarker for detection of breast cancer., Med Phys, 42(11), 6406-24. NIRSOUT32×64；（疾病）；
6、 Piao, Daqing., Barbour, Randall L., Graber, Harry L., Lee, Daniel C.. (2015). On the geometry dependence of differential pathlength factor for near-infrared spectroscopy. I. Steady-state with homogeneous medium., J Biomed Opt, 20(10), 105005. DPF（近红外光谱的路径长度因子，方法学）；
7、Zhang, Dandan., Zhou, Yu., Hou, Xinlin., Cui, Yun., Zhou, Congle.. (2017). Discrimination of emotional prosodies in human neonates: A pilot fNIRS study., Neurosci. Lett., 658, 62-66. NIRSOUT 16*24；（婴幼儿认知）。
