本研究Exploring the Brain Responses to Driving Fatigue Through Simultaneous EEG and fNIRS Measurements 发表于2020年的International Journal of Neural Systems（IF:8.0）。
摘要
在这项研究中，通过同时功能近红外光谱(fNIRS)和脑电图(EEG)记录来探索驾驶疲劳的多模态生理现象，目的是研究血流动力学和脑电特征与驾驶表现之间的关系。研究中16名被试参与了一项事件相关的车道偏离驾驶任务。为了方便比较，将被试按照驾驶表现分为三个组，分别为表现最优组、表现次优组和表现较差组。从分析中我们发现，车道偏离之前，大脑会发生紧张性变化（tonic variations）；而在车道偏离之后，大脑会发生时相性变化（phasic variations）。紧张性（tonic）变化即氧合血红蛋白(HbO2)浓度升高，脑电图θ、α和β波段功率变化，这两种变化都与驾驶表现水平下降显著相关。时相性（phasic）脑电图结果表明，所有频段的脑电信号都表现出与车道偏离任务启动的事件相关去同步，并且，随着驾驶表现水平下降，时相性（phasic）HbO2的浓度下降。此外，紧张性（tonic）脑电δ和α功率与HbO2振荡之间的负相关表明，HbO2浓度的上升与精神疲劳相关。总之，结合血液动力学和脑电活动可以提供完整的大脑反应，作为疲劳驾驶期间状态变化的证据。
研究背景
驾驶疲劳是交通事故的一个重要因素，因此了解大脑如何响应驾驶疲劳对提高道路安全至关重要。过去的研究已经使用EEG和fNIRS来研究驾驶疲劳，但很少有研究同时使用这两种技术，这篇文献填补了这一空白。在本研究中，我们设计了一个与事件相关的车道偏离驾驶任务， 以模拟真实的驾驶环境。本研究主要目的是探索驾驶员RT-ratio1和大脑动力学之间的关系。
注：RT-ratio，是指对反应时RT进行标准化处理，即分别将每名被试的反应时排序后，取最短的20%的值进行平均，得到每个被试的RT-ratio。
研究方法
01 实验设计
利用三维图形库WorldToolKit (WTK)软件构建虚拟现实场景。驾驶场景是在显示器上呈现一条无尽头的四车道公路。该程序模拟了夜间在高速公路上以100公里/小时的速度驾驶汽车。该仿真程序可使车辆以相同的概率从巡航车道向左或向右漂移。路上没有其他车辆，也没有任何可能影响司机注意力的刺激。任务时长为60分钟。实验开始后，每个被试都要连续完成一个小时的车道保持任务。漂移事件（drifting events）是随机触发的，被试必须通过转动罗技公司的赛车轮将汽车移回巡航车道。下一次车道偏离会在车辆回到巡航车道后的16 - 20秒内随机出现。车道偏离有三个时间点，包括偏离开始时间、反应开始时间和反应结束时间，如图1所示。偏离开始是程序触发汽车漂移的时刻。反应开始和反应结束分别表示被试在偏离任务后开始和停止转动方向盘使汽车移回巡航车道的时刻偏离开始和反应开始之间的时间间隔为反应时RT。从偏离开始前的2秒和偏离开始后的15秒定义为一个epoch。以刺激前2秒为基线(紧张性tonic)，偏离发生后15秒为事件相关脑动力学变化(时相性phasic)。
图1：实验方案为模拟夜间行车60min。该程序每隔16 - 20秒就会随机向右或向左偏移一次。要求被试使用方向盘将车辆移回原来的车道。
02 数据采集
同时记录实验过程中收集的行为、脑电图和近红外光谱数据。使用WTK软件连续记录反应时RTs，使用V-Amp 16脑电系统(Brain Products，国内由瀚翔脑科学独家代理)记录EEG数据，电极布局在符合国际10-20系统的标准128通道fNIRS测量帽(https://nirx.net/nirscaps/)。在128个EEG通道中，我们只选择了5个通道记录枕区(POO9h和POO10h)和顶区(PPO1h、Pz和PPO2h)的EEG和fNIRS信号，如图2中紫色圆圈所示。
采用NIRScout设备(NIRx medical Technologies,国内由瀚翔脑科学独家代理)记录近红外数据。该系统由8个光源和16个探测器组成，记录了HbO2 和HbR在760和850nm两个波长下对近红外光的吸收情况。使用标准的fNIRS测量帽将光源和探测器放置在左右顶叶和枕叶区域。准确位置如图2所示。考虑到希望覆盖的区域，我们总共使用了26个通道：12个通道用于枕叶区域，7个通道用于右顶叶区域，7个通道用于左顶叶区域。
图2：EEG电极和fNIRS通道放置在标准的fNIRS测量帽上。位置符合国际10-20系统。红色圆圈是近红外光源，蓝色圆圈是探测器。紫色的圆圈代表顶叶和枕叶区域的脑电电极。
结果
01 紧张性（tonic）结果
为了确定驾驶员意识缺失时fNIRS和EEG信号之间的关系，我们分析了被试在紧张性（tonic）和时相性（phasic）两个时段的大脑动力学数据。图3显示了枕区血流动力学响应与四个EEG频带的t检验相关系数。结果显示，含氧血红蛋白HbO2 浓度与脑电各波段呈显著负相关(Pearson’s correlation coefficient, p＜0.05)。行为表现（即RT ratio）与与脑电波段也呈负相关，其中RT ratio与δ波段、α波段的相关性分别为- 0.57和- 0.54。
图3：枕区HbO2 浓度与频率变化的相关性。(A) δ波段，(B) θ波段，(C) α波段，(D) β波段。
图4显示了三个表现组(最优、次优和较差)的枕区平均HbO2 Z分数。在最优组和次优组中，HbO2 Z分数上升；但在较差组中，HbO2 Z分数下降了，这表明表现较差组的被试未能保持驾驶性能。此外，在所有试次中，表现较差组被试的HbO2Z分数值最低。
图4：三组被试(最佳、次优和较差)枕区HbO2 水平
02 时相性（phasic）结果
四个脑电频段的相位功率变化如图5所示。时相性（phasic）分析能够观察到随着RT-ratio的增加，大脑动力学的变化：δ波段和θ波段功率在车道偏离任务开始后立即显著增加。在偏离任务开始后，到做出反应前，α和β波段功率降低，随后其活动增加。
图5 枕区四个频段的相位变化及RT-ratio
黑色实线表示偏离任务开始时间，白色虚线表示反应开始时间。
每个图中按照RT-ratio排序（从快到慢）。
color bar：红色表示EEG相对功率动态增强，蓝色表示相对功率动态降低。
相对于RT-ratio，枕区的时相性HbO2反应如图6所示。HbO2浓度Z分数在偏离任务开始后的8秒呈正值，在8 ~ 15秒呈负值，之后开始恢复正常(恢复期)。随着RT-ratio的增加，偏离任务开始后枕区HbO2正值略有下降。此外，我们注意到恢复期的HbO2的Z分数随着RT-ratio的增长而降低。
图6：枕区与驾驶表现相关的HbO2 浓度变化(z分数)
图7显示了三组被试的血流动力学反应和θ、α频带脑电功率的关系。偏离任务开始后，首先出现脑电神经激活，随后出现HbO2水平变化。这一血流动力学反应与对事件反应的神经元活动有关。随着RT-ratio的增加，θ和α的活动明显减少，尤其是在表现不佳的组。
图7：偏离任务开始后三组被试(最佳、次优和较差)的脑电功率和HbO2浓度水平的变化对比
结论
我们对车道偏离前的两秒进行了紧张性分析，对车道偏离后的15秒进行了时相性分析。分析结果揭示了脑电功率谱与枕区HbO2浓度水平之间的关系。总的来说，在紧张性和时相性分析中，枕区脑电功率的变化趋势与先前的研究结果一致。随着驾驶表现水平的下降，θ, α和β波段的频谱功率增加，我们认为这与驾驶疲劳有关。HbO2浓度与脑电图各频带呈负相关，尤其是α节律。此外，随着驾驶表现水平的下降，HbO2浓度降低。δ和α脑电功率与HbO2振荡的关系表明，HbO2的激活与精神疲劳有关。因此，发生在次优组的枕区HbO2紧张性变化最高，可能是因为这些驾驶员分配了更多的大脑资源来对抗疲劳，以保持可接受的驾驶水平。枕区血液动力学和脑电功率的变化可以提供驾驶过程中大脑对嗜睡反应的完整神经基础，因此，进一步探索与驾驶员疲劳相关的大脑状态变化是值得的。
这项研究提供了关于驾驶疲劳对大脑的影响的重要见解。通过同时使用EEG和fNIRS多模态测量技术，研究人员能够更全面地了解驾驶疲劳的神经机制，这有助于开发更有效的驾驶疲劳检测和预防方法。此外，这项研究还强调了神经影像技术在交通安全研究中的重要性，以帮助降低交通事故的发生率。
