研究员用HoloLens为晕动症进行皮肤电活动、脑电图等精准测量
比萨大学
（映维网Nweon 2024年04月16日）对于AR/VR头显，用户容易体验到两种感知冲突，并降低他们在精确手动任务中的表现：视觉辐辏调节冲突VAC（Vergence-Accommodation Conflict）和焦点竞争FR（Focus Rivalry）。
对于这两者，如何量化是一个问题。以往一般是通过问卷进行调查，但这可能会产生有意识或无意识的偏见，并且可能不够准确。所以在一项研究中，意大利比萨大学使用微软HoloLens执行了基于增强现实引导的手动任务，并通过脑电图监测来描述与相关的心理生理反应。
其中，21名备受在双眼和单眼条件下接受了有无AR的“连点”实验。对于每种情况，通过分析皮肤电活动（EDA）和心率变异性来量化被试自主神经系统活动的变化。另外，通过从脑电图中提取的大脑活动的功率测量和大脑连接的多元自回归测量来分析神经中枢相关性。
在现实世界中，你的眼睛可以自动对焦一个对象，而世界的其他元素则会脱离焦点。VR/AR的问题是，无论你在VR世界中看向何方，你都只是盯着屏幕，亦即看着相同的距离。
换句话说，视觉调节（弯曲眼睛晶状体以聚焦不同距离的对象）永远不会改变，但视觉辐辏（眼睛向内旋转以将每只眼睛的视图重叠成一个对齐图像）却会出现，所以会导致视觉辐辏调节冲突VAC（Vergence-Accommodation Conflict）。
另外，虚拟对象和真实对象焦距的差异会导致焦点竞争FR（Focus Rivalry），亦即约束用户选择性地对焦于单个线索（虚拟或真实内容）。事实上，人类视觉系统不允许一次对焦在多个焦平面。所以当目标距离眼睛的注视点一定距离，但在人类景深的光学延伸之外时，感知模糊就会出现。
之前有研究量化了VAC和FR在AR环境中执行的简单“连点”任务中的影响。有趣的是，研究人员观察到，双眼视觉期间的VAC和FR，以及单眼视觉期间的FR，都会降低任务表现。VAC和FR效应通常在科学文献中使用问卷进行评估。然而，通过自我报告收集信息有多个局限性，并可能会产生有意识或无意识的偏见。
所以，可以尝试从生理信号中获得视觉不适和疲劳的更客观的测量，如眼电图、眼动追踪和脑电图。事实上，与自我评估的报告相比，生理信号不太容易产生主观偏见。
初步研究通过分析脑电图额叶α不对称指数，调查了类似的“连点”任务中的心理工作量。初步结果表明，使用AR执行任务可能比使用自然视觉执行任务要求更高。然而，对AR引起的生理变化的全面详细描述依然缺失。事实上，为了正确表征用户的心理生理状态，需要考虑不同身体反应的不同测量，从自主神经系统（ANS）与大脑活动和连接测量的相关性。
为此，意大利比萨大学首次提供了在使用和不使用AR，以及在双眼和单眼视觉中执行的“连点”任务期间心理生理反应的多模式表征。
具体而言，团队通过关注皮肤电活动（EDA）和心率变异性（HRV）信号来监测AR任务期间受试者自主神经反应的变化，并通过考虑EEG得出的几个指标来分析AR使用的神经中枢相关性。
EDA和HRV是两种最常用的ANS相关性，主要用于推断受试者在几种受控条件下的心理生理状态，如压力和恐惧等等。
另外在这项研究中，研究人员分析了脑电图，以量化头皮水平的功率变化，并首次基于不同的实验条件来表征参与任务完成的脑源以及源之间连接的变化。连通性通过应用于独立分量（IC）时间进程的多元自回归（MVAR）模型进行评估。
团队同时通过以事件相关的方式分析生理反应，并通过分析用户的行为测量和主观评级来评估刺激方案的功效。
在这项研究中，研究人员分析了AR在“连点”任务中的行为和生理相关性，并提供了在精确运动协调任务中AR使用的外围和中心神经相关性的第一个多模式分析。他们将结果与之前仅基于任务表现的行为和错误测量的报告相结合。与不使用AR执行相同任务相比，使用AR会导致大脑活动的改变。结果同时强调，与ANS相关性相比，脑电图功率和连接测量似乎更适合表征观察到的生理反应。总的来说，研究为AR在更复杂和更具挑战性的任务中的应用研究和设计提供了有用的见解。
值得注意的是，结果依赖于多模式方法（即使用多种测量和信号），并旨在识别FR和VAC对不同行为和生理测量的影响，并依赖于稳健的统计测试来证明假设的有效性。然而，参与实验的被试人数相对较少（n=21），所以这存在局限性。未来的研究可能会考虑更多的被试，以得出更有力的结论。有鉴于此，基于机器学习的解决方案同样有助于在AR的使用过程中找到表征FR和VAC的特定特征。
相关论文：Behavioral, Peripheral, and Central Neural Correlates of Augmented Reality Guidance of Manual Tasks
总的来说，这项研究调查了在手动任务中使用头显时对VAC和FR感知冲突的心理生理反应，并尝试通过生理结果来补充问卷调查的结果，以便在新设备的验证和测试中发挥关键作用。
团队认为，这种令人鼓舞的、生理上合理的结果将会推动未来的研究，并重点关注在高工作量要求应用中使用AR技术的风险和益处，例如基于AR引导的手术。
