标准路线图

BMI-standard

“脑机接口神经技术组织”是由 IEEE（电气与电子工程师协会）于 2017 年 5 月发起的一项标准化行业连接（Standards Industry Connection）建议，它通过成立该组织来推进脑机接口行业标准化活动。

该组织聚集了来自神经科学家、研究机构和政府机构的利益相关者，致力于解决脑机接口领域现有标准中的差异问题，以及提高研究者对该领域标准化重要性的认识。

《标准路线图:脑机接口的神经技术》正是这个小组的一份产出。它概述了脑机接口神经技术领域现有、及正在制定的标准。除了回顾最新的标准化工作外，本文档还报告了通过与社区成员进行的在线调查收集的对标准化工作的意见，并就标准化的具体内容的优先级提出了一些建议。

接下来的一段时间，我们会与大家分享该文档的节选。

Performance assessment

and benchmarking

脑机接口绩效评估和基准测试的最新技术

脑机接口的评估通常包括硬件和软件评估。硬件包括采集设备、外形尺寸和电子设备，是评价脑机接口性能的关键部分。软件主要涉及界面和机器学习技术。迄今为止，还没有一种正式的方法可以有效地评估单个元素的性能对脑机接口系统整体性能的影响。

数据采集基准

数据采集硬件是脑机接口性能的重要组成部分，相关的评估方案很少，在实际应用中一般依赖制造商提供的硬件规范。这个分类也可以联系到传感器的部分。

生理指标

生理指标虽然种类众多，并不一定和脑机接口的性能直接相关。例如，较低的截止频率仅与某些使用较低频率的脑机接口应用相关。另外，这些规范需要将实际采集的角度加入考虑：对于给定的耳机或电极组，放大器的输入阻抗主要提供典型的电极间阻抗范围。因此，应当通过实际采集评估采集设备的重要性。

尽管从业者最终的目的是量化一个系统测量有意义的神经生理变化的能力，但这种能力会受到很多因素的影响，因此在对硬件解决方案进行基准测试时需要考虑大量可变性来源。控制这些变量的一种方法是在足够多的受试者中控制一组变量，来体现个体间的变异性。例如，我们可以观察特定的脑电情况，同时避开不受欢迎的变量，专注于观察想要评估的变量(电子设备、电极等)。对于其他变量，可以得出类似的方法。

医疗设备的设计控制，描述为瀑布设计过程

软件基准

软件是脑机接口的重要组件之一，消耗了最多的资源，因此已经拥有了非常广泛的文献比较方法和示例。为了简化问题，人们已经建立了脑机接口系统的处理步骤，并建议以下的标准评估程序执行：

预处理技术：将一个波形变换为另一个具有相同维度的波形，以提高信噪比：在这种情况下，上面列出的生理指标可以评估预处理的性能。

信号质量指数：一种将波形作为输入并提供单变量(或相同维度的多变量时间序列)二进制输出的方法，结果可以表明信号是干净的或有噪声的；同样，上面列出的生理指标可以用于评估性能。

一旦有了可靠的去噪且干净的信号，它就会被转换为映射大脑活动的生理特征，应用于下列场景：

空间中机械物体的控制：轮椅、机械臂、无人机、屏幕上的光标等。

通信设备的控制：IEEEP300拼写器、mCode应用程序和连续应用程序

对精神状态的监控：脑力劳动、疲劳、工作记忆等。

操作员对一组神经网络进行条件调节(神经反馈)

对以上应用而言，重要的是将用于映射方法(机器学习算法)的评价标准与对于闭环系统脑机接口性能有影响的接口(BCI和神经反馈设备)的评价标准区分看待。

标准化的水平

脑机接口系统的性能评估和基准测试是标准化的首要任务之一，但目前仍然没有具体的标准。目前，对这些系统的评估工作均由单独的工作组进行，尚无统一的方法。

尽管在量化脑机接口独立组成部分的性能方面已经有了一些成果，但整个脑机接口系统还没有全面的标准或基准。如今，相关从业者正在开发脑机接口系统的基准，比如公开标准化数据库，允许开发人员测试他们的方法。

相应地，某些组织提出了新的倡导，希望能够提供评估EEG信号质量的方法，以及对多种脑机接口算法进行基准测试。一个有趣的案例是在2016举行的脑机接口比赛。多个团队使用基于SMR的BMI来控制视频游戏中的化身，各个团队竞相在最短的时间内完成障碍比赛。这为这类系统提供了一个基准任务。在这种系统中，绩效与任务的总体完成情况内在地联系在一起，而不是只评估个别要素。

标准化优先级的建议

目前，对于脑机接口系统的表现应该如何评估，还没有达成共识。有大量指标来评估脑机接口的解码元素，它们对闭环系统性能的实际影响非常重要。当下从业者们需要推动供整个社区应用的绩效衡量标准的建立。制定一种标准化的评价方法对于比较多个不同种类的系统至关重要。

部分已有的相关标准

关键词： 脑机接口标准路线图｜第八辑绩效评估和基准测试