河套 IT TALK 48：机器人专家想给你配上第三只手
本文翻译自《IEEE Spectrum》2023年1月29日的文章《Robotics want to give you a third arm——Unused bandwidth in neurons can be tapped to control extra limbs》
达里奥·法里纳（Dario Farina）
IEEE 院士，担任神经康复工程主席，并且是伦敦帝国理工学院生物工程系的教授。他的研究重点是生物信号处理和建模、运动的神经控制和神经康复技术。
艾蒂安·伯德（Etienne Burdet）
伦敦帝国理工学院人类机器人学教授。他使用神经科学和机器人学的综合方法来研究人类感觉运动控制，并为日常生活技术和神经康复设计高效的界面。
卡斯滕·梅林（Carsten Mehring）
德国弗莱堡大学的神经生物学和神经技术教授。他的研究结合了实验和理论方法来研究电机控制和脑机接口。
海梅·伊巴内斯（Jaime Ibáñez）
西班牙萨拉戈萨大学的拉蒙·卡哈尔高级研究员。他还在伦敦帝国理工学院担任名誉研究员。的研究重点是研究的大脑-脊髓双向传输的运动神经活动。
【太长不看】(TLDR) ：本文介绍了一种通过非侵入式高密度肌电图EMG对神经信号的解码技术，利用神经系统中神经传导额外的高频 β 波段，控制人体增强设备（第三只手）的方案。实验者可以用这种方式通过大脑传递给附着在胫骨前肌的EMG系统，进而控制屏幕上的鼠标移动到指定区域。这种技术让第三只手可以在不妨碍其他肢体运动的前提下更加自然地运动。如果继续提升此技术的精度度，人体增强机械手臂可能会出现广阔的应用前景。
额外的机械肢体
如果给你第三只手，你想用来干什么呢？想象一下：一位外科医生正在进行一项精细的手术，需要她的专业知识和稳定的双手。当她的两只手正在进行手术时，附在她身上的第三只机械臂起到辅助的作用。或者想象一位建筑工人，他需要焊接一个沉重的横梁，但是另外一只手的力量不够撑住那根横梁，需要额外的机械臂的辅助。再大胆想象一下，佩戴一个可以让你能同时处理多个物体的外骨骼，比如《蜘蛛侠》电影里的章鱼博士。或者想一想作曲家可以为有第三/第四只手弹奏的钢琴家写的曲子。
编者注：电影《蜘蛛侠》中的章鱼博士形象
这些场景可能看起来很像科幻小说，但机器人学和神经科学的最新进展，已经可以使用当前的技术来给人类配备额外的机器人肢体。我们在伦敦帝国理工学院和德国弗莱堡大学的研究小组与欧洲项目NIMA（编者注：用于运动增强的非侵入式界面Non-invasive Interface for Movement Augmentation的缩写）的合作伙伴一起，正在努力弄清楚这种运动增强如何在实践中实现以增强人类的运动能力。当前的主要问题涉及神经科学和神经技术：人脑是否能够像控制自己肢体一样有效地且自然地控制其他额外配备的身体部位？如果是这样，什么的神经信号可以用于这种控制？
我们认为，额外的机器人肢体完全可以成为一种新的人类增强形式，可以提高人类执行任务的能力，并扩展人类做一些无法用自然人体承担的任务和执行的动作。如果人类可以轻松地添加和控制第三条手臂、第三条腿或更多的手指，那么人类同样可以想到五花八门的超出本文提到的应用场景，做出叹为观止的动作，完成我们之前无法想象的任务。
人类增强的几个层次
编者注：一位医生正在操控一台“达芬奇”机器人手术系统。
近几十年来，机器人肢体取得了长足的进步，其中一些已经被人们用来增强自身的能力。大多数是通过操纵杆或其他手持控器操作的。例如，生产线上的工人就是这样使用机械肢体来固定和操纵产品组件的。同样，执行机器人手术的外科医生坐在患者对面的控制台前。虽然手术机器人可能有四只手臂，末端装有不同的工具，但外科医生的双手一次只能控制其中的两只机械臂。我们能否赋予这些外科医生同时控制手术机器人四只手臂的能力呢？
截肢或瘫痪的人也可以使用机器人肢体。这包括坐在电动轮椅上的人用轮椅上的操纵杆控制机械臂，以及那些失去肢体的人通过剩余肌肉的动作控制假肢。但真正的神经控制假肢目前仍十分罕见。
编者注：马修·内格尔（ Matthew Nagle）是第一个使用脑机接口来恢复因瘫痪而丧失的功能的人。他是C3四肢瘫痪者，被刺伤后颈部以下瘫痪。2005年，医生将一个96电极BrainGate被放置在他的大脑表面，通过运动皮层区域控制电脑上的光标移动。
最先体验脑控假肢的人是患有四肢瘫痪的病患，他们往往从颈部以下都瘫痪了。其中一些瘫痪人士大胆地自愿参加大脑植入物的临床试验，使他们能够仅通过意念来控制机械肢体，发出心理指令，使机械臂将饮料举到他们的唇边，或帮助他们完成日常生活中的其他简单任务。这些系统属于脑机接口 (BMI) 的范畴。也有志愿者使用 BMI 技术来控制计算机屏幕上的光标，使他们能够键入消息、浏览网页等等。但这些 BMI 系统中的大多数都需要进行脑部开颅手术才能植入神经芯片或者传感器，并且往往需要安装从头骨突出的硬件，因此这种方案目前还仅适合在实验室中使用。
编者注：电影《明日边缘》中，汤姆克鲁斯着装动力外骨骼的战斗服，是人体增强第一个层次的应用场景。动力外骨骼在多部好莱坞电影中出现，现实中也是被DARPA支持的一个项目计划。
人体的增强可以被认为具有三个层次。第一级增加了现有的特征，例如，动力外骨骼可以 赋予佩戴者超强的力量。第二层赋予人新的自由度，例如移动第三只手臂或第六根手指的能力，但要付出代价——例如，如果额外的附件由脚踏板控制，则用户会牺牲脚的正常活动性来操作控制系统。第三级增强技术是技术上最不成熟的，它为用户提供了额外的自由度，而不会剥夺任何其他身体部位的活动能力。这样的系统将允许人们通过利用一些未使用的神经信号来控制机器人肢体，仿佛这些机器人肢体真的长在人体身上，和其他肢体能够灵活地配合。这就是我们本次研究探索的方向。
破译来自肌肉的电信号
人体增强第三个层次也许可以通过侵入性 BMI 植入物来实现，但脑部手术的代价很高，也存在巨大的风险，如果让这个层次的人体增强得到更为广泛的日常使用，需要一种非侵入性的方式来从颅骨外部获取大脑指令。
对于许多研究小组来说，这意味着依赖久经考验的脑电图(编者注：electroencephalogram，缩写为EEG) 技术，该技术使用头皮电极来获取大脑信号。我们的团队正在研究这种方法，但我们也在探索另一种方法：使用肌肉产生的肌电图(编者注：Electromyography，缩写为EMG) 信号。我们花了十多年时间研究皮肤表面的 EMG 电极如何检测来自肌肉的电信号，然后我们可以解码这些电信号以揭示脊髓神经元发送的命令。
电信号是神经系统的语言。在整个大脑和周围神经中，当特定电压（几十毫伏）在细胞内积聚并导致动作电位沿其轴突传播，在与其他神经元的连接处或突触处释放神经递质时，神经元会“放电” ，并可能触发连接的神经元依次放电。当这种电脉冲由脊髓中的运动神经元产生时，它们沿着轴突行进，一直到达目标肌肉，在那里它们穿过特殊的突触到达单个肌肉纤维并引起肌肉收缩。我们可以记录并解码这些包含用户意图的电信号，并将它们用于各种控制目的。
神经元信号是如何被解码的呢？参见上图，训练模块 [橙色] 获取由电极阵列 [左] 读取的初始批次 EMG 信号，确定如何提取单个神经元的信号，并将该过程在数学上总结为分离矩阵和其他参数。借助这些工具，实时解码模块 [绿色] 可以从持续不断的 EMG 信号流中有效地提取单个神经元的尖峰序列 [右]。
然而，根据皮肤表面 EMG 读取的内容来破译单个神经信号并不是一项简单的任务。典型的肌肉运动会接收来自成百上千个脊髓神经元的信号。此外，每个轴突在肌肉处分支，并可能与分布在整个肌肉中的一百个或更多单独的肌肉纤维相连。皮肤表面 EMG 电极采集到的信号包含这些复杂的杂音脉冲。
二十年前的一项发现给非侵入性神经接口带来了技术突破。这种技术可以通过高密度 EMG 采样方式破解神经元信号。方法是将数十到数百个电极固定在皮肤上，以检测到从脊柱中单个运动神经元发送出来的指令信号。而在这项发现之前，获取这种信息需要通过侵入式肌肉或神经电极才行。2017 年，我们与截肢者合作，展示了这种使用高密度 EMG 的方法有可能用于改善对假肢的控制。我们将高密度皮肤电极放在多个位置上以提供良好的采样，以达到识别和解码参与运动的绝大部分脊髓运动神经元的信号活动。而现在，我们已经做到可以实时进行采样和解码，这意味着基于脊髓信号的无创 BMI 系统开发将成为现实。
系统当前版本由两部分组成：训练模块和实时解码模块。首先，将高密度EMG 电极网格（编者注：High Definition electromyography，缩写为HD-sEMG）贴在皮肤上，用户进行轻微的肌肉收缩，然后我们将记录的 EMG 信号输入训练模块。该模块执行识别构成 EMG 信号的单个运动神经元脉冲（也称为尖峰脉冲）的艰巨任务。该模块分析 EMG 信号和推断的神经尖峰信号之间的关系，并将其总结为一组参数，然后将这些参数导入到数学公式中，将 EMG 信号转化为来自单个神经元的尖峰信号序列。
有了这些参数，解码模块就可以获取新的 EMG 信号并实时提取单个运动神经元的活动。训练模块需要大量计算，这种计算太慢的话，就没有办法执行实时控制，但每次将 EMG 电极网格固定在用户身上时，通常只需运行一次。相比之下，解码算法非常高效，延迟很低，只有几毫秒，这意味着完全可以支持独立的可穿戴 BMI 系统。通过将其结果与插入用户肌肉的侵入性 EMG 电极同时获得的信号进行比较，验证了非侵入EMG系统的准确性。
利用神经信号中的额外带宽
开发这种从脊髓运动神经元中提取信号的实时方法是我们目前控制额外机器人肢体工作的关键。在研究这些神经信号时，我们注意到它们实际上具有额外的带宽。信号的低频部分（低于约 7 赫兹）被转换为肌肉力量，但信号也有较高频率的成分，例如 13 至 30 赫兹的 β 波段，这些成分太高而无法控制肌肉，似乎也没有被使用。我们不知道为什么脊髓神经元会发送这些高频率信号。或许，频率冗余可能是一种为防范新的条件变化的缓冲策略。不管是什么原因，人类进化出了一套神经系统，从脊髓发出的信号要比控制肌肉所需的信息丰富得多。
这一发现让我们开始思考是否可以用额外频率来做点儿什么。特别是，我们想知道是否可以获取这些无关的神经信息并用它来控制机器人肢体。但我们不知道人们是否能够自主控制这部分信号，与他们用来控制肌肉的信号分开。为了找到答案，我们设计了一个实验。
在上图我们的第一个概念验证实验中，志愿者利用未使用的神经带宽来控制其面前屏幕上光标的运动。神经信号从她的大脑和脊髓发出，通过脊髓神经元到达胫骨前肌，在那里它们被她腿上的肌电图电极阵列读取并实时破译。到达肌肉的信号包括控制肌肉收缩的低频分量 [蓝色]、较高频率（无已知生物学用途的 β 波段 [黄色]）和噪声 [灰色]。
实验环境搭建很简单，但所涉及的神经机制和算法很复杂。每个志愿者都坐在屏幕前，我们在他们的腿上放置了一个 EMG 系统，在一个 4 x 10 厘米的贴片中有 64 个电极贴在胫骨前肌上方的皮肤上，在收缩时使脚向上弯曲。胫骨一直是我们实验的主力军：它占据了靠近皮肤的大面积区域，并且它的肌纤维沿着腿部排列，这使得它非常适合解码支配它的脊髓运动神经元的活动。
志愿者们被要求收缩胫骨，为了让其基本保持紧张状态，并志愿者们用脚支撑地面以防止运动。我们观察了整个实验过程中提取的神经信号中的变化。并将这些信号分成控制肌肉收缩的低频和 20 Hz 左右的额外频率，然后设计这两个分量分别与计算机屏幕上光标的水平和垂直控制相关联。最后，要求志愿者尝试在屏幕上移动光标到屏幕上指定的位置。但我们实在是无法向志愿者解释清楚到底怎么做到这一点，他们不得不依靠光标位置的视觉反馈，让大脑弄明白应该如何移动它。
但出乎意料的是，这些志愿者，在不知道自己怎么做的情况下，既然能够在几分钟内完成任务，将光标在屏幕上快速移动，尽管移动过程中抖动很厉害。从一个神经命令信号开始——收缩胫骨前肌——他们正在学习开发第二个信号来控制计算机光标的垂直运动，独立于肌肉控制（它指导光标的水平运动）。人类在寻找与自然运动任务分开的神经控制通道方面竟然如此轻松地迈出了重要的第一步，这确实让人兴奋不已。
上图是低频和高频神经信号分别控制计算机光标水平和垂直运动的实验结果。彩色椭圆（中心有加号）显示目标区域。前三个图表显示了一个用户在三个试验中为每个目标实现的轨迹（每个都从左下角开始）。右下角的图，点表示在成功试验中达到的平均位置。彩色十字标记每个目标的平均位置和结果范围。
但我们也必须清醒地意识到，这种控制对于实际使用来说还是太有限了。下一步的研究应该是如何更准确地获取神经元信号，以及人们是否可以使用它们来控制机器人肢体的同时，还能进行独立的其他肢体的自然运动。
另外，到底大脑是如何运作的来实现控制光标运动这样的壮举的，这一点也让我们非常好奇。在最近一项使用光标任务的研究中，我们要求志愿者同时带上EEG，使用脑电图来实时查看用户大脑中发生的情况，特别是在与自主控制运动相关的区域。结果不出所料，到达肌肉的额外 β 波段神经信号发生的变化与大脑的类似波段变化密切相关。如前所述，β 神经信号仍然是一个谜，因为它们在控制肌肉方面没有发挥已知作用，甚至不清楚它们起源于何处。研究结果表明，志愿者正在学习调节大脑活动产生 β 信号并发送到肌肉区域。这一发现，将帮助我们揭开β 信号背后的潜在机理的面纱。
用于全身和多感官（视觉、音频、触觉）交互的多肢虚拟环境 (MUVE) 是伦敦帝国理工学院实验室开发的一个独特的系统，可以在动态虚拟环境中与手臂、腿和额外的机器人肢体进行物理交互。MUVE 结合了 (i) 先进的基于跑步机的虚拟现实运动套件，以及 (ii) 两个功能强大的机器人接口，可以与手臂进行平稳而有力的交互，(iii) 多达四个轻型可穿戴机器人手臂，用于运动增强，以及 (iv)来自伦敦帝国理工学院实验室的专用感觉运动接口，包括仪器化对象、软传感器和外骨骼、高级假肢、高密度 EMG 和非侵入性神经接口。所有这些元素都同步并集成在一个系统中。
与此同时，伦敦帝国理工学院构建了一套系统来测试这些带有额外机器人肢体的新技术，称之为多肢体虚拟环境，或 MUVE。MUVE 将使用户能够在虚拟现实模拟的场景中使用多达四个轻型可穿戴机械臂。该系统计划开放给全球其他研究人员使用。
人类增强的未来展望
接下来，我们会进一步测试用这种β 波控制技术来操控机械臂或者其他的人体增强额外硬件设备。这也是我们的目标。真正的挑战不是连接硬件，而是如何识别足够准确的多个控制源，以便对机器人身体部位执行复杂且精确的动作。
我们还会研究该技术将如何影响使用它的人的神经过程。例如，如果某人有六个月使用额外机械臂的经验，他的神经系统会发生什么变化？大脑的天然可塑性是否能让他们适应并获得更直观的控制能力？一个天生有六个手指的人可能拥有发育完全的大脑区域致力于控制额外的手指，从而产生非凡的操纵能力。人们针对额外的机械臂能否随着时间的推移发展出类似的灵活性？我们还想知道控制额外的肢体会涉及多少认知负荷。如果人们只有在实验室环境中全神贯注时才能引导这样的肢体，那么这项技术可能就没有什么用了。然而，如果用户在做三明治等日常工作时可以随便多用一只手，那就意味着该技术适合日常使用。
第六指是一种可穿戴的额外机器手指，希望给慢性中风患者使用，以补偿其麻痹肢体缺失的手部功能。患者可以通过肌电图 (EMG) 接口控制机械手指的弯曲/伸展。
其他研究小组正在研究具有不同类型控制机制的类似神经科学问题。意大利锡耶纳大学的 多梅尼科·普拉蒂奇佐（Domenico Prattichizzo） 及其同事展示了一种腕戴式软机器人第六指。它使手因中风而变得虚弱的用户能够安全地抓握物体。用户戴上带有 EMG 电极的帽子，并通过扬起眉毛向手指发送命令。
额外机器人肢体SRL（Supernumerary Robotic Limbs）由四部分构成：首先，它配备了一个安全带，与人体形成一个舒适而牢固的界面。背带固定在机器人底座上，底座贴合用户臀部的形状，并包含控制电子设备和储能单元。最后，两个机器人肢体——每个具有三个自由度——连接到底座。
浅田晴彦（Harry Asada） 在麻省理工学院的团队也对多种类型的额外机器人肢体进行了试验，包括一种可穿戴套装，该套装使用 EMG来检测躯干中的肌肉活动以控制额外的肢体。
其他小组正在试验涉及基于头皮的脑电图或神经植入物的控制机制。运动增强还处于早期阶段，世界各地的研究人员才刚刚开始解决这个新兴领域的最基本问题。
两个实际问题需要首先确认：1. 我们能否在自然运动的同时实现对额外机器人肢体的神经控制？2. 系统是否可以在没有用户专心的情况下工作？如果这两个问题中的任何一个的答案是否定的，我们就不会有实用的技术，但我们仍然会有一个有趣的新工具来研究运动控制的神经科学。如果这两个问题的答案都是肯定的，那么我们可能已经准备好进入人类增强的新时代。现在是到了祝我们好运的时候了（cross the fingers）。