可以利用神经元中未使用的频宽来控制额外的肢体。
宇航员对卫星进行机械维修——从背包处伸展出的两条机械臂大大增强了宇航员的维修能力
额外的肢体能帮我们做什么呢?外科医生要开展精细的手术,离不开自己充满专业知识的头脑和娴熟又稳当的手——不光是一对生物手,还有一只机械手。操作手术工具时,附在医生躯干上的第三只机械手起到辅助作用。建筑工人也用得到额外机械臂,以支撑他用自己双手固定到位的重梁。想象一下:宅男穿戴上一套能帮他同时处理多个物体的外骨骼,化身《蜘蛛侠》里的章鱼博士;钢琴家拥有12根手指,作曲家不得不谱写更丰富多变的音乐。
上述场景似乎很科幻,但必须承认,机器人技术和神经科学的最新进展使得当今技术足以展望额外的机器人肢体。英国伦敦帝国理工学院和德国弗莱堡大学的研究小组,以及欧洲的一些合作伙伴试图搞清楚这种机器增强可否在实践中实现,以扩展人类的能力。需要解决的主要问题涉及神经科学和神经技术:人脑是否能像控制生物部位一样有效控制机器部件?如果答案是肯定的,什么神经信号可用于这种控制?
我们认为,额外的机器人肢体可被视为一种新的人类增强形式,令本就能执行的工作以高效率完成,让本不可能完成的任务变为可能,扩展人体机能的边界。如果人类能轻松地给自己配置并控制好第三条手臂、第三条大腿、更多的手指,不难想见,我们将能运用令人惊叹的奇技,甚至开发前所未见的异能。
人类增强层级
近几十年来,机器人肢体取得了长足进步,其中一些已经被人用来增强身体机能。大多数机器人肢体通过操纵杆或其他手控器操作。例如,生产线上的工人使用这类机械肢体来固定和操纵产品组件。同样地,外科医生坐在患者对面的控制台前,进行超精细的机器人手术。虽然手术机器人可能有四条配备不同工具的手臂,但外科医生的手一次只能控制其中两条机械手。那么,这些外科医生能否拥有同时控制四种工具的能力呢?
截肢或瘫痪人士也能使用机器人肢体。例如,坐在电动轮椅上的人使用操纵杆控制机械臂,失去手臂者通过剩余肌肉的动作控制假肢。然而,真正意义上的“大脑控制假肢”非常罕见。
使用脑控假肢的先行者是四肢瘫痪人士(通常是颈部以下瘫痪)。一些敢于冒险的瘫痪患者自愿参加大脑植入物的临床试验,尝试仅通过意念来控制机械肢体——发出大脑指令,要求机械臂将饮料送到嘴边,或帮助完成其他日常简单任务。这些系统属于脑机接口(BMI)类别。另一部分志愿者已经成功使用BMI技术控制计算机光标,使自己能够输入信息、浏览互联网等。但这些BMI系统中的大多数都需要进行脑部手术方可置入神经植入物,而且包括从头骨处突出的硬件,因此它们仅适用于实验室。
神经信号是如何解码的上图展示了系统如何使用训练模块和实时解码模块解码肌电图读取的神经信号。训练模块(上)获取由电极阵列(左)读取的初始批次EMG信号,确定如何提取单个神经元的信号,并在数学上总结为分离矩阵和其他参数。借助这些工具,实时解码模块(下)可以从持续不断的EMG信号流中有效提取单个神经元的尖峰序列(右)
可以认为人类增强具有三级层次。第一级,增强现有的特征。例如,机械外骨骼带给穿戴者超强力量。第二级,赋予新的自由度。比方说,机器人肢体令穿戴者拥有操纵第三条手臂或第六根手指的能力,但这也会付出代价——例如,用户需要借助足部装置来操作机械臂,因此牺牲了腿脚的正常活动能力。第三级,为用户提供新的自由度,且不剥夺任何身体部位的活动能力。当然,这一级的技术最不成熟。这样的系统将允许用户利用一些未被占用的神经信号来控制机器人肢体,同时不改变对自己身体的正常控制。探索工作目前也正处于这一层级。
破译来自肌肉的电信号
第三级的人类增强或可通过侵入性脑机接口植入物来实现,但就日常使用而言,我们需要一种非侵入性方式从颅骨外部获取大脑指令。对于许多研究团队来说,这意味着依靠久经考验的脑电图(EEG)技术——通过放置于头皮上的电极来获取脑电波信号。我们团队正在研究EEG方法,同时也在探索另一条路径:使用肌肉产生的肌电图(EMG)信号。我们花了十多年时间研究皮肤表面的EMG电极如何检测来自肌肉的电信号,以求解码这些电信号,揭示脊髓神经元发送的命令。
电信号是神经系统的语言。当细胞内电压积聚到特定水平(几十毫伏),整个大脑和周围神经的神经元会“放电”,并导致动作电位。电位沿轴突传播,在与其他神经元的连接部位(突触)释放神经递质时,可能触发这些神经元依次放电。当这种电脉冲由脊髓的运动神经元产生时,它们会沿着轴突行进,直到目标肌肉,在那里穿过特殊的突触,抵达肌肉纤维并导致其收缩。我们可以记录这些编码用户意念的电信号,并将它们用于各种控制目的。
然而,根据表面EMG可读取内容来破译单个神经信号并非一项简单工作。典型肌肉接收来自不计其数的脊髓神经元的信号。此外,每个轴突在肌肉处分岔,并可能与分布于整个肌肉里的上百个单独的肌肉纤维相连。表面EMG电极会拾取大量信号“杂音”。
20年前,无创神经接口取得突破。科学界发现高密度EMG(数十甚至数百个电极固定于皮肤上)拾取的信号可以解析开来,从而提供有关脊柱内单个运动神经元发送的命令的信息。更早时候的科学家只能通过肌肉或神经中的侵入式电极获得此类信息。在2017年与截肢群体合作时,我们表明这种使用高密度EMG的方法有望优化对假肢的控制。我们的高密度表面电极在多个位置提供优良采样,帮助团队较大比例地识别和解码参与任务的脊髓运动神经元活动。现在,我们能够实时地开展此类工作。这意味着我们可以开发基于脊髓信号的无创BMI系统。
我们系统的当前版本由两部分组成:训练模块和实时解码模块。首先,将EMG电极栅格贴在皮肤上,用户进行平缓的肌肉收缩,然后我们将记录的EMG信号输入训练模块。该模块要执行一项艰巨任务,那就是识别构成EMG信号的单个运动神经元脉冲(也称为尖峰脉冲):分析EMG如何发信号,以及神经尖峰信号与它之间的关系,并将其总结为一组参数,继而可以把这些参数与更简单的数学公式一起用,把EMG信号转化为来自单个神经元的尖峰信号序列。
神经控制展示用于研究神经控制的实验装置。一名志愿者正看着连接到她胫骨上电极阵列的电脑显示器,她利用未使用的神经带宽来引导光标在她面前的屏幕上移动。神经信号由她的大脑和脊髓发出,通过脊髓神经元到达胫骨前肌,在那里被她腿上的肌电图电极阵列读取并实时破译。到达肌肉的信号包括控制肌肉收缩的低频分量、较高频率部分(例如无已知生物学用途的β波段)和噪声
有了这些参数,解码模块就可获取新的EMG信号,并实时提取单个运动神经元的活动。训练模块需做大量计算,而且本身执行实时控制的速度太慢,每次将EMG电极栅格固定在用户身上时,它通常只能运行一次。相比之下,解码算法非常高效,延迟低至几毫秒,这意味着有望实现自给自足的可穿戴BMI系统。通过将其结果与插入用户肌肉的侵入性EMG电极同时获得的信号进行比较,我们验证了系统的准确性。
利用神经信号中的额外频宽
开发这种从脊髓运动神经元中提取信号的实时方法,是我们目前控制额外机器人肢体的关键工作。研究这些神经信号时,我们注意到它们本质上具备额外的带宽。信号的低频部分(低于约7赫兹)被转换为肌肉力量,而较高频率的分量,例如13至30赫兹的β波段,因太高而无法控制肌肉,似乎没被用到。我们不知道,为何脊髓神经元会发送此类更高频率的信号,或许,这类空余频率,或者说“多余的信号”,是一种用于适应新情况的缓冲。无论如何,人类经历无比漫长的进化,才拥有如此神奇的神经系统。我们脊髓发出的信号,比控制肌肉所需的信息丰富得多。
上述发现也让团队开始思考,空余神经信号究竟能做些什么?尤其是我们能否获取这些“无关”信息并用它们控制机器人肢体?还有,人们能否自主地、与肌肉控制部分相分离地控制这部分信号。于是我们设计了实验来寻找答案。
在我们的第一个概念验证实验中,志愿者尝试使用前文提到的空余神经信号来控制计算机光标。设置很简单,但涉及的神经机制和算法很复杂。每个志愿者都坐在屏幕前,腿上放置一个EMG系统,胫骨前肌部的皮肤上贴一块长10厘米、宽4厘米、含64个电极的贴片。胫骨前肌收缩,令足部发生弯曲。胫骨一直是我们实验的主力:它占据靠近皮肤的大面积区域,而且它的肌纤维沿着腿部排列,这使它非常利于研究者解码支配它的脊髓运动神经元的活动。
我们要求志愿者收缩胫骨,保持紧张状态,并把脚抵住以防止移动。在整个实验过程中,我们对于提取的神经信号进行分析,按频率将其分成不同部分——控制肌肉收缩的低频和20赫兹左右的空余频率——并将这两个分量分别与计算机屏幕上光标的水平和垂直控制相关联。我们要求志愿者尝试在屏幕上移动光标,使其到达区域的所有部分,但我们没有,也确实不能,向他们解释如何做到这一点。他们不得不依靠光标位置的视觉反馈,让自己的大脑弄清楚如何移动它。
在不知道自己做着什么的情况下,这些志愿者竟能于几分钟内完成任务,将光标在屏幕上快速移动(尽管有些抖)。完成“收缩胫骨前肌”的神经指令信号是一个好的开始。现在他们正学习开发第二类信号(20赫兹左右的空余频率)用以控制计算机光标的垂直运动(独立于用以水平移动光标的肌肉控制频率)。学习进展令我们惊讶和兴奋,他们在另一条通路上,一条与自然运动无关的神经控制通路上,非常轻松地迈出了第一步!不过我们也看到,这种控制对于实际应用来说还太有限了。下一步,我们要看看能否获得更准确信号,以及志愿者能否使用它们来控制机器人肢体,与此同时进行独立的自然运动。
我们也希望更深入了解大脑如何执行像光标控制这样的壮举。在最近一项光标任务相关研究中,我们同时使用了EEG来查看用户大脑内,尤其是与自主控制运动相关的区域发生的事情。结果令人欣喜:到达肌肉的β波段神经信号发生的变化,与大脑层面的类似变化密切相关。如前所述,空余的β神经信号仍是个谜——它们在控制肌肉方面发挥了什么作用吗?我们并不了解。我们甚至不清楚它们的来源。研究结果表明,执行任务的志愿者会学习调节以β信号形式发送至肌肉的大脑活动。这一重要发现正帮助我们揭示β信号背后的潜在机制。
用户通过神经信号控制屏幕上光标的能力四幅图为低频和高频神经信号分别控制计算机光标水平和垂直运动的实验结果。椭圆(中心有加号)显示目标区域。前三个图显示了一个用户在三个试验中为每个目标实现的轨迹(每个都开始于左下角)。第四个图中,圆点表示在成功试验中光标达到的平均位置,十字标记每个目标的平均位置和结果范围
与此同时,我们在帝国理工学院建立了一个系统,用以测试这些具有额外机器人肢体的新技术——所谓的“多肢体虚拟环境”(MUVE)。 MUVE将使用户能在虚拟现实模拟的场景中使用多达四个轻型可穿戴机械臂。我们计划开放该系统,供全球研究者使用。
人类增强的下一步
下一步的工作是将我们的控制技术连接至机械臂或其他外部设备。我们正积极追逐此目标。然而,真正的挑战不是连接硬件,而是识别多种足够准确的控制源——准确控制机器身体部位,执行复杂而精确的动作。
我们还在研究该技术将如何影响其使用者的神经过程。例如,若某人有六个月使用额外机械臂的经验,他的大脑有何变化?大脑天然的可塑性能否让他们适应并获得更具直觉性的控制?一个天生六指的人可以拥有充分发育的大脑区域,专用于控制多出来的那根指,展现异于常人的操纵力。而我们系统的用户,会随着时间推移发展出类似的灵活性吗?我们还想知道,控制额外肢体会涉及多少认知负荷。如果人们只有在实验室环境下全神贯注时才能引领额外肢体,那么此技术或许前景黯淡。如果用户能于日常生活工作时自如操控第三只手,例如用它做做三明治,那么它肯定会有美妙的应用。
其他团队也在用不同类型的控制机制研究类似的神经科学问题。意大利锡耶纳大学的多梅尼科·普拉蒂奇佐(DomenicoPrattichizzo)与同事展示了一种腕戴式软体机器人第六指。它帮助失去手部掌控力的卒中人士稳当地抓握物体。用户戴上带有EMG电极的帽子,并通过扬眉毛来向手指发送命令。麻省理工学院哈利·阿萨达(HarryAsada)团队已经对多种类型的额外机器人肢体开展试验,其中有一种可穿戴套装,通过使用EMG来检测躯干中的肌肉活动,从而控制额外肢体。
其他小组正在试验涉及头皮脑电图或神经植入物的控制机制。运动增强还处于早期阶段,世界各地的科学家才刚开始解决此新兴领域的最基本问题。
这里有两个实际问题很突出:一是我们能否在自然运动的同时实现对额外机器人肢体的神经控制;二是系统能否在用户并不专注的情况下工作?只要任何一个问题的答案是否定的,我们就无法创建实用技术,不过我们仍会拥有一个有趣的新工具来研究运动控制的神经科学。如果这两个问题的答案都是肯定的,那么我们可能已经准备好,要进入人类增强新时代了。
资料来源 IEEE Spectrum
——————
本文作者达里奥·法里纳(Dario Farina)是帝国理工学院生物工程系的教授,也担任神经康复工程主席,他的研究重点是生物信号处理和建模、运动的神经控制以及神经康复技术;艾蒂安·伯德(EtienneBurdet)是帝国理工学院的人类机器人学教授,他结合神经科学与机器人学的方法来研究人类感觉运动控制,为日常生活技术和神经康复设计高效界面;卡斯滕·梅林(CarstenMehring)是德国弗莱堡大学的神经生物学和神经技术教授,他结合了实验和理论方法,研究电机控制和脑机接口;海梅·伊巴涅斯(JaimeIbá?ez)是西班牙萨拉戈萨大学的拉蒙-卡哈尔高级研究员,也在帝国理工学院担任名誉研究员,他致力于研究神经活动的处理,以期揭示运动信号的大脑-脊髓双向传输