1992年，第一个交互式增强现实系统硬件设备从天而降。
1992年，路易斯·罗森伯格（Louis Rosenberg）在赖特-帕特森空军基地测试他开发的第一个交互式增强现实系统“虚拟导具”（Virtual Fixtures）
我爬进一具被传感器、马达、齿轮和轴承覆盖的上半身外骨骼内，上身前倾，昂起脑袋，将我的面庞紧贴从天花板上垂挂下来的一套视觉系统的目镜。我看见身前的一块涂成黑色的大木板，上面打出的金属孔眼形成网格。木板是真实的，我手上的销子也是真实的，我在试图尽可能快地将销子从一个孔移向另一个孔。当我开始移动销子时，一个虚拟圆锥出现在目标孔眼上方，同时出现了一块缓缓移向它的虚拟平面。当我沿着平面朝向圆锥滑动销子，将它送入孔内时，我能感觉到平面的存在。
这就是开发于20世纪90年代初期的“虚拟导具”平台，被用来检验“知觉叠加”（perceptual overlays），改善人类在需要灵巧性的手工任务中的潜能，而且它被证明确实有效。
今时今日，虚拟现实专家们回首往昔，将这个平台视为第一个允许用户在单个沉浸式现实中同时接触真实物件和虚拟物件的交互式增强现实系统。
这个研究项目开始于1991年，我将它作为我在斯坦福大学的博士研究的一部分来推介。等到我完成研究时——那是在历经三年和建成多个原型机之后——我组装好的系统装满半个房间，用掉价值将近25万美元的硬件。我已经从人类测试中收集到足够的数据，明确地表明用虚拟物件来增强真实工作空间能显著提升精密任务中的用户体验。
考虑到研究周期并不长，这一项目也许听起来一切都进展顺利，然而由于紧张的预算和庞大的设备需求，有许多次该项目都濒临脱轨。事实上，若不是1992年的夏季有一个降落伞（是真实的降落伞，而不是虚拟物件）没能在俄亥俄州代顿上方的碧蓝晴空中打开，我的项目可能在早期就已经夭折。
在解释一次降落伞事故如何帮助推动增强现实的开发之前，我会先交代一点儿当时的历史背景。30年前，虚拟现实领域尚处在初期，连“虚拟现实”这个术语也是在1987年由杰伦 · 拉尼尔（Jaron Lanier）杜撰出来，拉尼尔那时在将第一批头戴式设备和传感手套商品化。他的工作建立在伊凡 · 萨瑟兰（Ivan Sutherland）更早期的研究之上，萨瑟兰是头戴式显示器技术和头部跟踪技术的开创者，而这两项技术是激发虚拟现实的两个关键要素。增强现实与真实世界、虚拟世界相结合，形成一个沉浸式的交互现实，而增强现实在那时尚未以一种富有意义的方式存在。
那时候，我还只是斯坦福大学的研究生，也在美国宇航局（NASA）艾姆斯研究中心担任兼职研究员，对虚拟世界的创造很感兴趣。在斯坦福大学，我在设计研究中心工作，这个团队的研究重心是人与技术的交叉，在那儿诞生了一些最早期的虚拟现实手套、沉浸式视觉系统和三维音频系统。在艾姆斯研究中心，我在先进显示器和空间知觉实验室里工作，那儿的研究人员在探究一些实现逼真的沉浸式模拟世界所需要的基本参数。
当然，知道如何创造出高品质的虚拟现实体验和能够实际制造出它不是一回事。那时市面上最高性能的电脑是在33MHz主频下运行的英特尔486处理器。按照通胀因素换算调整后，这些电脑的售价相当于现在的8 000美元，但是其速度甚至比不上如今的低价游戏电脑的千分之一。另一个选择是投资6万美元来购买一台硅谷图形公司（Silicon Graphics）的工作站——它的速度依然比不上如今一台普通电脑的百分之一。所以，尽管20世纪80年代后期和90年代初期在虚拟现实领域工作的科研人员做了奠基性的工作，但当时粗陋的图形显示、笨重的头戴式设备和严重的延迟使得使用者头昏眼花、恶心反胃，也正是这个问题阻碍了虚拟现实体验。
我在NASA实施的一个研究项目是要优化早期三维视觉系统中的深度感知，而我是那些会因为延迟而头晕目眩的人士中的一员。我发现，那时生成的图像肯定属于虚拟之列，但与现实相距甚远。
然而，我并没有因为头晕或低逼真度而泄气，因为我确信硬件会不断进步。相反地，我关心的是虚拟现实体验让我感觉到多么封闭和孤立。我希望能扩展这项技术，带着虚拟现实的魔力进军现实世界。我梦想创造出一种融合现实，那儿的虚拟物件将以真切可靠的方式占据着物理环境，以至于它们看上去就像周围世界的真实部分，使得你能伸出手来与之互动，仿佛它们真的在那儿。
我那时了解到，军方飞行员在使用一种非常基本款的融合现实（平视显示器），使得飞行数据能显示在飞行员的视线内，于是飞行员就不必低头看驾驶舱的仪表。我本人尚未体验过那类显示器，但因为一些20世纪80年代的卖座大片（包括《壮志凌云》和《终结者》在内）的关系，变得对它们很熟悉。在《壮志凌云》中，飞行员进行空中格斗时，前方的一块玻璃板上出现了发光的十字瞄准线；在《终结者》中，十字瞄准线和文字、数字数据结合，成为虚构生化人（cyborg）对周遭世界的视野的一部分。
这些融合现实与沉浸式一点也沾不上边，只是在一块平面上呈现图像，而不是在三维空间中与真实世界相连。但它们暗示了有趣的潜能。我认为我能够迈进一大步，不仅仅是在一块平面上呈现十字瞄准线和文字，而是创造出能够在空间中与普通环境中的真实物件契合的虚拟物件。我还希望给那些虚拟物件赋予逼真的物理性质。
我需要大量资源来实现这样的虚拟视觉，而这超出我在斯坦福大学和NASA所能获取的资源程度。于是，我向美国空军阿姆斯特朗实验室（如今是美国空军研究实验室的一部分）的“人类感觉回馈”研究组推介这个构思。
为了解释融合现实和虚拟世界的实际价值，我用一根简单的金属尺来打比方。如果你想要在现实世界中画一条直线，你可以徒手作画，用上百倍的心力慢慢画，画出的线条仍然不会特别直。或者，你可以抓起一把尺子，花更少的心力，以更快的速度画出直线。现在想象一下，你可以抓起一把虚拟的尺子，而不是真实的尺子，令其立刻出现在真实世界里，与你周遭的真实环境完美契合。想象一下，这把虚拟的尺子感觉起来很真实——以至于你能用它来指引你手中实实在在的铅笔。因为尺子是虚拟的，它可以是任何形状，任何尺寸，具备有趣和实用的性质，这些是你用一根直尺永远无法实现的。
当然，尺子仅仅是一个类比。我向美国空军推介的具体应用是从增强制造到增强外科手术等。比如说，设想一名外科医生需要在重要部位划出一个危险的切口。她可以使用笨重的金属定位装置来稳定拿手术刀的手，避免伤害重要器官。或者，我们可以投资一些新技术来增强外科手术——用一套虚拟导具来指引真正的手术刀，不仅是在视觉上指引，而是在实质上指引。因为导具是虚拟的，这样的导具会径直穿过病人的身体，在划出切口之前就进入组织。这个构思让军方激动不已，他们感兴趣的东西不只是外科手术之类与人近距离接触的任务，而是用遥控机器人执行的远距离任务。譬如说，可以在真实工作地点的视频图像上增加虚拟导具，以此作为协助，让一名技师能够在地球上远程控制机器人来修理卫星。空军方面同意提供足够的资金来负担我在斯坦福大学的研究开支，还有一小笔预算用于购买设备。更具意义的是，我还可以使用俄亥俄州代顿附近的赖特-帕特森空军基地内的计算机和其他设备。
后来以“虚拟导具”之名为人所知的项目从此启动，并努力朝着建造原型机的目标进发，原型机要能够和人类受试者一起受到严格的测试。我变成一位到处奔波劳碌的科研者，在斯坦福大学研发核心构想，在NASA艾姆斯研究中心充实一些基础技术，再在赖特-帕特森空军基地组装完整系统。
上面的9张图中，每张都显示了一块简单的洞洞板，上面有4个孔眼，而洞洞板前面有各种透明平面和其他导向面。这些早期绘图是罗森伯格绘制的，作为他的“虚拟导具”项目的一部分，图中的真实洞洞板和计算机生成的虚拟叠加相结合，构成增强现实的早期版本
我那时是一名二十岁出头的年轻科研者，热切地了解着这些在我周围的实验室中进行的众多科研项目。我在赖特-帕特森空军基地密切追踪的一个项目是要设计新型降落伞。正如你也许预料到的，当研究团队提出一个新设计方案，他们不会给一个活人绑上降落伞进行测试。相反地，他们将降落伞绑到假人身上，假人上装了传感器和仪器。两名工程师会带着硬件，坐飞机上天，丢下假人，并同时跳伞，那样他们能观察降落伞展开的状况。继续听我说下去，你会明白这如何变成早期增强现实系统开发的关键所在。
说到虚拟导具项目，我的目标是证明我的基本构想——真实的工作空间能用感觉起来十分真实的虚拟物件来增强，那些物件能协助使用者完成灵巧的手工任务。为了测试这个点子，我不打算让使用者完成手术或修理卫星。我需要一种简单的可重复任务来量化手工绩效。美国空军早已有一个标准化任务，用于测试各种心理压力和身体压力下的人类灵巧性。它被称为费茨法则插销任务，受试对象要迅速地在大块洞洞板的不同孔眼之间移动金属销子。
一块正方形板子上有8个编号孔。2号孔和6号孔前面出现了两个网面圆锥。费茨法则插销任务中，受试对象要迅速地在不同孔眼之间移动金属销子。这儿显示的板子是真实存在的，而帮助引导使用者到正确的孔眼处的圆锥是虚拟的
于是，我开始组装一套系统，使得虚拟导具能够与真实的洞洞板相融合，创造出一种与三维空间完美契合的混合显示体验。我的目标是要让这些虚拟物件感觉起来十分真实，从而真实的销子碰撞到虚拟导具会感觉像撞上真实的板子一样。
我写了软件来模拟各种各样的虚拟导具，从避免手越过目标孔眼的简单平面，到精心设计外形、能够帮助用户指引真实销子进入真实孔眼的圆锥。我创造出模拟纹理、具备相应声音的虚拟叠加，甚至有些虚拟叠加可以模拟穿过黏稠的液体，仿佛那是虚拟的蜂蜜一般。
为了加强现实感，我为每个虚拟元素建立物理模型，将它的位置准确置于三维空间，使得它与用户对真实木板的感知相契合。当用户移动手，进入一块对应虚拟平面的区域，外骨骼中的马达会实际向后推，这项交互技术现在通常被称为“振动反馈”。它感觉起来十分真实，你甚至可以沿着虚拟平面的边沿滑动，就像抵着一根真实的尺子划动铅笔一样。
为了让这些虚拟元素和真实的洞洞板准确对齐，我需要高品质的摄像机。那时候的摄像机比现在可贵多了，我的预算中也没有余钱，买不了摄像机。这是一个令人沮丧的窘境：空军方面已经给予我各种硬件设备的使用权，但是在涉及简单的摄像机时，他们却帮不了忙。看起来每个研究项目都需要摄像机，并且大多数项目的优先级都远远胜过我的项目。
这让我要说回到那些测试实验用降落伞的工程师。某天，这些工程师到实验室里来闲聊，他们提到他们实验的降落伞没能张开，导致假人从高空坠到地面，摧毁了假人上的所有传感器和摄像机。
这看起来对我的项目来说也会是一大挫折，因为我知道，假如这座楼里有任何多余的摄像机，这些工程师一定会把它们弄到手。
但是，我接着问了下，我能否看一下失败测试留下的残骸。残骸就是一堆严重损伤的弯曲金属、悬吊的电路板和碎裂的摄像机。然而，即使摄像机的样子惨不忍睹，外壳裂开，镜头受损，我还是寻思着，我能否将其中的某台修复到足以满足我的需求的程度。
靠着某种奇迹吧，我最终得以用六台坠地的摄像机的残骸拼装出两台还能用的摄像机。就这样，交互式增强现实系统的第一次人类测试靠着从天而降、坠落到地上的摄像机成为可能。
要明白这些摄像机对系统而言有多重要，就请想一下目前的一个简单的增强现实应用，譬如《宝可梦GO》游戏。如果你的手机背面没有一个摄像头来实时捕捉和展示真实世界，那么它就不算增强现实体验了，就只能算是一个常规的电子游戏而已。
同样的判断对于虚拟导具系统也成立。但是多亏了从失败降落伞装备中获得的摄像机，我能够创造出一种具备准确空间契合度的混合现实，以提供一种沉浸式体验，让你能在其中伸出手，同时与真实环境、虚拟环境互动。
至于项目的实验部分，我进行了一系列研究，让使用者体验叠加在他们对真实任务板的感知之上的各种虚拟导具。结果发现，最有用的导具就是圆锥和平面，它们在使用者对着孔眼瞄准销子时能够指引他的手。最有效的导具涉及一些在现实中无法轻易制造，但在虚拟世界中很容易实现的实在体验。譬如说，我将虚拟平面编码为对销子有“磁吸力”。对于使用者来说，假如我感觉销子被迅速吸附到平面上，那么就能沿着平面滑动销子，直至使用者选择拽离它。这样的导具将实验中使用者的速度和灵巧性提高了一倍多。
这张图片描述了一个戴着耳机和目镜的人注视着两个圆锥和一块有4个孔眼的洞洞板。罗森伯格以这张增强现实系统的草图展示了一位虚拟导具平台的用户，他穿着部分外骨骼，凝视着一块由锥形虚拟装置增强的真实洞洞板
手持真实手术刀的外科医生与虚拟导具发生交互作用，结合真实和模拟世界，增强任务中的感知能力。一个人平躺在一块白色平面上，被十字交叉的灰色和白色板穿过身体。增强现实诞生时，一个想象中的应用就是外科手术。如今，增强现实被用于外科手术培训，外科医生也开始将它用于手术室
我们那时考虑过的虚拟导具的各种应用中，在当时最具商业可行性的便是人工控制处在偏僻或危险环境下的机器人，譬如有害性废弃物的清理工作。假如通信距离致使远程控制机器人出现时间迟延，那么虚拟导具对于提升人类灵巧性而言将变得更有价值。
如今，科研人员依然在探索虚拟导具在远程机器人方面的应用，并取得极大的成功，包括将其用于卫星修理和机器人辅助下的外科手术。
我朝着不同的方向进发来推动增强现实更为主流的应用。那是因为，虚拟导具项目对我个人产生最大影响的部分不是在插销任务中改善的效率，而是当人类受试者离开系统，滔滔不绝地讲述他们刚刚经历的绝妙体验时，脸上绽放的灿烂笑容。许多人主动告诉我，这类技术总有一天会出现在每个角落，变得无所不在。
我确实同意他们的观点。我笃信，到20世纪90年代末人们就会看到这类沉浸式技术进入主流世界。事实上，当人们尝试那些早期原型机后，他们的热烈反应深深地鼓舞了我，于是我在1993年创立了一家公司：浸入科技（Immersion），目标便是从事主流消费者应用开发。当然，技术的发展并没有设想中那么快。
我冒着再度犯错的风险，真诚地认为，虚拟现实和增强现实（如今一般以元宇宙之名提及）到21世纪20年代末会变成大多数人生活中的重要部分。实际上，基于大公司对于为改良这项技术做出的投资在近期的激增情况，我预测到21世纪30年代初期，增强现实会取代移动电话，成为我们首要的数字内容接口。
那些在30年前早早体验过增强现实的受试对象中，没有一人知道他们使用的硬件设备是从一架飞机中当空坠落的降落伞中得到的。但他们确实知道，他们是第一批伸出手触碰到人类“增强未来”的人。
资料来源 IEEE Spectrum
————————
本文作者路易斯·罗森伯格（Louis Rosenberg）是一致人工智能公司（Unanimous AI）的首席执行官和首席科学家，该公司专门研发基于生物集群建模的人工智能算法。罗森伯格在20世纪90年代早期为美国军方创造出第一个交互式增强现实系统，然后创立早期的虚拟现实公司浸入科技、三维数字化测量仪公司微文（MicroScribe）、早期的增强现实公司奥特兰德科研（Outland Research）。罗森伯格依靠在虚拟现实、增强现实、人工智能和人机交互方面的工作，在全球范围获得300多项专利。