随着神经网络在科学领域内的强力推进，研究人员开始回过头来探索其“黑匣子”内的秘密。
研究人员发明的神经网络，除了可以填补照片中留下的空白，还可以识别人工智能中的缺陷
詹森·尤辛斯基（Jason Yosinski）坐在美国加州旧金山优步（Uber）总部的一个小型玻璃办公室里，思索着一个问题：人工智能的大脑。作为优步公司的一名研究科学家，尤辛斯基正在为在他笔记本电脑上运行的人工智能做“脑外科手术”。许多人工智能将很快改变人类的现代生活，例如优步的无人驾驶汽车。尤辛斯基研究的是一个深度神经网络，他的研究灵感来自大脑的结构。如同大脑一般，这个程序很难从外部理解：它就像一个黑匣子。
他在训练中使用大量做了标记的图像，从而让这种特殊的人工智能识别斑马线、消防车和汽车安全带等随机物体。但它能认出徘徊在摄像头前的尤辛斯基和记者吗？尤辛斯基将AI的一个独立计算节点――可以说是它的神经元――放大，想要看看会激发什么反应。两个幽灵般的白色椭圆形物体浮动在屏幕上，这个神经元似乎已经学会了检测人的面部轮廓。“它对你我的脸有了反应，也会对不同大小、不同肤色的脸做出响应。”他说。
没有人训练这个AI神经网络识别面孔，在训练标注的图像中也没有人类的面孔。但它确实学会了辨别人脸，也许是通过识别与人脸一起出现的东西，如领带和牛仔帽。这个网络太复杂，以至于人类无法理解它做出的决定。尤辛斯基探测到的只是其中的一小部分，但仍然无法看透它的全部。他说：“我们建造了令人惊叹的模型，但我们却无法完全了解它们，而且这个差距将年复一年地变得更大。”
这个被称为深度神经网络或深度学习网络的领域，似乎每个月都在向其他学科领域扩展渗透，它们可以预测合成有机分子的最佳方法，可以检测与自闭症风险相关的基因，甚至可以改变科学本身的进行方式。AI非常成功，几乎无往不胜。但是它却给科学家带来了一个纠结万分的问题：为什么？这个模型为什么会这样？
这个需要解释的问题正在刺激着学术界和产业界的新一代研究人员对AI的黑匣子进行深入探索。正如在显微镜下可以放大显示肉眼看不见的细胞一样，研究人员正在制作让我们能够深入了解神经网络如何做决定的新工具。有些工具无须深入即可对人工智能进行探测；有些替代算法可与神经网络相媲美，但却具有更高的透明度；还有一些则通过深度学习的方式进入黑匣子内部。综合起来，它们构成了一门新的学科，尤辛斯基称之为“人工智能神经科学”。
探索黑匣子秘密的紧迫性不仅仅来自科学。根据欧盟发布的一项指令，那些配置大量对公众产生影响的算法的公司，必须在明年之前对他们所创建模型的内部逻辑做出一些“解释”。而美国国防高级研究计划署则将7 000万美元投入了“可解释的人工智能”的新计划，试图对无人机和智能情报挖掘作业的深度学习做出解释。打开AI黑匣子的驱动力同样来自硅谷本身，美国加州山景城谷歌的机器学习研究员马娅·古普塔（Maya Gupta）说道。她于2012加入谷歌时曾向AI工程师询问过一些问题，她发现准确性不是唯一的问题，工程师们告诉她，“我们不能确定它在干什么，我们也不知道是否可以信任它。”
里奇·卡鲁阿纳（Rich Caruana）是微软研究所的一名计算机科学家，他亲身体验到了这种信任缺失。20世纪90年代，作为卡内基梅隆大学的一名研究生，他加入了一个机器学习指导肺炎患者治疗的研究团队。一般来说，让病人在家中用医疗仪器进行治疗是最好的，这样他们就可以避免在医院里感染其他传染性疾病。但有些病人，尤其是有哮喘等并发症的患者，应立即入院治疗。卡鲁阿纳将神经网络应用于78家医院提供的患者症状和愈后的一个数据集，运行情况似乎良好。但一个发现令他不安，用同样的数据训练的一个简单透明的模式，提出了将哮喘病人送回家治疗的建议，这表明数据中存在一些缺陷，而且他也很难知道他的神经网络是否也从这些有缺陷的数据中吸取了同样不好的教训。“对神经网络的恐惧是完全有道理的，”他说，“真正让我害怕的是神经网络从错误的东西中学到了什么？”
打开黑匣子：深度学习后的宽松式建模刺激了科学界的创新，但是这些模型的机制仍然神秘：它们是一批黑匣子。科学家们正在开发一些工具来进入机器的思维做深入探查
今天的神经网远比之前所使用的更为强大，但是它们本质上是相同的。待输入的是一系列庞大而杂乱的数据，比如数百万张狗的照片。这些数据被输入进一个有着十几个甚至更多计算层次的网络，类似于神经元的连接对不同特质的数据做出响应而被“激活”，每一层都会对渐次抽象的特征做出反应，然后在最后一层做出最终判断，例如，将小猎犬与达克斯猎狗区分开来。
一开始系统也许会出错，但每一个结果都会与狗的标记图片进行比较，这一过程被称为反向传播，结果会通过网络反向发送，使其重新定义每个神经元的触发器，这个过程将重复数百万次，直到整个网络学会如何在不同的犬类品种之间辨别出细微的区别。正是这种神秘而灵活的力量令它们成为黑匣子。
马尔科·里贝罗（Marco Ribeiro）是西雅图华盛顿大学的一名研究生，他利用一种叫作“反事实分析探针”的人工智能神经科学工具来理解黑匣子。他通过改变向AI输入的信息，包括文字、图像或其他任何东西，看哪些变化会对输出产生影响以及如何产生影响。例如，里贝罗的程序LIME先将影评标记为正面意义，然后通过删除或替换某些字词令其意义产生微妙变化，变化后的内容再被输入黑匣子，看它是否仍然被认为具有正面意义。在成千上万次测试的基础上，LIME可以识别这些词语、图像、分子结构的某个部分或其他任何数据，这在人工智能最初的判断中至关重要。这些测试显示，“可怕”一词在淘金热中至关重要，而“丹尼尔·戴·刘易斯（Daniel Day Lewis，广受影迷爱戴的奥斯卡影帝）”一词与具有正面意义的评论相关等。尽管LIME能诊断出个别的例子，但这个结果对洞察整个神经网络的黑匣子几乎没有什么意义。
像LIME这样新的反事实方法似乎每个月都在出现，但谷歌计算机科学家穆库德·森达拉拉安（Mukund Sundararajan）发明了另一种探测方法，它不需要对网络进行数千次测试，如果你想理解很多的决策，而不只是寥寥数个，那它一定会带来额外的好处。森达拉拉安和他的团队的输入变化不是随机的，而是引入一个模糊的参考，如用一幅纯黑的图像或归零的数组来代替文本，一步一步地将其推向被测试的实例转化。他们通过观察网络运行的每一步，从其轨迹推断出预测的重要特征。森达拉拉安在这一比较过程中，找出了辨识他所在谷歌会议室的一些关键特征：杯子、桌子、椅子和电脑构成的标准组合。“我可以给出无数的理由。”但假如你慢慢调暗灯光，“在灯光变得很暗时，只有最重要的原因才会凸显出来。”从空白参考开始的转换，可以让森达拉拉安捕捉到更多神经网络的决策，但更深层次悬而未决的问题依然存在。身为父亲的森达拉拉安很熟悉这样一种心态，“我有一个4岁的孩子，他让我不断想起一个无限回归的问题：‘为什么？’”
古普塔则采取了一种不同的策略应对黑匣子：避开它们。几年前，古普塔兼职复杂物理游戏的设计师，设计一个名为“玻璃盒子”的游戏项目。她的目标是通过操控可预测性来纳入神经网络进而对其进行解释，指导原则是一种单调的变量关系，在其他变数相等的情况下，一个变量的增加直接导致另一个变量的增加，如房子的面积和价格之间的关系。
古普塔将那些单调关系嵌入到一个被称为插值查询表的庞大数据库中，它们大体上就像中学三角函数后所附的表格，在那里你可以查找到0.5的正弦值。但她的表格不是一个维度上的几十个条目，而是多个维度上的数百万个条目。她把她的表格连接到神经网络中，有效地增加了一个额外的可预测的计算层，她说，这最终将使神经网络更加可控。
与此同时，卡鲁阿纳对那次肺炎调查的教训一直耿耿于怀。为建立一个在准确性上与深度学习相匹配，同时又能避免不透明性的模型，他将目光转向了一个与机器学习并非总有交集的学科领域：统计学。
20世纪80年代，统计学家们开创了一种称为广义可加模型（GAM）的技术，这一方法建立在线性回归的基础上，可在一组数据中进行线性回归。但GAMs也可以通过多重操作让数据与回归线性拟合以处理一些棘手的关系。例如，在对一组数字进行开方计算的同时，求取另一组数据的对数值。卡鲁阿纳利用机器学习升级了这一过程，升级版的GAM作为一种更强大的模式识别模型加以利用。“令我们惊讶的是，这种方法在很多问题的解决上都拥有很高的准确度。”更重要的是，这中间的每个操作都是透明的。
虽然卡鲁阿纳的GAMs在处理某些凌乱数据时效果不如人工智能，比如神经网络极其擅长的图像和声音等，但是对于任何适合以行和列排列的电子表格的数据，比如医院记录，该模型都运行良好。例如，卡鲁阿纳又回到了他原来的那个肺炎病历档案上，用他的GAMs重新分析这些记录，他就可以弄明白为什么人工智能会从录入数据中吸取到错误的教训。医院通常会将哮喘患者和肺炎一起归于重症护理这一类，以改善和提高对这类患者的护理服务。但如果患者病情迅速好转，人工智能会建议将病人送回家进行家庭护理治疗（对于同时患有胸痛和心脏病的肺炎病人，也会产生相同的乐观误差）。
卡鲁阿纳已经开始向加利福尼亚的一些医院推介GAM，如洛杉矶儿童医院，这家医院里有大约十几个医生对他的模型进行了评估。他们花了很大一部分时间来讨论GAM所说的肺炎患者的入院情况，并立即得知GAM的决策。“你可能对医疗保健知之不多，”一位医生说，“但你的模型真的知道。”
有时候，你必须接受黑匣子的“暗箱操作”，这是研究人员追求可解释性道路的第3条理论。他们说，解释深层次学习的方法是更多的深层次学习，而不是探索神经网络或回避神经网络。
像许多AI程序员一样，亚特兰大乔治亚理工学院的娱乐智能研究室主任马克·雷德尔（Mark Riedl）转而利用20世纪80年代的游戏视频来测试他新创作的作品。青蛙过街是他最喜欢的题材之一，游戏玩家引导青蛙通过车水马龙的车道回到池塘目的地。训练神经网络玩专家级的“青蛙过街”游戏是很容易的，但要解释人工智能是如何做到的通常更难。
雷德尔让人类游戏玩家玩游戏，并实时大声描述他们的游戏策略，而不是对神经网络进行探究。雷德尔在游戏代码中还记录了那些玩家在青蛙过街时的评论，比如，“哦，有车向我这面开过来了，我得跳开了。”根据玩家的实时描述和游戏中的背景评述这两种语言，雷德尔训练第2个神经网络将代码转换为英语，然后把这个转译网络接入网络游戏中，产生一个综合性的人工智能，这个固定在屏幕一边的人工智能甚至会发出表示沮丧的声音，它会诅咒和抱怨，“呀，太辛苦了。”
雷德尔称他的方法为“合理化”，他的目的是要让日常用户更多地了解这些帮助人们处理日常事务或代替人类驾驶汽车的机器人。“如果我们不能质疑它们为什么这么做，并得到一个合理的回答，那人们很可能会将它们束之高阁。”雷德尔说。但无论这些解释听起来多么合情合理，都会导致人们提出另一个问题，他补充道，“在人类失去信任之前，合理化会错得多么离谱？”
返回优步，尤辛斯基被赶出了自己的玻璃小办公室。优步的这些小会议室需求旺盛，而且没有价格波动来稀释人群。他离开了多哈，去往加拿大蒙特利尔，无意识的模式识别过程引导他穿过办公室迷宫，直到他迷路为止。他的图像分类器也仍然是一个迷宫，和雷德尔一样，尤辛斯基也利用第2个人工智能系统帮助他理解第1个系统。首先，尤辛斯基重新调整了分类器来生成图像，而不是对图片进行标注。然后，他和他的同事给它进行静态着色，并通过它发出一个请求信号，例如“更多火山”。他们假设，神经网络最终会将这种声音信号的想法结合进火山图片中，在某种程度上，它是火山，从人类的眼中看来，它只是灰色而平淡无奇的一团东西，但AI和人们所看到的是不同的。
接下来，研究团队在图像上发布了生成性对抗网络（GAN），这样的AI包含两个神经网络。从图像的训练数据集中，“生成器”学习有关图像制作的规则，并可生成合成图像。第2个“对抗网络”网络检测图像结果，判断图片是真是假，提示生成器再试一次。这个反复过程最终会生成包含人眼可识别特征的粗略图像。
尤辛斯基和他的研究生安·阮（Anh Nguyen）将GAN与他们原始分类器的网络内层连接起来。这一次，当神经网络被告知要创造“更多火山”时，GAN采用了分类器学到过的灰色软泥，并凭借自己对图片结构的认识，将它解码结合进一系列人工合成的逼真火山。有些是休眠火山，有些是正在爆发的火山，有些是夜色下的火山，有些是日光下的火山，还有一些火山可能有缺陷并不完美，但这可能正是分类器知识差距的提示线索。
他们的GAN现在可以绑定到任何使用图像的神经网络上，尤辛斯基将它用于为随机图像编写图片标题的神经网络以发现存在的问题，他将神经网络的设定过程逆转过来，让其根据随机输入的字幕创建合成图像。在将神经网络与GAN连接后他发现了一个惊人的遗漏，提示想象“鸟儿坐在树枝上”，神经网络使用GAN传过来的指令生成了一棵树和树枝，但没有鸟。为什么会这样？将改变后的图像转化为原始字幕模型后，他意识到，训练它的字幕作者所描述的树和树枝的图片中都附带有鸟，人工智能对于鸟已经有了一个错误的认知。“这样的暗示对于AI神经网络将是一个重要的方向。”尤辛斯基说道。这是一个开始，一张空白地图上的图景正在渐渐形成。
一天结束了，但尤辛斯基的工作似乎才刚刚开始。又有人敲门，尤辛斯基和他的人工智能又被赶出玻璃小隔间会议室。重新回到优步的城市迷宫、电脑和人类中。这次他不会再迷路。他走过食物吧，绕过舒适的沙发，穿过出口来到电梯。这是一种很简单的模式，他很快就学会了。
资料来源Science
责任编辑 松 石