一群研究人员正在研究科学可能会如何毁灭世界，以及如何阻止这种灾难发生。
1958年，一颗原子弹在美国的太平洋试验场爆炸。据我们所知，全球核战争是可能结束人类文明的“生存风险”（existential risks）之一。
哲学家尼克·博斯特罗姆（Nick Bostrom）相信，人工智能（AI）完全有可能导致人类灭绝。在2014年的畅销书《超级智能：路线、危险与策略》（Superintelligence:Paths,Dangers,Strategies）中，博斯特罗姆描绘了一幅黑暗的图景――科研人员创造了一台能够稳定提升自我的机器。在某个时候，它学会了从网上交易中赚钱，并且开始在现实世界中购买商品和服务。利用邮件定制的DNA，它构建了简单的纳米系统，这个纳米系统反过来又创造了更多复杂系统，赋予它愈来愈强的能力来塑造世界。
现在，假设这个人工智能怀疑人类会干涉它的计划，在英国牛津大学工作的博斯特罗姆写道。它可能会决定制造小型武器，然后偷偷散布到世界各地。“在一个预先设定的时间，纳米工厂生产的神经毒气或者具有目标搜索能力的蚊子般的机器人可能会从地球的每寸土地上同时急速生长。”
对于博斯特罗姆和其他很多科学家和哲学家而言，这样的情景不仅仅是科幻小说。他们正在研究哪些技术进步导致了
“生存风险”。据我们所知：这些风险可能会消灭人类或是至少终结人类文明，为了阻止这种灾难发生，我们能够做什么。“想想我们正在努力做什么，为那些可能威胁人类物种的东西提供科学红队。”哲学家休·普赖斯（Huw Price）指出，他是英国剑桥大学生存风险研究中心（CSER）的主任。
生存风险与《弗兰肯斯坦》的渊源
科学会灭绝人类种族的想法可以一直追溯到《弗兰肯斯坦》。在玛丽·雪莱（Mary Shelley）的小说中，怪物因为他的创造者维克多·弗兰肯斯坦（Victor Frankenstein）赶走自己而发怒，杀死了弗兰肯斯坦的幼弟威廉，随后向弗兰肯斯坦博士提出做一笔交易：只要你为我找一位女伴，我会让你安宁，我们会到南美洲度过余生。弗兰肯斯坦开始研究为怪物制造新娘，但是意识到这一对怪物可能会繁衍后代而胜过人类：“魔鬼的族群将会在地球上繁殖，可能会导致人类物种的生存处于危险而恐怖的境地。”他摧毁做了一半的女怪物，重新点燃了那个怪物的愤怒，最终导致他自己的灭亡。
“我认为《弗兰肯斯坦》漂亮地描绘了这一点，”美国麻省理工学院（MIT）物理学家马克斯·泰格马克（Max Tegmark）说，他是CSER董事会成员，同时是MIT附近一个类似智库“生命未来研究所”（FLI）的共同创立者，“我们人类逐渐研发出越来越强大的技术，而且技术越强大，我们就必须越小心，这样我们才不会毁在技术上。”
对生存风险的研究还只是一个很小的领域，在三个研究中心至多只有十几个人在研究。并非人人都相信这是一个严肃的学术意义上的学科。大多数终结文明的情景――包括人造病原体、纳米机器人军队、或者甚至以为我们的世界是一个可能被关闭的模拟环境，这些疯狂的想法都是不可能的，在爱丁堡因诺根研究所研究生命科学监管问题的乔伊斯·泰特（Joyce Tait）指出。唯一真正的存在威胁，她说，是我们熟悉的全球核战争。除此之外，“我们看不到其他即将来临的威胁。”
哈佛大学心理学家史蒂芬·平克（Steven Pinker）将生存风险称为一种“无用的目录”，并且提醒，“弗兰肯斯坦式幻想”可能会使公众的注意力偏离可解决的现实威胁，比如气候变化和核战争。“散播对假想灾难的恐惧，而远非守卫人类的未来，可能会危及人类的未来。”他在即将出版的新书《现在的启蒙：理性、科学、人道主义和进步的情况》（Enlightenment Now:The Case for Reason,Science,Humanism,and Progress）中写道。
但是，生存风险研究的拥护者预测，只有当科学技术加速进步，这个领域才会变得更重要。正如博斯特罗姆在一篇论文中指出，至今关于屎壳郎或《星际迷航》的研究，要比对人类灭绝风险的研究多得多。“我们有很好的理由说，科学已经基本上忽视了人类灭绝的风险问题。”普赖斯说。
人类总是面临过早终结的可能性。与终结恐龙时代的小行星同样大小的另一颗小行星可能会撞击地球；一次火山灾难可能遮天蔽日数年，让我们大家都挨饿。
但是，源自科学进步的生存风险确实是虚构，直到1945年7月16日，世界上第一颗原子弹爆炸。基于一些粗略的计算，物理学家爱德华·泰勒（Edward Teller）推断，这次爆炸可能会引发全球的连锁反应。“尽管我们现在知道这样的后果在物理上是不可能的，它有资格成为当时的生存风险。”博斯特罗姆写道。20年后，一种真正的生存风险出现了，来自日益增加的核武器储备。物理学家最终组装出“弗兰肯斯坦的新娘”。
生存风险研究中心的诞生
其他科学学科可能很快提出类似的威胁。“21世纪，我们将引入全新的现象，使我们用新的力量来重塑世界。”博斯特罗姆说。生物技术变得比核技术更便宜、更容易操控，纳米技术正在快速发展。在2011年哥本哈根的一次会议上，爱沙尼亚的计算机程序员和网络即时通讯软件Skype的共同开发者扬·塔林（Jaan Tallinn）在和普赖斯共乘的士时，告诉普赖斯自己关于人工智能的深度恐惧。“我从未遇到过像扬·塔林那么严肃思考人工智能威胁的人。”当时即将开始在剑桥大学工作的普赖斯说。
普赖斯把扬·塔林介绍给天文学家、皇家学会前会长马丁·里斯（Martin Rees），里斯早就警告大家，随着科学进步，毁灭人类文明的力量将越来越置于个人手中。这三人一拍即合，决定成立CSER，这是继博斯特罗姆于2005年在牛津创建的智库“人类未来研究所”之后，第二个此类研究中心。CSER这个名字是“有意把生存风险的概念更加推向主流的努力，”普赖斯说，“我们当时意识到人们觉得这些问题有点古怪。”
一种危险的病原体的释放，可能导致全人类面临“生死存亡的紧要关头”
CSER延揽了一些名气很大的支持者：其科学顾问委员会成员包括物理学家史蒂芬·霍金（Stephen Hawking）、哈佛大学生物学家乔治·丘奇（George Church）、全球健康领导者彼得·皮奥特（Peter Piot）、高科技企业家埃隆·马斯克（Elon Musk）。塔林还在2014年共同创立了FLI，丘奇、马斯克、霍金、博斯特罗姆和里斯都在FLI科学顾问委员会工作（扮演过上帝的演员摩根·弗里曼也是FLI的顾问）。
CSER的大部分经费来自基金会和个人，塔林在2017年为生存风险的研究人员捐助了大约800万美元。塔林承认，目前为止CSER的学术产出是“昙花一现”。但是这个中心建立的初衷是“作为生存风险研究的一种训练场。”他说，其他地方的学者来访，然后用思想“感染”他们自己的研究机构。
CSER就在剑桥大学职业健康服务中心旁边的一栋偏僻的大楼中，面积比一个大房间大不了多少，在CSER工作的十几个研究人员组织谈论、召集科学家们讨论未来发展、出版从合成生物学的调控到生态临界点等话题的著作。他们的很多时间都花费在沉思世界末日的图景和可能的保护措施。
末日图景：生物恐怖还是生物失误？
丘奇用了“生死存亡的紧要关头”这个词，指的是全世界的大部分人口死亡，比全人类完全灭绝更有可能发生。“你不必把整个地球变得粉碎。”他说。大规模破坏电网和其他服务或是释放一种致命的病原体都可能制造混乱，颠覆政府，使人类文明螺旋式衰退。“结果衰退到中世纪的文化水平，”丘奇说，“对我而言，这就是人类的终结。”
源自生命科学的生存风险也许最容易想象。病原体已经证明能够杀死整个物种，比如受到两栖类真菌蛙壶菌感染的青蛙族群灭绝。在过去100年中，有四次流感大流行席卷了世界，其中一次流感疫情在1918年和1919年导致多达5?000万人死亡。科研人员已经通过基因工程技术培育出在理论上甚至更危险的病原体。公众担心，相关研究使H5N1型禽流感毒株变得更容易在哺乳动物之间传染，导致美国叫停了此类研究。恐怖分子或无赖国家可能使用实验室制造的病媒作为武器，或者经过基因工程改造的瘟疫可能会意外释放。
里斯已经公开打赌，到2020年，“生物恐怖或生物失误将会导致100万人在单个事件中伤亡。”哈佛大学微生物学家马克·利普希奇（Marc Lipsitch）已经计算出，每年在一个实验室的研究中，出现实验室制造的流感病毒导致意外流感疫情爆发的可能性在千分之一到万分之一之间。荷兰鹿特丹伊拉斯姆斯大学医学院（Erasmus MC）的罗恩·富希耶（Ron Fouchier）不同意这一估计，他是H5N1型禽流感的研究者之一。他说，真正的风险更可能是，每年每个实验室因实验室制造的流感病毒导致意外流感疫情爆发的可能性是330亿分之一。
应对“生物失误”的一种措施也许是让从事具有风险实验的科研人员买保险，这将需要对风险进行独立评估，从而迫使科研人员直面实验中可能存在的风险，利普希奇说。不过，最重要的应对措施是提高世界尽早遏制疫情爆发的能力，他补充道，比如，接种疫苗。“对于生物学上的风险，缺乏全世界真正的大规模协同并行的攻击，我们陷入真正灾难性的情境的唯一途径是没能控制一个更小的情境。”他说。
吃一堑，长一智
病毒不可能杀死仅存的最后一个人类，博斯特罗姆说；对他和其他人而言，人工智能才是提出了真正的存在威胁。大多数情境都集中在机器的智能超过人类，称之为“超级智能”。如果机器获得了这样的超级人工智能，而且具有它自己的意志，那么，它可能变得恶毒，主动寻求毁灭人类，就像斯坦利·库布里克（Stanley Kubrick）的电影《2001漫游太空》中的计算机哈尔（HAL）一样，它在飞船上变成了歹徒。
大多数人工智能专家不太担心机器人一起推翻它们的创造者，更担心机器人犯下致命的错误。在塔林看来，人工智能可能终结人类的最合理的方式似乎是：如果它就是去追求自己的目标，在此过程中，不小心创造出对人类致命的环境。“想象一下，气温升高或下降了100°C的情形，我们人类灭亡不过就是几分钟的事情。”塔林说。泰格马克对此表示赞同：“人工智能的真正问题不是恶意，而是能力不够，”他说。
当今的一个类似情况是2015年的悲剧。一个企图自杀的德国之翼航空公司飞行员在驾驶飞机飞到法国境内的阿尔卑斯山上空时，向飞机上的计算机下达指令下降到海拔100米的高度。计算机即使有GPS和地形图，依然遵从了飞行员自杀指令，导致机上150名乘客和机组人员全部遇难。“即便是对最简单的人类目标，机器也毫无头绪。”泰格马克说。为了避免此类灾难，科学家们正在努力研究如何教会人工智能理解人类的价值观，并且确保它们遵从，这个问题叫做“价值对齐”（value alignment）。“全职从事人工智能技术安全研究的科学家可能不到20人，”博斯特罗姆说，“倘若再多一些杰出人才从事这方面的研究，就可能大幅提高进步的速度。”
评论家认为，这些努力不可能有用，因为未来的威胁本质上是不可预测的。在泰特参与的每个“远见训练”中，预测都是一个问题，她说。“我们人类就是不擅长预测。”即使你预测到了风险，经济、政治和社会的环境都将会影响风险如何发挥作用。“除非你不仅知道未来将发生什么，而且知道如何发生，否则从应对措施上来看，你所掌握的信息用处不大。”泰特说。
平克认为，世界末日的情景更多揭示的是人类对风险的执念，而非实际风险。“那些非常不可能发生却会对我们的合理生活产生巨大影响的情景吸引着我们，比如不正当性关系、暴力死亡、白日梦想家沃尔特?米蒂般的辉煌壮举，”他写道，“世界末日的故事情节毫无疑问扣人心弦――它们是对我们病态执念的超常刺激。”当然，他说，你可以想象一个恶意的强大人工智能，人类再也无法控制。“应对这一威胁的方法很直截了当：那就是压根不要创造出这样强大的人工智能。”
塔林认为，确保安全总比遗憾好。2017年的一项调查显示，34%的人工智能专家相信，与他们的研究工作相关的风险是重要的问题；5%的专家说它们是“最重要的问题之一”。“想象一下，你坐在飞机上，40%的专家认为飞机上有炸弹，”塔林说，“你不会等到剩下的专家被说服才采取逃生措施了。”
普赖斯说，那些指责他和他的同事们沉迷于科幻小说的评论家并没有全错：制造世界末日的情景与玛丽·雪莱创作《弗兰肯斯坦》并没有太大的不同。“第一步是想象那种可能性的范围，在这一点上，科幻小说与其他形式的文学作品和电影中用到的想象力很可能是极端重要的。”他说。
科学家们有义务参与其中，泰格马克说，因为生存风险不像世界以前面临的其他任何风险。他指出，过去每次新技术出现，人类一直等到新技术的风险显而易见，才学会缩小风险。因为火灾吞噬了生命、毁灭了城市，所以人类才发明了灭火器和阻燃剂。交通死亡伴随汽车而来，然后人类才发明了安全带和安全气囊。“人类的策略是吃一堑，长一智，”泰格马克说，“当世界危在旦夕，末日即将来临，再想从这样的错误中学习已经是一个可怕的策略。”
资料来源Science
责任编辑岳峰