近年来，对神经网络计算能力的研究，发展开拓出神经计算机的新兴工业，在美、日、西欧等高技术国家的科学界、计算机产业界和军政部门，形成一股研制神经计算机的热潮。本文将介绍这股潮流的起因和现状，探讨产生此浪潮的社会和科学背景，估计它对脑科学、认知科学和智能产业发展的影响。
一、起因和现状
早在1943年心理学家麦克库路奇（McCulloch）和数学家匹茨（Pitts）合作提出形式神经元的数学模型（文献中记为M-P模型），开创了神经科学理论研究的时代。M-P模型用逻辑的数学工具研究客观世界的事件在形式神经网络中的表达。克莱奈（Kleene）在M-P模型基础上发展出有限自动机的一种数学理论。50年代末罗森伯莱特（Rosenblatt）设计出三层结构的“感知机”（perceptron），试图模拟动物和人脑的感知和学习能力。据统计，当时世界上曾有100多个实验室从事类似工作。60年代初哈蒙（Harmon）等人用电子管和晶体管设计出不同型号的人工神经元。但是，到了60年代中后期，科技界对于神经元、神经网络的性质的理论研究，兴趣似乎骤减，电子模型烟消云散，工程师改行他业。直到80年代中，经过长达20年的“冰河期”才重新点燃研究神经网络的热情，而且，这势头和范围大大超过前一个高潮。究其“冰河期”产生的原因，以作者之管见，大约有二：一是当时数字电子计算机正处于发展的全盛时期；二是人工智能学科成立发展，各方面取得辉煌成绩。整个学术界陶醉于数字电子计算机的成功之中。
70年代中后期，研究和试图模拟视听觉的人工智能专家首先遇到挫折。设计制造计算机的科学家和厂家发现前面有不可逾越的线路微型化的物理极限。人们习以为常的普通知识和经验难以“教给”计算机。日本第五代计算机并未像人们预期那样取得成功，而美、日等高技术国家越来越意识到下一世纪是争夺“金山”——智能研究的时代。美、日等国在电子计算机和智能研究领域内竞争日趋激化。这一切迫使人们去思考冯 · 诺伊曼的数字机究竟能走多远？人脑的智能是否可以在机器中重现？
1982年美国物理学家霍普菲尔德（Hopfield）发表论文，提出神经网络的一种数学模型，并研究它的整个网络的动力学性质。两年后设计出电子线路模拟这种网络的性质，认为这种网络可以解数学上著名的“旅行推销员问题”（TSP）。次年美国加州理工学院和贝尔实验室合作研制成256个人工神经元（四分之一平方英时上由25000个晶体管和10万个电阻集成）和64个可编程人工神经元。随后，一大批神经计算机应运而生。一系列神经计算机产品推向市场，包括几美元一张录有神经元程序可在微机上表演的软盘，到几万美元一台的神经计算机。
学术界对于动物的感知觉，人脑的学习记忆始终有着强烈兴趣。70年代和80年代初陆续提出各种理论研究，如柯南（Kohonen）的联想学习机、中野馨的“联想机”、阿比伯（Arbib）的竞争协作网络、格罗斯贝格（Grossberg）关于感知觉的共振适应系统、清水博的“全局视觉”（Holovision）。认知科学家和计算机科学家，在设计智能机和研究智能的表达中，提出新的设计思想，如，联结主义（Connectionism）和平行分布式加工的概念（即PDP模型）。
除了上面提到的神经计算机工业产生的直接原因以外，还有一些其他的科学背景。学术界对于复杂系统的功能表现，兴趣大增，进入70年代后，普里高津提出非平衡系统的自组织理论而获诺贝尔奖，哈肯研究大量元件联合行动而产生的有序的宏观表现，创立了协同论，数理科学家研究非线性系统发现诸如“混沌”态的动力学性质。这些工作，从抽象意义上说，都是研究复杂系统如何通过元件之间相互作用，系统结构上由无序到有序，功能上由简单到复杂，类似于生物系统的进化过程和智能系统的学习过程。与此同时，神经科学和脑科学日益受到人们重视，在感觉系统特别是视觉研究中发现的侧抑制原理，感受野概念，皮层的功能柱结构，信息处理的平行、层次观点，被证明是神经系统处理信息的普遍原则。这些原则对于设计新的智能机，构筑神经计算机是不可或缺的启示。
神经计算机就是在这样一种数理基础科学的支撑下，在这样一种学术环境中，在生产力发展（计算机、机器人产业）的迫切要求下，产生和蓬勃发展起来的。
现时神经网络的研究和神经计算机的研制，一开始就牵涉和带动了一大片学科，并引起世界上一些主要国家的普遍重视。1987年第一个国际神经网络协会正式成立，近两年国际性和地区性学术会议频繁。据统计，国际神经网络协会现有会员3000人，其中心理学家和神经科学家约占20%，工程师占27%，数理科学家19%，计算机和信息科学家25%，商人2%，其它7%。
神经计算机产业现在已获得有关国家政府和军方的强力支持。美国国防部所属“高级研究计划局”（Defense Advanced Research Project Agency简记DARPA）宣布从1988年11月开始执行一项发展神经计算机的八年计划，投资4亿美元，第一阶段（截止90年底）投资3300万美元。美国国家科学基金会（NSF）发布的1988年度项目指南中，新兴工程技术项目中就有一条：“神经工程学——建立在基本神经系统基础上的原理研究、模型和应用。更主要的是通过高度相互联结的神经元网络出现的集合响应。对交叉学科研究特别感兴趣，包括如同学习过程模型那样的基本生物学原理和行为原理在工程上的应用，对于联想记忆及其系统模拟具有特别的现实意义，有可能为大规模并行处理及其工程应用提供_的希望”。NSF于1987年拨款50万美元，88年增至100万，1989年再增一倍达200万。美国企业界、公司对此亦有浓烈兴趣，这一点从上面提到的新设立的公司数目可看出。
在美国，神经计算机的浪潮如此强烈，以致有经营能力的科学家纷纷走出大学去创办神经计算机公司，原先潜心研究的科学家被迫去接待记者采访，或者放下手头研究工作高酬聘请到各种名目的讲习班上作演讲，以至于重视其基础理论价值的科学家抱怨说，这两年神经计算机声势虽大，但理论研究上却无实质性进展。
日本“人类前沿科学计划”（HFSP）在寻求国际合作方面遇到一些困难，据悉正把这一庞大的计划紧缩到第二大部分，即“信息加工”的研究，这部分内容也就是当前神经网络和神经计算机的目标，每年有7000万美元经费资助的日本ATR（先进技术研究所）中，约有20余人（占全所人数的1/5）从事神经网络的研究。西欧1987 ~ 1988财政年度大约投资200万欧洲货币从事此项工作，西德一国88年投入300万马克。
1986年夏中国生物物理学会在北京召开一次为期一周的“脑的理”研讨会，就视觉信息加工的数学模型，神经 - 胶质细胞的非线性动力学性质，神经网络的功能，学习记忆的模型等问题进行过深入讨论，中国科学院在1987年香山“神经科学战略”讨论会上，许多与会专家提出应当给予神经科学的理论研究以足够重视，特别是感知觉过程和学习记忆功能。会后在科学院所属研究所中加强了这些方面的研究。1988年，中国科学院认知科学和智能研究中心在秦皇岛举行第一次学术会议，介绍交流了所属研究单位的工作进展，讨论了下一步工作设想，1988年10月北京大学主办“学习与识别”神经网络国际讨论会，邀请国外专家作讲演，国内这几年在神经网络方面进行的工作也作了介绍。
二、神经计算机的特点和应用范围
现在美国市场上出售的各种名目和型号的神经计算机，就其数学原理和设计思想（体系结构和运算方式）来说，基本上按照霍普菲尔德的联想记忆网络，博尔茨曼（Boltzman）学习机和反传算法等等新思想进行工作的。这些思想在原则上不同于冯 · 诺伊曼型数字计算机。神经计算机是一类由非线性必威在线网站首页网址 元件组成的平行处理信息的网络系统，可以实现分布式联想记忆，并用改变元件之间联系强度的办法，在一定程度上模拟人和动物的学习功能。
霍普菲尔德神经网络中的人工神经元模型由下列一组非线性微分方程来描写：
其中ui是第i个神经元的膜电位，Ci是它的输入电容，Ri是输入电阻，Ii是电路外的输入电流，Tij是第j个神经元对第i神经元的联系强度，f[u]是u的非线性函数，一般取s型曲线或阶跃函数。霍普菲尔德研究由这类神经元形成的网络的必威在线网站首页网址 特性时，构造出它的李氏函数，证明了在Tij=Tji（对称型联系矩阵）情况下，网络在平衡点附近的稳定性。霍普菲尔德认为，如果把网络的各平衡点设想为存贮于该网络中的信息，那么，网络的稳定性保证了这一系统的动力学性质随着时间的推移而趋向于这些稳定点之一。这种情况类似于人的记忆和回想过程中总是把性质类似的事物相互联系在一起。所以，他认为这种网络可以实现联想记忆。这种记忆方式，显然不同于现有数字计算机把信息存贮于个别单元之中的方式，而是存贮于网络结构之中，因此是分散的存贮方式。此外，这种存贮方式不太敏感于个别元件的失效，因而有较大的容错能力。
旅行推销员问题（TSP）是数字上著名的求最优解的问题。该问题要求推销员从某个城市出发，遍历若干个城市，以最短旅程返回原地。从数学上讲TSP是—个有解而且在某些情况下有唯一解的问题，只不过随着城市数目的增加，计算量以指数式上升，称为组合爆炸。霍普菲尔德把这一问题转化为神经网络可解的问题，设计出网络中突触联系Tij取值的原则和数量，从而使一个具体的TSP问题在网络中以平行方式求解时，几乎是瞬时完成的。例如，30个城市的TSP问题，由900个神经元组成的网络，只需0.1 ~ 0.2秒时间即可排除1023个非优解。10个城市的TSP问题由网络来解决，从可能的105条路径中即刻得到2条最优路径。
霍普菲尔德认为计算的概念应当大大推广，在生物系统，例如遗传信息传递过程中，在神经系统的智能和感知过程中，计算不仅仅局限于离散符号和序列式逻辑运算。
对人的智能感兴趣的认知科学家，设计新计算机的科学家和人工智能专家，意识到人脑和动物的神经系统是一类功能十分强大结构异常复杂的信息系统，是智能机的良好样板。他们还发现，神经系统即使复杂到人脑那样程度，仍旧是由神经元组成，只不过数量增多关系更复杂，而每个神经元的性质并无特别的复杂之处。基于这种想法，产生费德曼（Feldman）等人的联结主义（Connectionism）和鲁梅哈特（Rumelhart），麦库兰德（McClelland）等人的平行分布加工（Parallel Disribnted processing，简记为PDP）模型。虽然联结主义是从智能机的体系结构出发，PDP作为认知科学的“微结构”来考虑的，但两者有许多共同之处。
近年来在PDP模型的框架之上提出两种可行的学习算法。一是欣顿（Hinton）和赛杰诺维斯基（Sejnowski）的博尔茨曼机，即，在学习过程中联系矩阵的收敛过程用类似于冶金技术中逐渐冷却温度的办法（退火技术），保证整个系统趋于全局稳定点。二是反传（back propagation）法，即，把学习的结果逆向反馈到中间层次的“隐单元”（hidden units），改变它们的联系矩阵，达到预期的学习目的。这两类方法在数字计算机上都已通过，现正改进其收敛速度找出较好的算法。由于在数字机上难以发挥平行计算的优势，现在也在探索设计硬件装置实现这些学习算法。这些方法在声纳讯号检测，从文字到语音的转换，图像压缩，亲属关系的谱系分析，投资的风险估计等等方面取得良好的效果。
神经计算机近期内最能发挥其潜力的领域是感觉信息加工。动物和人通过其感觉系统（视、听、嗅等等）从外界环境获取信息，由于外界环境中具有极其丰富的信息，而对于动物的生存来说至关重要的是获取和加工信息的效率，所以，在长期进化过程中动物发展起—整套平行处理信息的方法。这正是传统数字机的薄弱之处，有人曾形象地比喻，用现代最快的数字机（每秒2亿次运算）来处理人的视觉任务（如穿越马路），需要使用的计算机台数将覆盖整个得克萨斯州。神经计算机另一个大有可为之处是机器人多关节运动控制系统，动物的肢体动作和人的手部运动是十分灵巧的。而一举手一投足，牵涉到千百条肌肉的协调动作和千万根神经的精确控制和反馈，这种机巧性行为经学习成功后，不必经过大脑有意识地去指挥每一细节，这种自主的多输入多输出系统的功能正在探索用神经计算机去实现。诺贝尔奖获得者，著名人工智能权威西蒙在1988年日本五代机研讨会上说：“构成一个能与人眼和人耳相匹配，并且去控制手和手指的系统是所有对我们研究挑战中最困难的一个……放在我们面前的最困难的问题仍然是对感官系统和运动系统的理解和仿真”。所以美国DARPA在发展神经计算机的规划中，明确指出，目标有三：（1）目标的自动识别；（2）连续语音的识别；（3）声呐讯号的辨识。
神经计算机在管理、金融、商业等等非科研领域也有广宽的应用前景。赫克特 - 尼尔森（Hecht-Nielsen）指出，1987年世界上大约有50种不同类型的神经网络被研究和开发利用，其中较广泛使用的学习规律，大约有7种。近期内可应用的领域为财务、银行、保险、防卫、自动化、运输、通讯、医学、机器人、制造业、电子、航空等等十几个方面。
据了解，国内有关单位应用神经网络，近年来在汉字识别、图像识别，专家系统、感知过程等方面已获初步成效。
三、评价和前景
神经计算机的理论基础是神经网络研究。现在神经计算机上采用的人工神经元模型，只是真实神经元极其简单的模型，霍普菲尔德模型中的神经元只是一阶非线性方程，PDP模型和联结主义模型中也假定元件的性质是简单的。实际上，活的神经元具有极其复杂的时空性质。它们之间的联系数目和方式也是十分复杂的。例如，每个皮层神经元有多达104个突触。它们之间的联系方式也并非像霍普菲尔德假设的那样是对称式的全互联网络。在霍普菲尔德网络中，如果有n个神经元，那么这个网络最大可存贮信息是0.15n条信息。用霍普菲尔德网络来解决最优问题时，必须事先由人来设置和调正n2个联系强度Tij，所以霍普菲尔德网络不是一类自学习网络。这是初学者和宣传文章中常常忽略的地方。国际神经网络协会主席芬兰专家柯南和第一届国际神经网络会议执行主席格罗斯贝格对霍普菲尔德工作的主要批评点也在于此。
PDP理论框架中，对于层次结构没有加以足够重视。一些实际使用的PDP模型，如反传法也只考虑了输出层次对中间层次的反馈作用。在具体设计智能机的体系结构时，各层次之间的关系是至关重要的，生理学家告诉我们，大脑皮层各功能区域之间的关系是极为复杂的，以视觉为例，信息从视网膜接收后，传送到十余个皮层区，其流程图至今还未完全搞清。如此复杂的层次结构，现在的神经计算机也未能望其项背的。
现在几种比较著名的学习算法，如博尔茨曼机，反传法等等，在原则上基于黑贝（Hebb）学习律。即，突触前后同时兴奋将引起该突触联系强度的增加。虽然现在越来越多的证据表明，黑贝关于学习的突触机制的假设是合理的，但是在人和动物的神经系统中整个学习和记忆过程的了解还远未搞清。生理学和心理学研究表明，学习的类型、方式和机制也是不相同的。这些内容在目前的学习机中尚未充分体现。
鉴于上述种种考虑，诺贝尔奖获得者克利克对PDP模型持谨慎的态度，（请参见本期克利党的文章）。神经科学的老前辈，意大利学者恰依尼诺（Caianiello）认为现有的神经网络理论的深度不够，文献中的一些新名词也没多少新意。日本开发神经计算机顾问、东京大学教授甘利俊一认为：现阶段还无法预言真正的神经计算机是什么样子，在商品化前有许多工作要做。因设计“新认知机”（Neocognitron）而闻名的日本NHK主任研究员福岛邦彦，在参加国际神经网络协会成立大会后，向其政府提交的报告中写道，如果仅热衷于模型的硬化工作而放松对新的模型的研究，恐怕会重蹈60年代仿生学的覆辙。
上述一些看法代表了日本、西欧大部分科学家对神经计算机的态度，也可能反映了一部分美国学者的看法。
在研究神经网络和开发神经计算机浪潮中，美国有一部分人持乐观态度，认为这是为人工智能的困境找到了一条出路。因为早先在麻省理'工学院人工智能权威明斯基手下工作郁郁不得志的格罗斯贝格，现在成为神经网络研究的头面人物，一跃而为第一届国际神经网络会议执行主席，也由于明斯基本人也出席国际神经网络学会并发表长篇演说，提到他自己在60年代对罗森伯莱特的感知机的结论下得太早太死，客观上造成阻碍神经网络的发展。再加军方对神经计算机抱有浓厚兴趣，有人认为神经工程应当比“原子弹工程”更重要，这种种迹象似乎给某些人造成一种印象，传统的人工智能没落了，神经网络的新时期开始了。《神经计算机》杂志上关于INNS成立会的报道中写道：“AI（人工智能）is dead；long live N. N（神经网络）”。
我们认为现在宣告“人工智能没落，神经网络万岁”，为时尚早而且也不够公平客观。神经轴突土传送的讯号既有连续性又带离散讯号的特点，视觉信息加工的一系列研究结果说明感觉信息是以平行和层次方式进行的。现在的神经网络研究在模拟讯号的平行处理的理论和仿真方面前进了一大步。但是，斯佩里（Sperry）的工作表明，人的左右两半球大脑在时间序列加工和空间信息处理方面各有分工和专长。人的智能的重要部分是判断、决策，在这一方面离散符号的逻辑处理无疑起主要作用，这是现代数字计算机和人工智能的所长。因此，现在需要了解的是人脑是如何把这二者联系结合起来，将来的计算机如何实现这种有机的结合。
四、结语
关于智能本质的研究是自然科学和哲学的重大课题之一，对于智能的模拟和机器再现，可能开拓发展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为神经科学、脑科学、心理学、认知科学、计算机科学乃至数理科学共同关心的“焦点”科学。现在关于神经网络的研究，提出平行集体处理信息的原理，计算概念的推广以及层次网络系统中的几种学习算法，无疑在本质上是不同于传统的数字机的运算方式，也是朝着智能的本质前进了一大步。这种基础领域内的研究结果，已经开拓出神经计算机产业。因此，我们必须对于这一领域内的进展加以密切注意，同时积极组织力量加强研究和开拓应用现在离开真正搞清智能的本质，还有很长远的路程，这意味着前景是广阔的，潜力和机会是有的。