要全面了解神经系统是如何进行计算的、必须在不同的层次上来理解它。马尔（Marr）注意到神经系统企图解决的计算问题必须被特征化（例如视觉中的体视问题）。在这一层次上的研究需要确定输入数据以及为了从输入计算出所希望的解与变换，计算神经生理学的目标是：了解变换是什么和它是如何产生的，中间计算结果表示成神经元活动图像，这种表象是系统特有的，并且是次级层次的，了解表象之间如何运算与变换是十分重要的，它可以通过神经元硬件电路实现。在本文中我们将确定并论述一类网络模型——非线性级联响应神经元所组成的，具有对称突触连接的网络，并说明它们如何能实现一些有趣问题的算法。采用非线性级联响应神经元模型代替早期的二值变量神经元模型却意外地导致了新的计算特性，所提出的能被神经元回路模型解决的问题包括：信号判决与译码问题，图像识别问题，以及具有组合复杂性的最优化问题。

在简单的神经元回路中了解计算特性

让我们来分析一下如图1所示的一个假设性的神经元回路，分析是在神经生物学和解剖学提供的手段和方法的基础上通过模拟实验进行的。分析表明，甚至通常很有用的神经生理学测量与描述方法也不足以解释一个具有一定复杂性的、小规模回路是如何计算的。从神经生理学的观点来说，神经回路基本的解剖学包含四个主要的神经元，分别用p₀，p₁，p₂和p₃表示，而IN₁，IN₂，IN₃则表示内源性中间神经元。

用电生理学的或超微结构技术研究神经元间突触连接组织，能得到突触强度的数学描述，如表1所示，实验结果表明每一个主要神经元P_i抑制其他三个主要神经元（P_j），既存在从P_i到P_j的单个突触抑制，也存在由兴奋性突触从P_i到中间神经元（IN_k）引起的多个突触抑制，从而形成对P_j的抑制性突触（例如图1中的P₁到P₂的通路）。在任意两个主神经元之间，突触组织形成一个“有效的”抑制性突触连接；在主神经元中诱发的作用电位总是有助于相互间的抑制。测量输入轴Q和P_i之间突触连接强弱的类似实验，也显示了有效的兴奋性突触连接（表1）。当主神经元间的作用被经典地描述为“侧抑制”时，在不同输入强度下P_i的输出活动情况无法用这种定性描述加以解释。

表1中的突触强度给定时，如有关于神经元的合适的数学描述，我们就能模拟模型化的神经元回路并得到不同输入作用下神经元活动的输出图像，如果所需要的有关参数已知时，对实际神经元回路的细致模拟也是可以做到的。通过分析上述简单的神经元回路的动力学所形成的概念框架，图1所示回路的计算特性是可以确定和加以理解的。

模型回路及其与生物学的关系

神经回路是连续动力学系统，神经元模型必须能够描述平滑而连续的参量，例如不同等级的化学递质的释放和脉冲强度的时间平均。简单的模型应能描述神经元的有效的总输出、输入、内部状态和输入与输出之间的关系。

面对神经元特性令人惊愕的多样性，简化其复杂特性的目标是极为困难的。在我们对神经元的描述中，所作的第一个简化就是不考虑可归属于轴突及树突形状的电效应（轴突与树突的空间常数假定是很大的），我们的神经元模型应用电容与电导来模拟树突及细胞体，从所有突触通道形成的输入电流是简单的叠加关系，而略去了输入电流间更复杂的相互作用，并假定细胞体诱发膜电位的同时，该电位的变化已到达突触前膜。第二个简化是，仅仅处理“快”突触事件，当膜电位在化学突触的前膜出现起伏时，由突触后细胞电流引起的神经递质浓度的变化（经过一个很短的时延后）也随之产生了，假定该时延远小于神经元的膜时间常数。

上述两个与时间标尺有关的假定意味着，当在细胞体j诱发了膜电位的变化时，这种变化将有效地引转细胞i的突触后膜电导的瞬时变化，变化量的大小由细胞j到细胞i的突触性质和强度来决定。

生物神经元是按突触净输入电流所确定的速率来产生作用电位的，这个电流以充电方式直接作用于细胞体并改变了细胞电位，充放电特性的时间常数由细胞膜电容C和膜电阻R决定。输入电流被细胞按时间常数RC“积分”，以便确定有效的“输入电位”U的数值。实际上，电位U是扣除作用电位之后的细胞膜电位，作用电位的发放速率取决于U的大小。发放速率与输入电流（或U）的关系是很大的，但一般说来是单调变化的S型曲线（图2），即从零连续上升增大到某一最大值。细胞i的发放速率可用函数f_i(u_i)描述，突触强度用参数T_ij表示，因此突触后膜电流由T_ijf_i(u_i)给定。

这些方程可以看作是神经元动力学的“经典”描述。方程组表示净输入电流向神经元i的电容C_i充电至电位U_i，并作为以下三个原因的综合结果：（ⅰ）神经元j的突触前活动诱发的神经元i的突触后膜电流，（ⅱ）由于神经元i的有限的输入电阻R_i引起的漏电流，（ⅲ）从其他外部神经元到回路的输入电流I_i。任何一个由特定参数值T_ij，I_i，f_i，C_i和R_i所确定的、假设性的回路，能周方程的数值积分来模拟。

仔细考虑图（3）所示的电路（它遵从微分方程（1）），能提供一些有关神经元模型回路如何工作的直观知识。这里“神经元”是由反馈放大器组成，放大器的反馈电路包括连接导线、电阻和电容，它们表示轴突、树突和神经元的突触连接。发放速率函数f_i(U_i)在电路中用放大器i的输出电压V_i代替， Vi=V_i^maxg_i(U_i)，式中无量纲函数g_i(U_i)也是类似于f_i(U_i)的S型单调曲线，其最大直为1。V_i^max是细胞i的最大发放速率在电路里的等效值。神经元模型的输入阻抗在电路中是用放大器输入端对地并联接入的等效电阻ρ_i和输入电容C_i来表示的，这些元件决定了神经元的时间常数，并对网络中其他神经元的突触输入电流的总和效果提供了完整的模拟。为了提供神经元兴奋性突触与抑制性突触二者的连接，在使用常规电路元件时，每一个放大器将给出两个输出——同相（+）输出与反相（-）输出，它们的幅度相同而极性相反。两个神经元间的突触由电导T_ij决定，T_ij跨接在放大器j的—个输出端与放大器i的输入端，联结是通过阻值为1，|T_ij|的电阻R_ij实现的。如突触是兴奋性的（T_i＞0），电阻则接在放大器j的同相输出端（+），如是抑制性突触（T_ij＜0），电阻则接到放大器j的反相输出端（-）。

在方程组（1）和图（1）所表示的模型中，单个神经元的特性与实际生物神经元相比，是极为简化的，这主要是为了获得一个简单的系统和相应的方程组。不过，基本特性被保留下来，它包括：神经元作为从输入到输出以平滑的S型响应曲线上升到输出最大值的传感器概念；细胞膜的整体特性；兴奋性突触与抑制性突触连接的巨大数目；连接的再入或反馈性质；对应于级联响应神经元和产生作用电位的神经元二者同时工作的能力；等等。

了解神经元回路动力学的新概念

方程组（1）和图3所描述的一般形式的专用电路由突触值T_ij和输入电流I_i所确定，给定了结构，神经元系统的状态由每一个神经元的输出值V_i（或等效的输入U_i）所决定。回路根据状态随时间的变化进行计算。在笛卡儿坐标系的几何空间中，对每一个神经元输出V_i，系统的暂态用空间的点表示，给定回路的动力学能够被描述为时间的演化或状态空间的运动。

模型回路如果对所有的i和j，都有T_ij等于T_ji，则是对称性回路。这种对称性是仅就回路中神经元之间的连接而言的，它不包括输入连接与任何输出连接。

神经元连接的对称性，引出了有关系统特性的很有用的理论。该理论表明，能量函数E可以看作是“可计算的能量”。当神经元状态随时间按方程组（1）所描述的关系变化时，E将增加。从任意初始状态开始，系统大体上在函数E的“斜坡”方向上运动。当E达到局部极小值状态后便停止随时间变化，系统不能振荡。上述概念可用状态空间图中的流程图表示：每一条曲线都相应于系统可能的时间演化过程，用箭头标明运动方向。对于对称性回路，结构对流程图的影响可用二维状态空间图表示，而包含N个神经元的神经回路的运动状态必须在N维空间中描绘。然而，对称突触效应的定性图形却是完全相同的。

可计算能量是一个全局量，并不涉及单个神经元。单个神经元的状态简单地遵从运动方程（1），可计算能量是我们了解系统为什么会表现得如其自身那样的一个途径。

如果抑制性中间神经元（IN₁，IN₂）远比其他神经元快，就可以在明显不对称的神经回路和有效对称的神经回路之间作出直接等效。一般来说，系统具有结构不对称性会出现振荡和混沌。在某些类似于中央图像产生器的神经系统中，协同振荡对回路可计算性则是所希望的，在嗅球中，信息加工似乎也明显地使用振荡模式，在这种情况下，对称突触的适当的并合能够增强不同振荡器间的混沌相位关系，也是对上述的一个有效的类似。

用神经元回路模型自然地求解硬问题

我们将评述两个网络回路的实例：

一、最优化问题：最优化的大多数算法或步骤的思路是，在可能的组合空间中移动代表解，并在降低损失函数至最小化的方向上移动，期望该空间和移动方法是充分平滑的，以便最终达到一个好的解，这种思路落后于常规的计算机最优化算法和贝叶斯概念分析方面的近期研究成果。在我们的方法中，最优化问题被转化为神经网络问题，此处网络的组合相应于问题的可能解，E函数的形式这样选择，使组合表示可能的解，五正比于问题的损失函数。因此，在一般情况下，当回路计算时，五是最小化的。动力学形成了一条通过空间的路径，倾向于使能量因而也就是损失函数最小化。当在芯中相应于局部最小化的稳态组合实现时，问题的解在于从组合中得到解码。

当S型输入 - 输出关系具有陡峭的升降变化时，构造一个适合的E函数是特别容易的，在高增益情况，能量函数如下

在考虑低增益时，E中必须有包括g_i(U_i)的项。

图（1）所示有7个神经元的简单回路根据这种概念框架被设计成4比特模拟 - 二进制（A—B）变换器。给回路一个模拟输入，其值之大小由输入轴Q上的时间平均脉冲作用所表示。对表示P_i输出的变量V_i给定0或1值；如果P_i是强发放，V_i=1；如果P_i是静息的，V_i=0。用连续变量X表示Q轴上的作用，从数（V₃V₂V₁V₀）的顺序表转译成二进制代码之值。我们事先规定P₃的输出V₃V₂V₁V₀通过P₀被转译成二进制代码。这是一个最优化问题：当给定模拟输入X，哪一个二进制代码（一组输出）能最好地表示X的数值？当下述E函数是极小值时，能得到问题的解

方程（3）中的E与方程（2）类似的是V_i的二次项，重新整理方程（3）并与图（3）电路中已给出T_ij，I_i之值的普遍形式进行比较，便能归纳出共同的标尺因子

T_ij=-2^(i+j); I_i=(-2^(2i-1)+2ⁱX)（4）

二、求解推销员巡回路线问题（TSP）的神经元回路：在这个经常研究的最优化问题中，推销员需要按某一顺序访问n个城市中的每一个城市；问题是确定一个最短的闭合路线使每一个城市只访问一次。特殊的问题可由每对城市（i，j）间的距离（d_ij）来确定，在TSP问题中对每一城市指定一个字母，容许该解由字母顺序表来说明。例如，顺序表CAFGB表示“访问顺序是C→A→F→G→B，然后返回C”。对于有n个城市的TSP问题，这个顺序表用N=n²神经元的输出来编制，如果我们指定单个神经元与下述假定相对应：在有限的巡回顺序表中，n个城市中的每一个城市都对应n个可能位置中的一个特定位置。这个规则给出了图（4）所示的表示神经元输出状态的排列，黑色正方形表示神经元处于“接通”并且是强发放，中空的正方形表示神经元没有发放。每一行n个神经元的输出状态看作是闭合解中特定城市的位置信息，而每一列n个神经元的输出状态则看作是在闭合解中与特定位置相联系的诸城市的信息，如果第5列第C行上的神经元处于“接通”状态，则城市C处于位置5的假定在有限闭合解中是真实的。

假定n个城市中的每一个城市都能指示它在闭合回路n个可能位置中的任意一个位置，那么，可以想象2^N个可能的“神经元状态”用这些输出表示。然而，只有输出子集实际上才对应于TSP问题的有效解：一个

城市必须位于一个且仅位于有效闭合解中的一个位置，并且任意位置必须由一个且仅由一个城市所占有。这一限制意味着在每一行每一列中只有一个神经元处于“接通”的情况下，只有输出状态才是表示TSP问题的有效解的正确“陈述”。位于每一行每一列的神经元间的侧抑制将对电路提供偏置电流，抑制性突触确定了TSP电路的可计算性连接。R，C对每一个神经元都具有共同的S型增益曲线，从初始“噪声”开始的状态有利于非特殊巡回路线，网络迅速地收敛于表示最短巡回路线的稳态。在有30个城市的TSP问题中，大约有10³⁰个可能的巡回路线。但是，具有几个时间常数的、由900个神经元组成的回路，在一次性收敛中将能找到优于10⁷解中的一个。它以10²³的因子选择好的解而剔除坏的解。

讨论

这里所介绍的研究工作说明简单的非线性神经元模型所构成的有效对称连接网络，具有求解最优化问题的“自然”能力。

能量函数的概念及其在电路设计中的应用、对神经模型回路如何迅速求解最优化问题提供了一种了解。突触组织在整体动力学上导致了与最优化问题有关的E函数的最小化。有关E函数的知识帮助我们了解整体动力学。

神经生理学的普遍问题是“反向设计”——研究具有未知的设计原理和本质表示方法的复杂生物回路的工作机理。一般来说，神经元回路在其功能已被了解时，对于生物神经回路的假定性的功能可提供信息基础；同样，研究已经了解的回路有助于研究或反向设计不熟悉的回路。

因为模型神经元回路的基本思想能描述为电回路，所以已致力于研制相应的硬件，已用常规的电路工艺技术研制出有32个神经元（放大器）的联想记忆模型硬件，有22个神经元的模型电路已成功地缩微在硅单片上，用光学方法制成了有32个神经元的系统。

在生物神经系统和人造计算结构中，等级层次，节律或时间特性是很重要的，要将现有的思想从神经元回路扩展到神经系统，这种看法将是基本的看法。

（Science，Vol. 233，1986年8月）