一部新传记向读者介绍了克劳德·香农:乐此不疲的创新者,古灵精怪的杂耍家和独轮车爱好者,被誉为信息论奠基者的数学家。
《游戏之心:克劳德·香农如何开创信息时代》(A Mind at Play:How Claude Shannon Invented the Information Age)是吉米·索尼(Jimmy Soni)和罗布·古德曼(Rob Goodman)所著的克劳德·香农的新传记,这位数学家被奉为“信息论之父”。
该传记以一则趣闻轶事向我们介绍了主人公香农:香农在20世纪60年代淡出公众的视线后,在1985年出人意料地在英国布赖顿的国际信息理论研讨会上露面。这位白发苍苍的羞涩名人最终被人认出来,寻求签名的粉丝们很快就把他团团围住。在研讨会主席的盛情邀请下,香农不情愿地在晚宴上登台,忍受着自己被隆重介绍为“我们这个时代最伟大的科学巨匠之一”。当与会者的欢呼和掌声最终平息,香农只能说,“这真是――太可笑了!”他把手伸到衣服口袋里,变戏法一样掏出3个球,竟然当场玩起了杂耍。
香农是一个狂热的独轮车爱好者,他喜欢设计和制造各种稀奇古怪的独轮车。比如,他设计了一种轮毂偏离中心的独轮车,会导致骑行者在踩踏板时上下弹跳。不管香农是否重新设计了数据传输或独轮车,该传记的作者都指出,香农的工作表现出了“对建模的精通:他善于从大问题中提炼出核心实质”。
研讨会主席后来这样描述这个不同寻常的场景:“香农出现在信息理论研讨会上,那情形简直就像是牛顿出现在物理学学术会议上,太轰动了!”尽管这样类比有夸大其辞之嫌(据我们所知,牛顿并不会变戏法),研讨会主席的这句总结表达出人们对香农的景仰,而且这种景仰随着岁月流逝只会与日俱增,在2016年香农百年诞辰之际更是达到了前所未有的巅峰。全世界各地都在举办纪念大会。谷歌涂鸦纪念了香农的生日――1916年4月30日,这一天,克劳德?香农出生于美国密歇根州佩托斯基。不知道生前低调的香农对身后所有这些大张旗鼓的纪念活动会怎么想。
不过,世人对香农的景仰也是情有可原的:香农那些具有里程碑意义的创新――尤其是通过确定数字电路可以如何设计――奠定了信息传输编码的理论基础,使他与当今的信息时代结下了不解之缘。在香农的百年诞辰之后,新闻记者索尼和作家、政治学家古德曼为好奇的读者献上了关于这位最谦逊的数学家香农的更多故事。
香农最多产的时期是1940至1955年前后,期间他在曼哈顿的贝尔实验室(后来搬到了新泽西的默里山)。第二次世界大战期间,他开展各种涉及电子学和密码学的研究项目。不过,香农经久不衰的声誉主要是建立在他那篇划时代的论文《通信的数学理论》(A Mathematical Theory of Communication),1948年发表于《贝尔系统技术杂志》(Bell System Technical Journal),1963年由伊利诺伊大学出版社再版。
在这篇短小精悍的论文中,香农思考了沿着有噪声的信道传输数字数据(也就是0和1组成的数列)的问题。那时,很多人都认为要增加信息传输速率,只需增加信源的功率。在贝尔实验室两位同事哈里·奈奎斯特(Harry Nyquist)和拉尔夫·哈特利(Ralph Hartley)前期工作的基础上,香农表明,实际上任何信道的信息传输速率都存在一个最大值。假设信道干扰是由白噪声造成的,香农给出了一个由带宽和信噪比计算出最大信息传输速率的简便公式。用这个公式计算出来的信息传输速率是一个锐利的极值,意味着我们可以无限逼近这个极值,却永远无法超越这个极值。
任何数据传输都难免出错――随机地把0接收成了1,或是反之。香农表明,如果信息传输速率小于最大值,那么就存在发送数据(通过对传输进行编码)的方法,能让出错的概率任意小。不过,找到这种代码的工作则留给那些接过这一挑战的人。如今,从录制音乐到探测器向地球传回火星照片,很多数字任务都使用了建立在香农定理基础上的数据压缩算法。
虽然“信息”一词语义学上的词义时过境迁,但是对“信息”的抽象阐释才是香农信息论的核心。满足某个特定规则(比如,0不能紧跟在0后面)的任何0和1组成的字符串都是可以接受的。于是,英语单词可以通过这种方式进行通信――把不同的0和1组成的字符串分配给每个字母(包括把空格作为一个额外的字母)。
诚如香农观察到的,我们的语言中存在一定量的冗余。比如,你可以读懂这个句子,但是,正如索尼和古德曼在传记中所传达的,香农也观察到大多数人读懂这个简写的句子“MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC”几乎都没有困难――这是任何人发送文本信息时都熟悉的情况。香农给出了一则信息中所传输的信息量的定义。然后,他定义了信息中排除冗余后的平均信息量,他称之为“信息熵”。比如,如果我们限定自己所知的均是由0和1组成的信息,那么,一个信源如果只能产生1,则信息熵为0;如果一个信源以掷硬币的方式产生0和1(即0和1出现的概率分别是0.5),则具有可能的最大信息熵。
索尼和古德曼讲述了关于香农选择“信息熵”一词的著名故事。数学家冯·诺依曼指出,香农的“熵”概念与数十年来热力学中一直使用的“熵”概念有着不可思议的相似性。“你应该把你的概念称为‘熵’,有两个原因,”冯·诺依曼向香农建议,“首先,你的不确定性函数已经以那个名字用在了统计力学中,所以它已经有一个名字了。其次,而且更为重要的是,没有人知道‘信息熵’究竟是什么,所以,你将总是在争论中占上风。”
“几乎可以肯定,这样的对话以前从未发生过。”两位传记作者坚称,尽管有质疑的声音在别处回响。不过,在1971年与工程师迈伦·特里布斯(Myron Tribus)的会谈中,香农本人对这个故事的叙述与传记作者如出一辙。姑且不论这个故事真实与否,香农对热力学术语“熵”的借用,激起了学术界关于信息论和热力学之间深层关联的富有成效的讨论。从事概率论和动力系统领域研究的数学家后来听说了香农对“信息熵”的定义,发现他们可以对“熵”这个概念进行拓展,然后有效地运用到自己的研究工作中。不难想象,冯·诺依曼这位20世纪最伟大的数学大师之一,在向香农提建议时,早已预见到了“信息熵”这一概念后来的一些发展了。
人们总是难以抗拒诱惑,去回顾天才的早年生活,从中搜寻那些预示着天才将来之伟大的吉光片羽。不过,在香农的例子中,我们鲜有发现天才的早年指征。我们在传记中读到,香农赢得了3年级感恩节故事写作比赛并且在学校的音乐剧中吹奏中音号。他喜欢造东西、修东西,像很多20世纪20年代的少年一样,尤其喜欢捣鼓收音机。他觉得数学很容易,喜欢数学具有竞争性的方面,但是没有证据表明香农具有超常的数学能力。
同样,香农的大学经历也鲜有迹象预示他的卓越才能。他就读于密歇根大学,获得了数学和电气工程双学士学位,当选荣誉组织Phi Kappa Phi和Sigma Xi的会员。对于《美国数学月刊》(American Mathematical Monthly)上刊登的数学问题,他发表了两个解法,该必威体育备用地址 是同时面向学生和教师的阐述性必威体育备用地址 。香农的这些才能值得称赞,可无疑并非罕见的才能。可惜,我们不知道香农的老师是谁,也不知道他在密歇根大学上过哪些数学和科学课程。这些信息本来可以帮助我们预测香农之天才的第一道闪光――他于1937年完成的硕士学位论文。
运气可以说是名人履历中的一个标准要素,对于香农来说,运气的降临是在他读硕士研究生期间。1936年春天,他注意到公告板上粘贴的一张打印的广告――麻省理工学院(MIT)招募一个研究生助教,职责是运行一台微分分析器,这种机械计算机是用来解微积分方程的。1876年,这种模拟计算机就已经诞生了,不过MIT的这台微分分析器同时还有一些数字部件,是第一台能用于一般应用的模拟计算机。最终,它能解有18个独立变量的微分方程。它的发明者是哈罗德·黑曾(Harold Hazen)和万尼瓦尔·布什(Vannevar Bush)。“我很努力地争取这份工作,最终得到了它,”香农回忆,“那是我一生中遇到的最幸运的事情之一。”
万尼瓦尔·布什是美国科学史上的一位伟人。他于1919年加盟MIT的电气工程系,3年后创立了一家军用物资供应企业,现名为雷神公司。1941年,布什帮助说服罗斯福总统开始制造原子弹,并在原子弹研制中发挥领导作用。在MIT,布什赏识香农的才华,认真为香农的职业生涯考虑,指导香农直到研究生毕业,而后进入贝尔实验室工作。
香农的硕士学位论文《继电器与开关电路的符号分析》(A Symbolic Analysis of Relay and Switching Circuits)被认为是有史以来最重要的硕士论文。这篇论文完成于1937年,运用英国逻辑学家乔治·布尔(George Boole)100年前提出的概念来简化构成电路网络的继电器排列。香农的符号系统优美又实用,为现代数字电路设计奠定了基础。大多数数学家在离散数学课上教授布尔代数在电路中的应用时,并没有意识到他们传授的其实是香农论文中的思想。50多年后,香农淡化了他的发现的意义。“只不过是碰巧当时没有其他人同时熟悉这两个领域,”他告诉一位采访者,并补充说,“而我一直很喜欢‘布尔’这个词。”
布什不但善于判断人的才智,而且对人的性情有着精明的观察。他本来可能为自己的新门生担心,因为香农在大学2年级时失去了父亲,而且之后不久由于某种原因与母亲不再讲话。于是,布什鼓励香农在冷泉港实验室研习,把布尔代数应用到孟德尔遗传学中。在那里,香农由富有同情心的心理学家芭芭拉·伯克斯(Barbara Stoddard Burks)监管,伯克斯对天才的遗传学感兴趣,尤其热衷研究遗传和环境的问题。冷泉港实验室的遗传学记录办公室有超过25年的数据供香农深思细想。不到一年时间,香农就已经学会了足够多的遗传学知识,来完成他的博士学位论文《理论遗传学的代数学》(An Algebra for Theoretical Genetics),这是一篇精妙的却过于理论化的论文,对遗传学家来说借鉴意义不大。香农的这段经历证实了布什和伯克斯的一致看法:香农是一个天才,他能快速掌握一个新学科的知识,并从中创造出有意义的数学。不过,香农对自己的这项研究工作却不太看重。他逃离了遗传学这个领域,并且从未想过要出版自己的这篇博士学位论文。若干年后,他自黑地评论道,“有几年,我曾愉快地充当一位遗传学家。”
获得博士学位后,香农在贝尔实验室度过了一个暑假,在普林斯顿高等研究院工作了一年,最终回到贝尔实验室找到了全职工作。
香农很幸运地正值美国大力资助研发事业的时期在贝尔实验室工作。他的才华使他有资格享受今天看起来似乎不可能的科研自由,现在国际竞争激烈,股东要求快速盈利,科研人员很难享有完全的科研自由。以他特有的谦虚,香农有一次向贝尔实验室的一位管理者承认,“我总感觉,我在实验室享有的自由似乎是实验室对我的一种特别的厚爱。”
受到变换工作环境和学术生涯相对安稳的诱惑,香农于1958年接受MIT提供的职位,于1978年退休。伴随香农这么久的好运气终于在20世纪80年代离他而去,那时香农开始表现出患上阿尔茨海默氏症的迹象。2001年,香农因病去世。
《游戏之心》是一本由香农的两位崇拜者娓娓道来的有爱的传记,尤其擅长讲述为其主人公增添魅力的很多故事。香农是一位富有创造力的“修理匠”,具有独一无二的幽默感,他发明了很多稀奇古怪而且有趣的设备,在传记中都得到了描述,包括电动弹簧单高跷、火箭动力飞盘、杂耍机、用罗马数字运算的计算机,以及继电器控制的机器鼠,它会闯迷宫并记住自己走过的路线。香农发明的所谓“终极机器”吸引了到访贝尔实验室的科幻作家阿瑟·C·克拉克。在其1958年的作品《越洋之声》(Voice across the Sea)中,克拉克有一段关于该机器操作的描述:当你打开开关,会听到愤怒的意味深长的蜂鸣声,盖子缓缓打开,从里面伸出一只手,向下摸索关掉开关,然后退回到盒子中。盒子最终合上后,盖子砰地关上,蜂鸣声停止,一切重归寂静。
当提到数学时,《游戏之心》有点不太成功。例如,关于香农的“色彩编码定理”和哈特利的信息公式的结论都叙述有误。作者用抛硬币的比方来描述香农的信息熵,令人钦佩,但是他们就此打住,并没有进一步解释更普遍的信息源的信息熵问题。读者倘若希望了解香农的研究工作的细节,最好去读香农的论文,这些论文写得很好,而且在网上可以免费获取。
比技术方面的小失误更令人苦恼的是作者关于《通信的数学理论》一文发表后所受非难的讨论。在引用概率学家约瑟夫·杜布(Joseph Doob)在一次采访中的尖锐评论后,作者想象了纯数学家结成阴谋来责备香农的应用研究。当然,香农给出的定义和证明并非总是完整的、正确的。例如,前文谈到的,香农关于通过编码最优化利用有噪声信道的定理,最终被埃米尔·范斯坦(Amiel Feinstein)于1954年证明,所以如今被称为香农-范斯坦定理。从过去到现在,数学界仍然持续运用和推崇香农的研究成果。发表了杜布对香农可笑评论的《数学评论》(Mathematical Reviews)就收录了2 000多篇提到香农的信息熵的评论文章。
香农所做的不仅仅是开辟了信息论的崭新领域,还示范了把充满热情的探究和对玩世不恭的喜爱结合起来会取得何种成就。《游戏之心》是一本令人愉快的传记,把我们和克劳德·香农独一无二的心灵联结在一起。
资料来源Amercian Scientist
责任编辑 彦隐
_________________
本文作者丹尼尔·西尔弗(DanielS. Silver)是美国南阿拉巴马大学的数学名誉教授。他的研究探索了纽结和动力系统之间的关系以及科学史和发明创造中蕴含的心理学。