关于熵和信息联系的一篇早期文献

  • 长城战略咨询
  • 2023-11-20

1929年德国《物理学期刊》(Zeitschrift fiir Physik)上发表了L.西拉德(Leo Szilard,1898—1964)的一篇论文《精灵的干预使热力学系统的熵减少》。文章分析了麦克斯韦妖(Maxwell demon)对热力学系统干预的本质。他将熵的减少同获得的信息联系起来,从而第一次成功地驱除了动摇热力学基础的麦克斯韦妖。   

这篇文章是西拉德1922年完成的,1925年被柏林大学接受为取得大学教授资格的论文。等到1929年论文发表时,西拉德的研究领域已经从理论物理转向实验物理。[1]西拉德这篇开创性的论文当时没有被人们充分理解,更遗憾的是,西拉德自己也没有沿着这条道路继续探索下去。

人们真正理解西拉德的文章是1948年信息论诞生以后的事。当人们惊叹申农(Shannon)的信息公式、信息和熵的联系以及维纳的理论时,却没有想到几十年前西拉德已经预言了这一切。西拉德在柏林大学时的同学和朋友冯·诺意曼第一个揭示了西拉德论文的真正价值。[2]据说是他建议申农采用熵这一概念的。[3]冯·诺意曼指出热力学和信息论存在着联系,从此热力学也成了信息论关心的课题之一。布里渊(Leo Brillouin)用操作主义观点研究了这一课题。[4]他的名著《科学和信息论》就是他沿着西拉德开辟的方向继续探索的结果。

熵(entropy)这个概念是1865年克劳修斯提出的,之后熵增原理成了宏观热力学的理论基础。然而1871年麦克斯韦引入使孤立系统发生熵减少的奇妙“生物”时,热力学的理论基础发生了动摇。这个佯谬使物理学家们困惑不解,他们把这个小生物称为麦克斯韦妖。尽管他们做出很大的努力,也解释不了这个佯谬。    

1872年,玻尔兹曼提出熵是一种几率,一种混乱程度的描述;这一思想被冯·劳厄称为“物理学最深刻的思想之一。”[5]这种思想的价值不但在于阐明了熵概念的内涵,还在于它为熵和信息的联系奠定了基础。

爱因斯坦是西拉德在科学上的引路人,1921年爱因斯坦在西拉德的敦促下成立了一个统计热力学讲习班。维格纳和嘎博(D.Cabor)等人都参加了讨论。[6]爱因斯坦的影响在西拉德写的有关热力学的两篇论文中强烈地表现出来。这两篇论文的第一篇就是西拉德的博士论文,第二篇就是笔者所要讨论的文章。

爱因斯坦和冯·斯莫卢霍夫斯基(von Smoluchowski)在本世纪初,几乎同时独立地解决了布朗运动的问题。1917年斯莫卢霍夫斯基去世后,爱因斯坦在纪念文章中称他为“当代最富有洞察力的理论家之一”。 [7]在爱因斯坦主持的讨论会上,西拉德充分理解了斯莫卢霍夫斯基工作的意义。西拉德的论文使用的唯一的参考文献就是斯莫卢霍夫斯基1914年的论文。

前述麦克斯韦妖这一佯谬,到本世纪初仍然没有得到解决,是斯莫卢霍夫斯基第一次揭示了“妖”的荒谬性,他提出“妖”的新陈代谢问题。他认为干预系统的“妖”要看作系统的一部分,不然就不是孤立系统。当时他的想法太粗略,以至没有能够说服物理学家们。而西拉德在斯莫卢霍夫斯基工作的影响下,对麦克期韦妖作用的原因做了更深入的分析。

首先,西拉德用一种机械模拟了生物的作用,他把机械的测量功能等价于生物的记忆功能,并指出:“测量在一个系统出现时,显示了一种记忆能力。除非测量本身伴随熵的产生,要不然一定能引起系统的固定熵减,……我们能够计算产生的熵。我们发现这个数量和损失掉的熵一样多”, [8]他提出熵减一定以系统的某种力学量作为补偿,这种力学量的补偿实际上就是增加信息。这样,熵和信息之间就直接建立了联系。

法国著名生物学家雅克·莫诺曾说:“西拉德和布里渊由此提出‘信息’同负熵间某种当量的概念。这是一个非常具有想象力的概念。……应该看作信息论的基本论述之一。”[9]

西拉德工作的可贵之处在于他找出熵减的原因,严格地计算出通过“妖”传给系统的负熵,而且得出这两个量是相等的结论,这样,热力学第二定律的真理性就得到了保证。

皮尔斯(J.R.Pierce)曾说:“把申农熵和统计力学熵相联系可以说是信息论的正统分支。”[10]从历史角度看,正是这一分支首先预言了信息论。

布里渊在他的《科学和信息论》一书中比较了西拉德和申农的信息公式

I=~k(w1lnw1+w2lnw2)(西拉德1929年发表,w是几率,I是信息)

I=~k∑pilnpi(申农1948年发表,p是几率,I是信息)

因为西拉德的假想实验采用两个容器A和B,分子或在A中或在B中,所以他的结果只能如此。通过上面比较我们可以看到西拉德工作的开创性意义。这个公式是申农信息论的本质,却在几十年前就已经被西拉德写出来了。

布里渊对西拉德的工作给予了极高的评价。他将西拉德信息和熵相联系的思想概括为“信息的负嫡原理”并得出关系式:

 1比特=kln2=10-16尔格/oK

负嫡这个词是布里渊创造的。

关于这篇早期文献的其它一些情况介绍如下:西拉德逝世前已经同意将这篇文章的英译稿发表在《行为科学》杂志上。西拉德去世(1964年5月30日)后,在西拉德夫人要求下,厄卡特(Carl Eckart)校对了这篇译稿并于1964年10月在美国正式发表。英译稿共有10个印刷页(笔者将此文译出,约有8000个汉字)。

上面介绍了西拉德的这篇早期论文,我认为后来许多关于信息论前史的研究都没有给这篇文章以应有的评价,许多文章只谈通信方面的突破。比如:1973年为了纪念申农的著名论文发表25周年,美国的一家杂志发表了一组文章,其中皮尔斯的《早期信息论》一文回顾了许多早期工作,却唯独不提西拉德,他还拒绝评价布里渊的工作,并且十分偏激地说:“我认为,我还从未遇到过理解信息论的物理学家。”[11]其实信息论绝不能仅仅从通讯方面去理解,信息论的发展,证实它有着广阔的研究领域。对它的前史的研究也应该从广阔的领域着眼,这样才能更清楚地认识信息论出现的历史必然性。

另外还有许多文章把西拉德的工作和布里渊的工作混为一谈,有的索性只提布里渊。笔者曾读过日本信息论专家喜安善市的一本《信息论》,把西拉德的研究说成是1948年以后的事。

这种情况表明,虽然不断有人提到这篇文章的价值,但是对西拉德早期工作的研究是很薄弱的。有些研究信息论历史的人却没有去读西拉德的原文,以至在转述别人的说法时出现这样或那样的偏差。

综上所述,我认为这篇文章在热力学发展史上占有重要地位,因为它第一次令人信服地说明了麦克斯韦妖佯谬的本质。同时,这篇文章也在信息论发展史上占有十分重要的地位,它不但预言了信息论,还揭示了信息论这一学科的出现是历史的必然。

参考文献

[1][2][8]The Collected Works of Leo Szilard,Scientific Papers,The M.I.T.Press,1972.p.32,32,120.

[3]王鼎昌:“信息论的发展和意义”,《自然辩证法通讯》1981年第2期。

[4] Leo Brillouin:Science and Information Theory,Academic Press,1963,p.X,Ch.I.

[5]冯·劳厄:《物理学史》,商务印书馆,1978,第94页。

[6]E.P.Wigner:Leo Szilard,Biographical Memoirs(40)1969,pp.336-341.

[7]《爱因斯坦文集》(许良英等编译)第一卷,商务印书馆,1977,第147页。

[9]雅克·莫诺:《偶然性和必然性》,上海人民出版社,1977,第97页。

[10][11]J.R.Pierce:《早期信息论》,译载《计算机应用与应用数学》,1976年第4期。

(王德禄,本文发表于《自然辩证法通讯》1985年第 2期