熵的统计诠释

当时的困境

到 1860 年代，热力学第二定律已被克劳修斯与开尔文锤炼成一条铁律：热量自发地只从高温流向低温；孤立系统的熵只增不减。

它经验上无懈可击，但它与力学的关系令人不安。

牛顿力学的方程是时间可逆的。把任何一段分子运动的录像倒放，每一帧都严格满足力学定律。既然宏观物体由分子组成，分子服从可逆的力学，那么宏观世界的不可逆是从哪来的？

1876 年，洛施密特把这个矛盾摆到了台面上，史称可逆性佯谬：取一个已经达到平衡的气体，把每个分子的速度反向，系统就会精确地退回初始的非平衡状态，熵会自发减少。力学允许这件事。

（后来策梅洛又提出回归佯谬：庞加莱证明有限的力学系统经过足够长时间必然回到任意接近初始状态的位形，所以熵不可能单调增加。）

雪上加霜的是，整场讨论建立在原子和分子真实存在的前提上——而在当时的德语学界，这个前提本身备受攻击。奥斯特瓦尔德领衔的”唯能论”主张能量才是唯一的实在，原子只是方便的假设；马赫从另一个方向反对原子——他连”能量是本体”也不接受，认为物理学只该描述可观测量之间的关系。两人都否认原子的实在，理由却不同。

洞见时刻

玻尔兹曼的回答可以概括成一个动作：去数。

区分两件事：

宏观态是我们能测量的东西——温度、压强、密度分布。

微观态是所有分子各自的位置与速度的一个完整清单。

一个宏观态对应许许多多个微观态。关键在于不同宏观态对应的微观态数目差异极其悬殊。

“气体均匀充满整个容器”对应的微观排列方式，比”所有分子都挤在左半边”多得不可思议。对一摩尔气体，两者之比大约是 $2^{6\times10^{23}}$——这个数字大到没有任何日常类比能形容。

玻尔兹曼把熵定义为这个数目的对数：

$S = k \ln W$

于是第二定律的性质变了。它不再是一条禁令，而是一条概率陈述：系统从微观态少的宏观态走向微观态多的宏观态，仅仅因为后者的”落点”多得压倒性。

洛施密特的佯谬随之化解：把速度全部反向确实能让熵减少，但要精确做到这一点，需要挑中那个极其特殊的微观态。这样的微观态存在，只是在所有微观态里占比小到永远碰不上。气体自发缩回半个容器不是不可能，只是概率小到宇宙年龄里也等不来一次。

不可逆不是力学的例外，而是大数的必然。

（这条思路的一个代价是：第二定律不再是绝对的。玻尔兹曼接受这一点，他的批评者大多不能接受。他一生为原子论辩护，1906 年在意大利度假时自杀；两年后佩兰对布朗运动的实验最终确立了原子的实在性。$S = k \ln W$ 刻在他维也纳的墓碑上——那个公式的这种写法其实是普朗克后来给出的。）

涟漪效应

量子论的诞生用的就是这个方法。 1900 年普朗克为了拟合黑体辐射谱，需要计算能量在振子之间的分配方式数。要能”数”，能量就必须是可数的份额。他借用了玻尔兹曼的组合方法，被迫引入了 $h\nu$ 的能量子。普朗克本人此前长期不认同统计方法，这是一次被结果逼出来的转变。

信息论直接沿用了他的数学。 1948 年香农为”信息量”寻找度量时，从几条自然的要求出发推出的公式，与玻尔兹曼-吉布斯熵形式完全相同。据说是冯·诺伊曼建议他就叫它”熵”，理由之一是没人真正知道熵是什么，辩论时会占上风。这个玩笑背后是实质：两者数学同构，因为它们量的是同一件事——不确定性的多少。反过来，信息也有热力学价格：西拉德 1929 年用一个分子的热机、兰道尔 1961 年用擦除一比特至少放出 $kT\ln 2$ 的热，把这层同构变成了能量账（见本站「西拉德引擎」一页）。

时间之箭有了根源。 时间的方向感不是力学定律给的（力学定律没有方向），而是统计的：宇宙从一个极低熵的初始状态出发，此后一路走向更可能的宏观态。这把问题推给了宇宙学——为什么初始状态熵那么低？至今没有公认的答案。

如果没有它

压缩文件。你压缩一段数据能压到多小，极限由香农熵给出。ZIP、JPEG、MP3、H.264，每一种编码器的设计目标都是逼近这个极限。

芯片。半导体里电子在能级上的分布由费米-狄拉克统计给出，其高能尾部的经典极限正是玻尔兹曼分布 $e^{-E/kT}$。晶体管的开关特性、二极管的电流-电压关系、LED 的发光效率，算的都是这件事。

化学与材料。反应速率的阿伦尼乌斯公式、相变、溶解度、催化剂设计，核心都是同一个指数因子——越过能垒的分子比例。

机器学习。softmax 函数就是玻尔兹曼分布；模拟退火直接借用了热力学的降温过程；玻尔兹曼机连名字都是他的；交叉熵是今天分类模型最常用的损失函数。

没有熵的统计诠释，信息时代的这半壁数学将无处立足，而”时间为何只朝一个方向流”仍会是一个无解之谜。