怎样理解混乱度？为什么熵可以表示混乱度？ 聂鑫，对所有知识状物体充满好奇=￣ω￣= 下面这个答案里我将浅显地讨论一下什么是混乱度，怎样定量表示它，为什么熵可以表示混乱度，为什么熵要取对数，为什么熵可以表示为 dQ/T，为什么系统的总熵随时间永远不减小。 慢慢读完相信你对身边的世界的理解一定会加深一丢丢的。图侵删。 1.首先，什么是混乱度？ 我们来看一个简单的例子，下面是三幅程序生成的点图，每幅图里有 1000 个随机点，点可以重合。大家觉得哪个要更乱？ 显然，按照直观感受，混乱度上 c>b>a。理由很简单啊，c 完全是乱选的点，b 虽然竖向有点乱，好歹排成线了。a 的话，点行列都对整了，最整齐了。 也就是说：C 里的点在 0~1 的二维平面可以任意取值，b 里的点在 20 根线上可以任意取值，A 里的点就只能取在 x，y 坐标都能被 0.05 整除的地方。 这白话背后隐藏着一个系统的“整齐”这个抽象概念背后的原理，那就是： 限制一个系统能够取到的状态。 2.那么怎么定量描述一个系统的“混乱程度”呢？ 没错，物理学家发明出了 状态数 这么一个神奇的玩意。 简单得说，就是一个随机系统所可能取到的状态总数。 然后我们就可以定义：状态数越多的系统，混乱度越高 如何准确理解 系统的状态数 ？再举一个例子，假设有下面两个系统： 1. 随机抛出的两个色子 2. 随机抛出的两个色子，如果结果不同就重新抛 不难算出系统 1 有个状态，而系统 2禁止了 30 种两个筛子有不同取值的状态，所以只有种状态。因此，系统 2 的混乱度是比系统 1 小的。 3.为什么系统状态数多直观上会给人更混乱的感觉? 对于混乱的直观感受的本质在于：当我们看到一个系统时，我们会本能地猜测这个系统可能的限制条件。例如我们看到一团乱麻时，绝不会本能地想到 “哇，这里每一根线一定都是精心安排过的”。 另外，对称性高的系统也能给人整齐的感觉，而对称性一定程度上也是限制系统的状态（比如镜面对称就限制境内和境外状态必须相同。） 举两个生活中的例子： 整理好的房间比东西乱摆的房间看上去整齐，是因为整理好的房间系统不能够取到“袜子出现在任意位置”，或者“被子以任意形态摆放”，这样的状态。 左边的书比右边整齐，因为左边的书系统不能取到没有对齐的任何状态。而右边书的朝向和重心的位置是可以任意调整的。 Ps：不过，虽然大多数情况下人的直觉都是准的，但是人的直觉判断也有错误的时候。 比方说在暗恋对象突然造访前花了 10 分钟收拾的房子，收拾的方法大约是把所有乱七八糟的东西都藏在床底下和用被子盖着。用本文的话来说就是：这间房子内的物品实际上受到的限制条件要比看上去的少多了。 3. 说了这么多，熵呢？为什么熵可以表示混乱度？ 要理解一个抽象概念不妨先从定义下手，熵在热学中的数学表达式为： 其中： 函数：如果一个数等于, 那么。是一个叫自然常数的神奇的数 ：k 是一个常数，叫做玻尔兹曼常数，表示能量与温度的关系，你可以不用理他 ：不多说了吧，就是状态数。不过名字不一样，他叫微观状态数。 简单地说，微观状态就是把空间按照一定的大小划分成小格子，每一个格子内算一个状态。粒子的动量取值范围也可以看成空间，划成小格子，每一个格子内也算作一个状态。某个自由粒子的状态数就是它能在空间中取到的状态数乘以它在动量空间中能够取到的状态数。 总之，熵是一个随系统状态数 W 增加的函数。 4.为什么熵要对取状态数取对数？ 取对数的原因很简单，我们希望“熵”这个值成为一个广延量。 换句话说就是，如果两个系统合合并为一个系统，我们希望总系统的熵是两个系统的熵的简单和。 再来看色子： 一个色子的状态数为 两个色子的系统，状态数为 显然是没法直接相加的，但是如果我们选择作为“色子熵”的话，则： 一个色子系统的熵 两个色子系统的熵 这样就满足了相加条件。 5.怎样理解熵在热学中的定义：? 首先由问题 4，我们知道一个稳定系统的熵就是子系统熵的和。所以一团气体的总熵也就是每一个分子的熵的和。 如图，是体积固定为为 V、温度为的气体系统，我们考虑其中的一个气体分子。整个系统的熵和这个粒子的熵成正比。 接下来，我们将考察这个粒子能够取到的状态数量，考虑它向外传热的过程，最后给出传热和熵的关系。 注意：以下讨论略去所有的常数，全部以粗略的正比的形式给出。 首先考虑空间对应的状态数。由于我们把空间划成小格，所以状态数和空间尺寸成正比： 我们的气体体积是固定的，所以就可以忽略掉这部分状态数的变化。 然后考虑动量的状态数，我们都知道动量有三个指向，如果把动量也看成三个维度的话，那么状态数应该和 “动量空间” 的大小成正比，也就是平均动量的三次方成正比。(也就是在三维世界里，”空间“ 体积与 ”长度“ 的三次方成正比)： 然而又因为温度正比于平均动能，平均动能又和平均动量的二次方成正比关系，所以嘛： 系统的熵需要对状态数取对数，因为对数的运算规则，所以： 我们考虑气体系统向外界传热，它的温度变化了非常小的。我们请出偏导数来描述熵的变化！ 由于当足够小时, 考虑表示熵的变化的第二项，带入熵的对数表达式就可以得到： 也就是 又因为显然温度的变化量与传热成正比，所以上面的式子就变成了传说中的： 可以看出对数系统有不可多得的优越性，W 与 T 的函数关系只要在幂函数的范围内都可以得到同样的结果，所以熵与热量传递的关系和空间维度没有关系！ 6.为什么一个系统的内部过程会倾向于使熵增加？ 试想你生活的屋子，如果你平时不注意收拾，用过的东西以很随意的姿态任意摆放。要不了多久屋子就会变得一团糟。并且这样的趋势也不太可能被逆转。 所以熵增加的本质其实是：系统内部自然发生的随机过程打破了原有的状态限制，让系统内部的元素可以取的状态多了起来。 在屋子变乱这个例子里，人的使用和随意摆放就打破了原有的物品的摆放限制，比如你的闹钟本来固定呆在床头柜上，你用过以后满屋子随便扔，那这个闹钟就可以出现在桌子椅子窗台地板的各种地方了。这样被乱扔的东西多了，屋子也就变乱了。 7.为什么常说熵增加是时间单向流动性的本质？ 这样的过程，往深刻了说，就是时间流动的本质。 时间向前流动的过程中，系统中会发生大量这样的随机过程。 其中一部分随机过程不会打破原来的状态限制，比如说本身已经是随机的数列，你又随机交换了其中两个数，这样的随机过程并没有什么卵用。 但是有一部分随机过程会打破状态限制，例如本来是按次序摆好的书，你拿出来又随便放回去，或者把一个杯子打碎。引入了随机过程这个捣蛋鬼之后，熵就增加了。 point 是，在时间前进的过程中，没有任何随机过程可以为系统添加限制条件。并且宇宙在微观层面几乎只存在附加了某些限制条件的随机过程。（除了生命体这个耗能量维持自身状态数的大 bug） 你可以在宏观层面收拾房子，但是你的身体正在发生猛烈的化学反应。肌肉细胞拆了一个又一个葡萄糖、脂肪、ATP，产生了大量的混乱度才供给你了足够能量，让你叠个被子。 换句话说，只要宇宙微观上的随机过程永不停歇，那么总有一些随机过程会打破原来对状态的限制，状态数的增加会永远无休止的进行下去，永远永远不会回头。 （下面的内容就有点难懂了） 信息熵与热力学的熵关系是什么样的？ 有人提到信息熵就是负熵，实际上并不是这样的！！ 有人提到信息熵就是负熵，实际上并不是这样的！！ 有人提到信息熵就是负熵，实际上并不是这样的！！ 重要的事情要说三遍。 信息熵的定义是，其中是系统处在第个状态的概率。 （注意 P 表示概率，而概率都是小于 1 的，所以求出来的实际上是正值正值正值） 注意到前面的负号，把负号换到对数里面其实可以写成： 也就是对于所有可能状态求平均值。 假设这个系统每个状态取到的概率都相同，那么概率就和状态数成反比。 比如骰子有 6 个状态，那么每个状态出现的概率就是 。 所以信息熵就可以写为，和热力学熵只是底数的区别。这里取 2 是因为可以和信息里的 bit 相对应，可以估算系统所有状态可以大概可以用多少个 bit 长度的二进制数列一一对应。 当系统每个状态的概率都一样时信息熵实际上是取到了最大值。这时系统所含信息量最大。 反之，当概率集中在一个状态时，信息熵最小，所含信息量也最少。 怎样理解两团气体放在一起，熵为两团气体的和？明明每一个气体分子可以取的空间都加倍了。 假设这两团气体分别只有一个分子，把隔板抽开之后，两个分子的运动空间分别加倍。所以理论上状态数应该变成原来的两倍。 但是我们考虑两个粒子的全同性。所以把两个粒子交换之后整个系统并没有任何变化，所以总状态数必须除以 2.这就回到了原来的总状态数。 N 个粒子同理，可以自己思考一下 怎样理解连续空间的状态数？ 热统教材里有一个我非常不喜欢的粗暴的强行解释方法： 按照量子力学的不确定性，粒子的空间和动量不确定度之积必须大于一个值： 所以把动量和空间分量分别看成一个空间的两个维度，那么“面积”小于范围内的空间就可以看成不可区分的一个状态。（但是我觉得这简直就是强行扯淡） 实际上这里划分状态格子的大小并不需要一个具体的值。这个 h 值只要足够小，让状态数足够大，让斯特林公式可以用，对于经典热力学的理论结果就不会有任何影响。在纯经典的热力学里，状态数更多的是一种方便大家进行计算和理解的东西。 你如果喜欢，完全可以用概率密度函数重建经典统计热力学。 怎样才能更好得理解随机随机过程使熵不可逆转地增加？ 考虑两个相互接触但是还没有相互融合的，除了温度完全相同的气体团 A 和 B。 有温度关系 这时候里面的每个气体分子可以取到的状态数是大于里面的每个分子的。 但是当来自 B 的一个分子与 A 中一个分子发生随机碰撞的一瞬间之后，平均而言来自 A 气团的分子会丧失能量，导致状态数减小，而来自 B 气团的分子会得到能量，破除了之前在自己气体内部运动时的状态范围限制，状态数增加。 因为能量守恒，所以失去的能量与得到的能量是相同的。所以熵的变化分别是： , 总的熵变化为： 因为，所以上面这个式子大于 0 注意上面论述中的“一个粒子”这个概念，上面的两个粒子碰撞之后可以取的状态数的改变，其实可以理解为“A 粒子所有可能的状态与 B 粒子所有可能的状态碰撞之后，可以得到的新的所有可能状态的数量比碰撞之前要多”。 这个“一个系统可以取道的所有状态的集合”，在热力学中被称为系综。 查看知乎原文
