熵：对不确定性建模
熵：对不确定性建模
- 核心思想：熵是对不确定性或“惊喜”程度的数学度量，等于要确定结果所需提问“是/否”问题的期望数量。
- 书里怎么解释的：低熵=确定性高（太阳从东方升起），高熵=完全随机（抛硬币）。熵不同于方差（方差只关注数值离散，熵关注概率分布）。最大熵原理指：在只知道部分约束时，应该选择最不确定（假设最少）的分布。
- 书里的例子：
- 最大熵分布：如果只知道取值范围，均匀分布熵最大；如果只知道均值（且值为正），指数分布熵最大；如果知道均值和方差，正态分布熵最大。因此，当我们建模时，如果对过程一无所知，优先假设这些分布是合理的。
- 区分结果类别：计算机科学家沃尔弗拉姆把世界分成四类——均衡（熵低）、周期（熵中等偏低）、随机（熵最大）、复杂性（熵中等偏高）。我们可以计算时间序列子序列的熵来判断它是哪种。比如城市生活我们希望有“复杂性”（中等熵），既不喜欢死气沉沉的均衡，也不喜欢完全不可预测的随机。
启示：
- 生活需要“中等熵”，太高和太低都不好。书中引用亚历山大建筑学：城市要有适度的复杂性才有趣。你如果把每一天都安排得一模一样（低熵），会极度无聊；但如果让你的生活完全随机（高熵），天天不知道明天在哪，你会焦虑崩溃。要主动创造“有序中的随机”，比如每天固定时间工作，但每周尝试一家新餐馆、走一条新路。
- 当心把“复杂模式”误认为“随机”。书里说熵可以帮你区分均衡、周期、随机和复杂。生活中，很多看似毫无规律的事情（比如股票短期波动），熵值接近最大，说明它就是随机，不必强行找原因。而有些事情（比如心情、睡眠质量）熵值适中，说明有潜在模式，值得记录数据去分析。
- 在没有信息时，选择“最大熵”假设。书中说最大熵原则：不知道分布时，假设均匀或正态。普通人在做模糊决策时（比如不知道三个offer哪个更好），不要先入为主，要平等看待各选项，然后快速试错收集数据，而不是凭感觉押宝。