目录

0 写在前面 1 宇宙演化的熵增定律 2 量化信息的熵 3 最大熵原理 4 相对熵及其不对称性 5 交叉熵与条件熵 6 互信息

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

?详情：机器学习强基计划(附几十种经典模型源码合集)

1 宇宙演化的熵增定律

在开始前，我们可以先思考几个现象：

为什么很久没人住的房子看起来越来越破败？ 为什么打碎的杯子没办法自发地复原？ 为什么我们的代码工程总是不可避免地越来越臃肿？ 为什么生命必然衰败走向死亡？ 为什么…

上述现象的本质就用熵增定律来揭示：在一个封闭的系统内，事物一定会不可避免地自发地向混乱、无序的方向发展<