信息论

简单介绍

信息论由香农创立，用熵、互信息等概念量化信息与不确定性，研究数据压缩与可靠传输的理论极限。它是通信工程的基石，也是机器学习中交叉熵损失、KL 散度、最大熵模型与变分推断等方法的直接理论来源。

推荐电子书

国外经典（3-5本）：

• 《Elements of Information Theory》（Thomas M. Cover & Joy A. Thomas，第2版，2006）——信息论公认的标准教材，全面而严谨。

• 《Information Theory, Inference, and Learning Algorithms》（David J. C. MacKay，2003）——信息论与机器学习结合的经典，作者官网可免费下载。

• 《Information Theory and Reliable Communication》（Robert G. Gallager，1968）——信息论大师 Gallager 的经典著作，理论深刻。

国内经典（2本）：

• 《信息论基础》（傅祖芸，第2版）——国内信息论经典教材，长期广泛使用。

• 《信息理论基础》（周炯槃，1983）——通信领域院士周炯槃的经典教材，影响深远。