信息论笔记说明

【测量信息】 https://www.modevol.com/document/b8lcz0hjeawv85c7w1eeknvw

这门课程讲述了信息传输的原理与方法。通过角色扮演，学生体验了如何以最少的问题确认信息。课程以二进制单位“比特”来计量信息长度，并以此制定收费标准。案例涵盖了硬币抛掷、文字传输和扑克牌信息的传输成本计算，以及如何使用对数函数计算期望问题数量。通过简洁生动的案例，深入浅出地介绍了信息传输的基本概念和数学原理。

【信息熵】 https://www.modevol.com/document/q3mf152cyhsgc4dzatt2af1m

这门课程深入探讨了信息理论的基本概念。通过比较两台机器的信息输出，引入了克劳德·香农的信息量概念。通过理解香农熵，学生了解了信息的不确定性与惊喜度量，并将比特作为信息量的单位。这一概念深刻影响了信息科学与通信领域。

【压缩编码】 https://www.modevol.com/document/j6nqmjhm5sfg9kp0xduiywzr

这门课程探讨了信息压缩的原理与方法。以哈夫曼编码为例，学生了解了如何根据符号的概率分布来设计最优编码方案，实现消息传输的压缩与节约。通过理解克劳德·香农的信息熵概念，学生了解了信息压缩的极限与挑战。

【错误纠正】 https://www.modevol.com/document/o0l535ushwoqy4a14znahzoq

这门课程介绍了信息传输中的纠错编码原理。以哈明码为例，讲解了如何通过添加冗余位来自动检测和纠正传输中的错误，保证信息可靠性。学生了解了纠错编码在通信与存储中的重要性，以及如何利用冗余来提高通信信道的容量和可靠性。