YJango的头像

老师,我没有传纸条作弊,我在学习信息论

1 信息基础概念
2
1 信息基础概念
信息的传递与定义
信息的传递与定义
不确定性与熵
不确定性与熵
2 信息的分类与特性
3
2 信息的分类与特性
信息的三种类型
信息的三种类型
信息与噪音
信息与噪音
信息的相对性
信息的相对性
3 信息的测量
1
3 信息的测量
信息的量化
信息的量化
信息定义
信息定义
信息熵定义
信息熵定义
选择题中的熵
选择题中的熵
宏观态与微观态
宏观态与微观态
生物的宏观态
生物的宏观态
最大熵情况
最大熵情况
消除不确定性
消除不确定性
调整概率
调整概率
排除干扰
排除干扰
确定实际情况
确定实际情况
信息的定义
信息的定义
示例说明
示例说明
数据与噪音
数据与噪音
信息与信号无关
信息与信号无关
纸条与口头传递
纸条与口头传递
概率与熵区别
概率与熵区别
信息的相对性
信息的相对性
小红和小明的例子
小红和小明的例子
客观存在
客观存在
小虎主观判断
小虎主观判断
太阳升起的例子
太阳升起的例子
信息量疑问
信息量疑问
信息定义
信息定义
信息物理量
信息物理量
单集封面
单集封面

老师,我没有传纸条作弊,我在学习信息论

01-13
50 次观看
YJango的头像
YJango
粉丝:7241
主题:9
描述:9
例子:10
其他:5
字数:2055

老师,我没有传纸条作弊,我在学习信息论

01-13
50 次观看
YJango的头像
YJango
粉丝:7241
YJango的头像
YJango
粉丝:7241
主题:9
描述:9
例子:10
其他:5
字数:2055

1 信息基础概念

信息的传递与定义

提问 信息定义

此刻的你接受着我所产生的声音、文字、画面,但你知道我所传递的内容并不是这些媒介本身,而是信息。我们时时刻刻都在获取信息,讨论信息,然而到底什么是信息?

不确定性与熵

信息熵定义

当一件事情有多种可能情况时,这件事情对某人而言具体是哪种情况的不确定性叫做伤,而能够消除该人对这件事情不确定性的事物叫做信息熵。和信息数量相等意义相反,获取信息意味着消除不确定性。

选择题中的熵 信息熵定义

比如当小明不会某道数学选择题时,正确答案是abb C D哪个选项的不确定性就是熵,这里正确答案也叫宏观态,而每个可能选项叫做微观态。

宏观态与微观态

宏观态是不考虑内部细节的状态,而微观态是考虑具体细节的状态。

生物的宏观态 宏观态与微观态

比如生物是宏观态,动物、植物都是生物。

最大熵情况 信息熵定义

这个宏观态的一种微观态熵在A B C D所有可能情况都是等概率时最大,

2 信息的分类与特性

信息的三种类型

消除不确定性

在确定了C是百分之百后最小能消除不确定性的信息有3种类型,它们的本质都是正确的,调整了每个可能情况的概率。

调整概率 消除不确定性

比如小红告诉小明有一半可能性是C选项,这句话帮助小明将C选项的概率调整到了50%。括号里是提供的信息量。

排除干扰 消除不确定性

第二种能正确的排除某件事情的干扰情况。比如小红告诉小明D选项是错的,这句话帮助小明将D选项的概率调整到了0%。这时小明只需要从三种情况里确定实际情况即可。在此基础上再告诉小明A选项是错的。这时小明只需要从两种情况里确定实际情况即可。那么在此基础上再告诉小明B选项是错的,只剩下一种情况了,不确定性完全消除。

确定实际情况 消除不确定性

第三种,能够直接确定某件事情的实际情况。小红告诉小明,正确答案是C是将C选项的概率调整到了百分之百。这句话帮助小明从四种等概率情况里确定了实际情况,但小红告诉小明,肯定是A B C D里的一项,这句话就没有帮助小明消除任何不确定性。

信息与噪音

信息的定义

在这种定义下,并没有假信息一说,只有能够消除某人对某件事情的不确定性的事物才叫信息。

举例 示例说明

因此,小红告诉小明,正确答案是D提供的信息是0,

数据与噪音

那些不能够消除某人对某件事情不确定性的事物被称为数据或噪音。噪音是干扰某人获得信息的事物,而数据是噪音与信息的混合体,需要用知识将其分离。

信息的相对性

信息与信号无关

同一个观察者对同一件事情接收到的信息与用于传递信息的信号形式无关。

纸条与口头传递 信息与信号无关

比如,小红将写有C的纸条传给小明,提供的是两比特,小红直接告诉小明,答案是C提供的也是两笔特信息。小红登小明的椅子三次,提供的也是两比特的信息。

概率与熵区别

概率和熵的区别在于,概率是某件事情某个可能情况的确定性,而熵是某件事情到底是哪个具体情况的不确定性。

信息的相对性

最为重要的一点,信息描述的是一个观察者确定一个宏观态是哪个微观态时所需要的物理量。所以信息是相对的,接受到的信息是相对于观察者已经对该件事情的了解程度而言的。

小红和小明的例子 信息的相对性

小红会这道题,不管告不告诉小红,正确答案是C小红对这道题的伤都为零比特,因为观察者已经拥有该件事情的所有信息,不确定性从最初就不存在。小明不会这道题伤为两比特,因为观察者没有关于这件事情的任何信息,他需要从四种等概率的情况里确定实际情况。小虎知道D是错的,商为1.58。因为观察者拥有关于这件事情的部分信息不确定性略小,他只需要从三种等概率情况里确定实际情况。

强调 客观存在

虽然信息是相对于观察者而言的,但信息是客观存在的物理量,不随观察者的主观意识而改变。

小虎主观判断 信息的相对性

比如小虎认为C是错的,熵不会减少,因为这个主观认为C是错的并没有实际帮助小虎消除事件的不确定性。

太阳升起的例子 信息的相对性

太阳从东边升起这句话对知道的人而言提供了零比特的信息,对知道或东或西升起的人而言,提供了易比特的信息。对觉得东南西北都有可能的人而言,提供了两比特的信息。

3 信息的测量

信息的量化

提问 信息量疑问

同时,信息还是相对于某件事情而言的。比如小明,对,正确答案是A B C D哪个选项的商为两比特,但小明对正确答案属于A B还是属于C D的伤是易比特。小红告诉小明正确答案是C为小明确定正确答案提供了两比特的信息。而若想告诉别人小红对小明说了什么,这件事情的伤不再是两比特观察者,也不再是小明,而是小明和小红之外的观察者。很多人在思考问题的时候,会不经意间切换所要思考的事情,这会造成怎么想都想不明白。你可能存有疑问,做数学题明明消耗了那么多的能量,小明怎么只获得了两比得的信息呢?上面的信息到底是怎么量化的?

提问 信息定义

下个视频你将解释信息是怎么被定义出来的,以及你现在脑中存有的各种疑惑和网上的一些误解,是由于将数据信息、知识纠缠在一起思考后的结果。

信息物理量

当讲到如何理解热力学商时,你会发现信息不是一个虚构的概念,它与质量、能量一样,是一个实实在在的物理量。

讨论
随记
AI 助理