首页
CtrlK
YJango的头像

老师,我没有传纸条作弊,我在学习信息论

1 信息本质
1 信息本质
2 信息度量
2 信息度量
小明选项
小明选项
信息类型
信息类型
小红提示
小红提示
信息定义
信息定义
信息相对性
信息相对性
太阳升起
太阳升起
信息量化
信息量化
后续视频
后续视频
热力学商
热力学商
单集封面
单集封面

老师,我没有传纸条作弊,我在学习信息论

03-16
303 次观看
YJango的头像
YJango
粉丝:8165
主题:2
描述:4
例子:3
类比:1
其他:1
字数:1849

老师,我没有传纸条作弊,我在学习信息论

03-16
303 次观看
YJango的头像
YJango
粉丝:8165
YJango的头像
YJango
粉丝:8165
主题:2
描述:4
例子:3
类比:1
其他:1
字数:1849

1 信息本质

小明选项 信息定义

此刻的你接受着我所产生的声音、文字、画面,但你知道我所传递的内容并不是这些媒介本身,而是信息。我们时时刻刻都在获取信息,讨论信息,然而到底什么是信息?当一件事情有多种可能情况时,这件事情对某人而言具体是哪种情况的不确定性叫做伤,而能够消除该人对这件事情不确定性的事物叫做信息熵。和信息数量相等意义相反,获取信息意味着消除不确定性。比如当小明不会某道数学选择题时,正确答案是abb C D哪个选项的不确定性就是熵,这里正确答案也叫宏观态,而每个可能选项叫做微观态。

信息类型

宏观态是不考虑内部细节的状态,而微观态是考虑具体细节的状态。比如生物是宏观态,动物、植物都是生物。这个宏观态的一种微观态熵在A B C D所有可能情况都是等概率时最大,在确定了C是百分之百后最小能消除不确定性的信息有3种类型,它们的本质都是正确的,调整了每个可能情况的概率。比如小红告诉小明有一半可能性是C选项,这句话帮助小明将C选项的概率调整到了50%。括号里是提供的信息量。第二种能正确的排除某件事情的干扰情况。比如小红告诉小明D选项是错的,这句话帮助小明将D选项的概率调整到了0%。这时小明只需要从三种情况里确定实际情况即可。在此基础上再告诉小明A选项是错的。这时小明只需要从两种情况里确定实际情况即可。那么在此基础上再告诉小明B选项是错的,只剩下一种情况了,不确定性完全消除。第三种,能够直接确定某件事情的实际情况。

小红提示 信息类型

小红告诉小明,正确答案是C是将C选项的概率调整到了百分之百。这句话帮助小明从四种等概率情况里确定了实际情况,但小红告诉小明,肯定是A B C D里的一项,这句话就没有帮助小明消除任何不确定性。

信息定义

在这种定义下,并没有假信息一说,只有能够消除某人对某件事情的不确定性的事物才叫信息。

信息相对性

因此,小红告诉小明,正确答案是D提供的信息是0,那些不能够消除某人对某件事情不确定性的事物被称为数据或噪音。噪音是干扰某人获得信息的事物,而数据是噪音与信息的混合体,需要用知识将其分离。同一个观察者对同一件事情接收到的信息与用于传递信息的信号形式无关。比如,小红将写有C的纸条传给小明,提供的是两比特,小红直接告诉小明,答案是C提供的也是两笔特信息。小红登小明的椅子三次,提供的也是两比特的信息。概率和熵的区别在于,概率是某件事情某个可能情况的确定性,而熵是某件事情到底是哪个具体情况的不确定性。最为重要的一点,信息描述的是一个观察者确定一个宏观态是哪个微观态时所需要的物理量。所以信息是相对的,接受到的信息是相对于观察者已经对该件事情的了解程度而言的。小红会这道题,不管告不告诉小红,正确答案是C小红对这道题的伤都为零比特,因为观察者已经拥有该件事情的所有信息,不确定性从最初就不存在。小明不会这道题伤为两比特,因为观察者没有关于这件事情的任何信息,他需要从四种等概率的情况里确定实际情况。小虎知道D是错的,商为1.58。因为观察者拥有关于这件事情的部分信息不确定性略小,他只需要从三种等概率情况里确定实际情况。虽然信息是相对于观察者而言的,但信息是客观存在的物理量,不随观察者的主观意识而改变。

太阳升起 信息相对性

比如小虎认为C是错的,熵不会减少,因为这个主观认为C是错的并没有实际帮助小虎消除事件的不确定性。太阳从东边升起这句话对知道的人而言提供了零比特的信息,对知道或东或西升起的人而言,提供了易比特的信息。对觉得东南西北都有可能的人而言,提供了两比特的信息。

2 信息度量

信息量化

同时,信息还是相对于某件事情而言的。比如小明,对,正确答案是A B C D哪个选项的商为两比特,但小明对正确答案属于A B还是属于C D的伤是易比特。小红告诉小明正确答案是C为小明确定正确答案提供了两比特的信息。而若想告诉别人小红对小明说了什么,这件事情的伤不再是两比特观察者,也不再是小明,而是小明和小红之外的观察者。很多人在思考问题的时候,会不经意间切换所要思考的事情,这会造成怎么想都想不明白。你可能存有疑问,做数学题明明消耗了那么多的能量,小明怎么只获得了两比得的信息呢?上面的信息到底是怎么量化的?

注释 后续视频

下个视频你将解释信息是怎么被定义出来的,以及你现在脑中存有的各种疑惑和网上的一些误解,是由于将数据信息、知识纠缠在一起思考后的结果。

热力学商 信息量化

当讲到如何理解热力学商时,你会发现信息不是一个虚构的概念,它与质量、能量一样,是一个实实在在的物理量。

讨论
随记
AI 助理