上个视频学习了如何定性的判断什么是信息,什么是熵。
其中有一个例子,当小明不知道选择题是abcd哪个选项时,小红告诉小明D选项是错的,提供了0.415比特的信息,再告诉小明A选项是错的,提供了0.585比特的信息,再告诉小明B选项是错的,提供了伊比特的信息。
可明明每次都是告诉他一个错误选项,为什么三次提供给小明的信息量却都不相同?信息到底是怎么计算的?为什么信息还有单位?
回想一下什么东西有单位质量、温度等物理量。没错,信息也是一个物理量。
要测量这个物理量,不妨回想一下我们是怎么测量质量的,千克最初又是怎么被定义出来的?其实最初我们并不知道千克的质量,而是选定一个参照物,把这个物体的质量就称为千克。当想要测量其他物体的质量时,就看这个物体的质量相当于多少个参照物体的质量,这里的多少个便是千克。如果换另一个参照物体,那么单位就会变化。比如,斤。
测量信息也是一样,既然信息消除的是不确定性,那么就选择另一个事件的不确定性作为参照事件。当想要测量其他事件的信息时,就看待测事件的不确定性相当于多少个参照事件的不确定性,这里的多少个便是信息量。
当选择的参照事件是像抛硬币这样只有两种等概率情况的事件时,测量的信息量的单位就叫做比特。
然而测量质量时,我们是用待测物体的质量除以参照物体的质量。因为待测物体的质量等于参照物体的质量乘以参照物体的个数,所以当知道总质量要求个数时,我们就用乘法的反函数及除法来计算,
可是测量信息时却不能用除法,因为抛掷三个硬币能产生的可能结果并非六种,而是八种,也就是说不是线性关系,而是指数关系。所以当知道可能情况的个数M想求这些情况相当于多少个参照事件所产生的时,就用指数运算的反函数及对数来计算。
这样八个不确定情况就相当于三个硬币抛出的结果,四个不确定情况就相当于两个硬币抛出的结果。所以小明对“答案是abcd里哪一项”的不确定性是log 4,两比特。
但这里有个前提,那就是被测事件的所有可能情况都必须是等概率才行,因为参照事件本身的两种情况就是等概率。
可是当不知道答案的小明被告知有一半可能性是C选项时,各个情况的概率就不一样了。这时该如何计算商呢?
答案是分别测量待测事件每种可能情况的信息量后,乘以他们各自的发生概率再相加即可。
不过怎么测量每种情况的信息量呢?怎么知道概率为16.66的情况的不确定性,相当于抛掷多少个硬币所产生的不确定性呢?
我们确实没有办法再用log m这个公式了。但是我们知道1%会发生的情况,相当于从100个等概率情况中确定实际情况,概率的倒数等于等概率情况的个数。用概率的倒数替换个数后,我们就可以计算每种情况的信息量了。
再用每个情况的信息量乘以对应发生的概率,再相加后就可以算出总信息量了。