计算信息量（计算信息量值怎么算）

本篇文章给大家谈谈计算信息量，以及计算信息量值怎么算对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、信息量计算
• 2、信息量计算的关键是什么
• 3、信息量是怎么计算的？
• 4、为什么计算信息量要用以2为底的对数?

信息量计算

假设我错过了某年的世界杯比赛，现在要去问一个知道比赛结果的朋友“哪支球队最终获得世界杯冠军”？他要求我猜，猜完会告诉我是对还是错，但我每猜一次就要给他一块钱。那么我需要付给他多少钱才能知道谁是冠军？我可以把球队编号，从1到32，然后问“冠军的球队在1-16号中吗？”。假如他告诉我对了，我就问“冠军的球队在1-8号中吗？”。如果他告诉我不对，我就自然就知道冠军队在9-16号中。这样我只需要猜5次就可以知道哪支球队是冠军了。所以，“谁是世界杯冠军”这个问题的答案的信息量只值5块钱。香农用“比特”（bit）来作为信息量的单位。像上边“谁是世界杯冠军”这个问题的答案的信息量是5比特。如果是64支球队，“谁是世界杯冠军”这个问题的答案的信息量就是6比特，因为要多猜一次。

对足球了解的朋友看到这有疑问了，他觉得他不需要5次来猜。因为他知道巴西，西班牙，德国等这些强队夺冠的可能性比日本，韩国等球队大的多。所以他可以先把强队分成一组，剩下的其它队伍一组。然后问冠军是否在夺冠热门组里边。重复这样的过程，根据夺冠的概率对剩下的候选球队分组，直至找到冠军队，这样也许三次或四次就猜出结果了。因此，当每支球队夺冠的可能性（概率）不一样时，“谁是世界杯冠军”这个问题的答案的信息量比5比特少。

香农指出，“谁是世界杯冠军”这个问题的答案的信息量是：

H = -(p1*log(p1) + p2 * log(p2) + ... + p32 * log(32))

其中log是以2为底数的对数，以下本文中的log都是以2为底的对数，下边不再特别说明。

这就是衡量信息量多少的公式，它的单位是比特。之所以称为熵是因为它的定义形式和热力学的熵有很大的相似性。对于一个随机变量X的信息熵的定义公式为：

H(X)＝-∑P(xi)logP(xi)

其中xi是随机变量X的可能取值。

更多计算信息量的例子可以看这篇文章：信息怎么衡量多少？

信息量计算的关键是什么

信号信息量主要和信号出现的概率有关

如果一个信号一定出现，那么概率P(X)=1，其信息量为0

如果信号的出现概率很小，那么其信息量就大

信息量的计算一般是 -log2(1/P(X))，单位为bit

信息量是怎么计算的？

如何计算信息量的多少？在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。即信息量的多少是与事件发生频繁（即概率大小）成反比。

为什么计算信息量要用以2为底的对数?

常用对数是以10为底的，即若10x=y，则有log10y=x。但是在

信息论

中，信息量的大小则是用以2为底的对数来衡量的。

我国古代的

烽火台

是传递信息的工具。烽火台燃起烟火，表示敌人来犯。否则，表示敌军未动。它传递的信息只有两种情况：“有”或“没有”。这是最简单的通信情形，我们拿它作为信息量的单位，称为“1比特”。用数学的语言来说，即只含有0(无烟)和1(有烟)两种情况的通信，其信息量定义为log22=1。

假设烽火台上有两支烟囱，甲烟囱表示敌人情形：进犯(1)，或未进犯(0)。乙烟囱表示我方情形，需增援(1)，或不需增援(0)。这样我们就得到四种情况：

甲乙

(0，0)敌人未来，不需增援；

(0，1)敌人未来，需要增援；

(1，0)敌人进犯，不需增援；

(1，1)敌人进犯，需要增援。这样，

我们所知道的

信息比以前多了，它所含的信息量应该是1og24=2(比特)。

容易想象，三支烟囱的烽火台可传递8种情况的信息，即：(0，0，0)；(0，0，1)；(0，1，0)；(0，1，1)；(1，0，0)；(1，0，1)；(1，1，0)；(1，1，1)。这时的信息量自然就应该是1og28=3(比特)了。

更复杂的情形的信息量都是从这种最简单的情形变化而来的。正由于最简单的信息只具有两种可能，因此计算信息量时采取以2为底的对数可以获得最基础的信息量值1；而当信息以y=2x发生变化的时候，用log2y=x计算信息量就能正确反映出信息量的真实情况。

从网上搜的

计算信息量的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于计算信息量值怎么算、计算信息量的信息别忘了在本站进行查找喔。