包含信息熵值的词条

本篇文章给大家谈谈信息熵值，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、信息熵的定义是？
• 2、信息熵的计算公式，麻烦通俗地讲一下。
• 3、如何理解信息熵

信息熵的定义是？

所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。

根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。

扩展资料

应用：

信息如果持续保持混乱，没有系统化，那么结果就是信息死亡，信息熵是解决信息处理的问题，如信息的数量变化，产生的冗余信息统计，从熵增定律来看，信息从A到B的传递，类似于能量守恒定律，总量是不变的，但会产生冗余。

人们经常会对一条信息跟帖、转发和收藏，这些行为就是在信息传递过程中的动能，结果是信息冗余越来越多，反而信息本身被关注越来越少，所以信息其实就是一个本身不断降维和冗余不断升维的过程，当冗余超过信息本身时，这条信息已经不重要了，或者从熵的角度定义为信息熵死。

参考资料来源：百度百科-信息熵

信息熵的计算公式，麻烦通俗地讲一下。

信息熵的计算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

其中，x表示随机变量，与之相对应的是所有可能输出的集合，定义为符号集,随机变量的输出用x表示。P(x)表示输出概率函数。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

信息熵是数学方法和语言文字学的结合，基本计算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某种语言文字的字符出现的概率，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值。

扩展资料：

信息熵的相关介绍：

一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。不确定性函数f是概率P的减函数；两个独立符号所产生的不确定性应等于各自不确定性之和。

人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。

直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

参考资料来源：百度百科-信息熵

参考资料来源：百度百科-信息熵值

如何理解信息熵

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。

直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。

信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

中文名

信息熵

外文名

informationentropy

提出者

C. E. Shannon

时间

1948 年

借鉴

热力学的概念

快速

导航

基本内容信息含义

理论提出

信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。

Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

基本内容

通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。

不确定性函数f是概率P的减函数；两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数，即

。

在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即

信息熵值的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、信息熵值的信息别忘了在本站进行查找喔。