信息熵的计算公式为H(x) = E[I(xi)] = E[ log(2，1/P(xi)) ] = -∑P(xi)log(2，P(xi)) (i=1，2，..n)。1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。
成都创新互联是由多位在大型网络公司、广告设计公司的优秀设计人员和策划人员组成的一个具有丰富经验的团队，其中包括网站策划、网页美工、网站程序员、网页设计师、平面广告设计师、网络营销人员及形象策划。承接：成都网站制作、网站建设、网站改版、网页设计制作、网站建设与维护、网络推广、数据库开发,以高性价比制作企业网站、行业门户平台等全方位的服务。
计算熵变的三个公式如下：已知定压比热、温度、压力：根据公式△S1-2=CPln(T2/T1)-Rgln(P2/P1)进行计算其中，△S1-2为由状态1到状态2的熵变化量，J/(kg·K)。
熵值法的计算公式：W=-（1/m）Σx*lnx。熵值法是指用来判断某个指标的离散程度的数学方法。离散程度越大，该指标对综合评价的影响越大。可以用熵值判断某个指标的离散程度。在信息论中，熵是对不确定性的一种度量。
即熵是增加的。物理学上指热能除以温度所得的商，标志热量转化为功的程度。物质都有自己的标准熵，一个反应可以根据各种物质的熵来计算熵变。ΔH-TΔs是计算自由能的公式，用来判断反应的自发性。
熵的公式如下：克劳修斯首次从宏观角度提出熵概念，其计算公式为：S=Q/T，（计算熵差时，式中应为△Q）；波尔兹曼又从微观角度提出熵概念，公式为：S=klnΩ，Ω是微观状态数，通常又把S当作描述混乱成度的量。
自信息（英语：self-information），又译为信息本体，由克劳德·香农提出，用来衡量单一事件发生时所包含的信息量多寡。它的单位是bit，或是nats。自信息的含义包括两个方面：自信息表示事件发生前，事件发生的不确定性。
平均自信息是针对信源编码而言，而平均互信息是针对信道编码而言，定义自信息（“信息论”中的一个定义）的数学期望为信源的平均自信息量（也即“信息熵”）。
熵，在统计学或信息论里，我们称其为信息熵；在物理学领域，一般指热力学熵。信息熵和热力学熵是统一的。熵是体系混乱度的度量，熵越大，说明这个体系越混乱。
互信息也被称为信息增益。用下面这张图很容易明白他们的关系。信息熵：左边的椭圆代表 ，右边的椭圆代表 。互信息（信息增益）：是信息熵的交集，即中间重合的部分就是 。
的后验概率与先验概率比值的对数为 对 的互信息量： 最小化互信息，即最小化随机变量的不确定性。设这两个随机变量的联合分布为 ，边缘分布为 和 ，展开可得， 即互信息是联合分布与边缘分布的相对熵。
信息熵的计算公式为H(x) = E[I(xi)] = E[ log(2，1/P(xi)) ] = -∑P(xi)log(2，P(xi)) (i=1，2，..n)。1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。
信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也越大。
Code = -log_2(P)其中，$P$表示该字符在序列中出现的频率。这个公式的物理意义是，对于一个出现概率为$P$的事件，我们需要用多少个二进制位来对其进行编码，才能保证编码后的信息传输效率最高。
