熵(卷名：自动控制与系统工程)
entropy
热力学基本概念，是系统中分子运动混乱程度的度量，用s表示。信息论中借用了熵这一热力学的术语,用以表示一个信号状态的丰富程度。所谓信号状态的丰富程度指的是收到一个信号后能去掉多大的不确定度。能去掉的不确定度越高则信号状态越丰富。
熵是系统状态的函数，与系统演化的过程无关。熵是广延量,合系统的熵s等于组成系统的两个子系统的熵s1与s2之和。熵和能从两个不同角度描写系统的状态。能从正面度量运动转化的能力，能越大，运动转化的能力也越大；熵从运动不能转化的一面度量运动，表示运动转化已经完成的程度。在没有外界作用的情况下，一个系统的熵越大就越接近平衡态，就越不能转化。描述系统宏观状态的熵和混乱运动的分子可能存在的微观状态数Ω之间有如下关系：
(1)其中k为玻耳兹曼常数,Ω为分子的无序度。假定系统每个微观状态出现的概率相同，则
(2)美国数学家C.E.香农利用信源某种信号出现的概率Pi来衡量该信号所具有的信息量，他发现信息大小和热力学系统的熵有本质的一致性。定义某个信号的信息量为-PilnPi，则信源的信息为
(3)(3)式与(2)式在形式上完全一样。香农把H 称为信源的熵，表示信源信息的大小。