信息论中的熵(entropy) ●热力学中的熵：是表示分子状态混乱程度 的物理量 ·信息论中的熵：用来描述信源的不确定性 的大小 ·经常使用的熵概念有下列几种： ·信息熵 ●交叉熵 ●相对熵 克劳德·艾尔伍德，香农(Claude Elwood Shannon 1916年4月30日一2001年2月24日)是美国数学家、 ●条件熵 信息论的创始人。1936年获得密歇根大学学士学 位。1940年在麻省理工学院获得硕士和博士学位， 1941年进入贝尔实验室工作。香农提出了信息熵的 ●互信息 概念，为信息论和数字通信奠定了基础。 哈尔滨工业大学计算机学院刘远超 信息论中的熵(entropy) l 热⼒学中的熵: 是表示分⼦状态混乱程度 的物理量 哈尔滨工业大学计算机学院 刘远超 3 l 经常使⽤的熵概念有下列⼏种： l 信息熵 l 交叉熵 l 相对熵 l 条件熵 l 互信息 克劳德·艾尔伍德·香农（Claude Elwood Shannon ， 1916年4月30日—2001年2月24日）是美国数学家、 信息论的创始人。1936年获得密歇根大学学士学 位 。1940年在麻省理工学院获得硕士和博士学位， 1941年进入贝尔实验室工作。香农提出了信息熵的 概念，为信息论和数字通信奠定了基础。 l 信息论中的熵：⽤来描述信源的不确定性 的⼤⼩