信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化，最初用于研究在一个含有噪声的信道上用离散的字母表来发送消息，指导最优的通信编码等，从这个角度看信息熵是求在最优编码时，最短的平均编码长度？交叉熵是编码不一定最优时（分布的估计不准），平均编码长度？相对熵则是编码不一定最优时，平均编码长度相对于最小值的增值。而在机器学习中经常需要使用它们的关键思想来描述概率分布或者量化概率分布之间的相似性。 本书是一部信息理论方面的专业教材，内容包括信息的统计度量；离散信源和连续信源；信道与信道容量；信源与信宿之问的平均失真度度及信息率失真函数；信源编码与信道编码；网络信息论基础；信息论方法在信号处理中的应用等方面，适合高校信息类专业学生。, , 　　本书重点介绍经典信息论的基本理论，力图将信息论及其工程应用联系起来。全书共分11章，内容包括信息的统计度量；离散信源和连续信源；信道与信道容量；信源与信宿之问的平均失真度度及信息率失真函数；信源编码与信道编码；网络信息论基础；信息论方法在信号处理中的应用。, 　　本书深入浅出，概念清晰，系统性强；可作为理工科高等院校电子类相关专业的教材，亦可供从事通信、雷达、导航、生物工程、系统 工程、管理工程等有关专业的科技人员参考。 工程、管理工程等有关专业的科技人员参考。