信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴的横断学科。信息论创立的标志是1948年Claude Shannon （香农）发表的论文 “A Mathematical Theory of Communication” 可运用研究随机事件的数学工具——概率来测度不确定性的大小。在信息论中，我们把消息用随机事件表示，而发出这些消息的信源则用随机变量来表示。