信息理论最初就是从解决通信系统的有效性和可靠性而发展起来的，从信源、信道、信宿的特性入手，逐步发展成应用极为广泛的新兴学科——信息科学