香农在1948年在《通信的数学理论》里面提出了bit用来计算信息的度量并且提出了香农熵的计算公式,在这将这篇文章分享给大家,关于信息熵的那一部分重要内容,可以参考个人博客,在博客中给出了部分摘录和补充。