信息论在机器学习领域应用非常广泛，熵、互信息等概念随处可见，本文档将信息论中常用到的公式进行了汇总，希望能对大家有所帮助。