深度学习降维过程中的信息损失度量研究

深度学习是当前智能识别、数据挖掘等领域最重要的研究方向,通过组合低层特征,形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示.数据降维是深度学习过程中最为常见的一种过程,通过降维,能够去除数据间的相关性,便于提取更为有用的数据特征,提升识别率,加快识别速度.数据降维过程中,必然导致数据信息的损失,如何统计运用这个信息损失,目前还少有相关文献进行研究.通过对栈式自编码器深度学习算法进行研究,提出一种深度学习降维信息损失度量方法,将香农信息理论运用到降维信息损失度量中,计算深度学习降维过程中信息损失量,并研究其与算法性能的关系,为深度学习算法的改进提供数据支撑.