本文的研究内容主要包括数据库构建和算法研究两个方面,主要内容如下: (1)中文唇语识别数据集LRW-1000的构建:考虑到目前关于中文唇语识别的 研究尚无一个基准的数据库,为了给未来中文唇语识别的研究提供一个数据基准, 本课题根据自采的数据,与中科院计算所VIPL组合作构建了一个大型的开放场景下 中文唇语识别数据集,并提出了一个完整的构建流程,详细介绍了构建流程中的设 计到的算法原理。 (2)唇语识别算法:提出了一个新的唇语识别算法,来学习从唇语图像序列到 目标文本序列的映射。为了增强网络对短时依赖的建模能力,结合DenseNet和时空卷积提出一个新的网络结构,命名为D3D。然后