经编 在CPU和GPU上快速并行实现CTC。 介绍 主义者的是一种损失函数,可用于对序列数据进行监督学习,而无需在输入数据和标签之间进行对齐。 例如,CTC可用于训练用于,这就是我们在百度的硅谷AI实验室中一直使用的方式。 上图显示了CTC计算输出序列“ THE CAT”的概率,作为可能映射到“ THE CAT”的输入序列的所有可能比对的总和,同时考虑到标签可能会重复,因为它们可能会延伸多个输入数据的时间步长(由图像底部的频谱图表示)。 由于所涉及的组合运算法则,显式地计算所有这些概率的和将是非常昂贵的,但是CTC使用动态编程来显着降低计算的复杂性。 由于CTC是微分函数,因此可以在深度神经网络的标准SGD训练期间使用它。 在我们的实验室中,我们专注于扩大递归神经网络,而CTC损失是重要的组成部分。 为了使我们的系统高效,我们对CTC算法进行了并行化处理,如。 此项目包含我们的高性能C