长期短期记忆（LSTM）广泛用于语音识别。为了获得更高的预测精度，机器学习科学家已经建立了越来越大的模型。这样的大型模型既有计算又有内存密集型。部署这种庞大的模型会导致高功耗，并导致数据中心的所有者总体成本（TCO）较高。为了加速预测并使其高效节能，我们首先提出了一种负载平衡感知修剪方法，可以将LSTM模型大小压缩20倍（修剪10倍，量化2倍），预测精度损失可忽略不计。此外，我们还提出了负载平衡感知修剪，以确保高硬件利用率。接下来，我们提出了一个调度程序，它将压缩模型编码并分区为多个PE以实现并行，并调度复杂的LSTM数据流。最后，我们设计了一个名为ESE的硬件架构，它直接在稀疏LSTM模型上工作。ESE在运行频率为200MHz的Xilinx XCKU060 FPGA上实现，直接在稀疏LSTM网络上运行282 GOPS，对应密集的2.52 TOPS，处理完整的LSTM，语音识别功耗为41瓦。在语音识别基准的LSTM上进行评估，ESE比Core i7 5930k CPU和Pascal Titan X GPU实现快43倍和3倍。与CPU和GPU相比，它的能效分别提高了40倍和11.5倍。