描述 该存储库将代码保存在一种新型的RNN模型中,用于处理顺序数据。 该模型计算每个先前处理步骤的递归加权平均值(RWA)。 通过这种方法,模型可以在序列中的任何地方形成直接连接。 这与仅使用先前处理步骤的传统RNN体系结构形成了鲜明对比。 RWA模型的详细说明已发布在的手稿中。 因为可以将RWA计算为运行平均值,所以不需要在每个处理步骤中都完全重新计算RWA。 分子和分母可以从上一步中保存。 因此,该模型可以像其他RNN模型(例如LSTM模型)那样进行缩放。 在每个文件夹中,将对RWA模型执行不同的任务。 将RWA模型的性能与LSTM模型进行比较。 发现RWA在大多数任务上的训练速度要快得多,至少要提高五倍。 随着序列变长,RWA模型的缩放比例会更好。 有关每个结果的详细信息,请参见上面列出的手稿。 注意:RWA模型未能在自然语言问题上产生竞争性结果。 下载 下载: Git: