大型的预训练语言模型可以编码大量的语言信息,但是却很难学习到数字推理之类的高级推理技巧,虽然现在也有很多涉及数字推理的模型,但是现有的模型都是使用专门的模块计算数值,并且将数值计算的空间限制在有限的范围内。这篇论文将数值推理技能引入语言模型中,通过生成大量的数值数据在语言模型上进行多任务训练,显著提高了在DROP上的表现(49.3->72.3 F1),和最新的SOTA性能相当;此外作者还将模型推广到了MWP(math word problem datasets),同时在标准的阅读理解任务上保持着高的性能。