redundant41385

梯度修剪是深度网络训练中广泛使用的技术，通常是从优化角度出发：非正式地，它控制迭代的动态，从而将收敛速度提高到局部最小值。在最近的一系列工作中，这种直觉已经变得很精确，这表明合适的削波比香草梯度下降能产生明显更快的收敛。.. 在本文中，我们提出了一种用于研究梯度削波的新透镜，即鲁棒性：非正式地，人们