TensorFlow VS PyTorch之学习率衰减

在训练神经网络时,有些情况下,需要对学习率进行调整。在这里分别介绍TensorFlow和PyTorch的一种方法。 tf.train.exponential_decay() TensorFlow提供了指数衰减法 tf.train.exponential_decay(learning_rate, global_step=global_step, decay_steps=100,decay_rate=0.99, staircase=True) 计算公式: learning_rate * decay_rate^(global_step / decay_steps) 参数 learning_rate