efficiency_densenet_pytorch DenseNets的PyTorch> = 1.0实现,已优化以节省GPU内存。 最近更新 现在可以在PyTorch 1.0上使用! 它使用检查点功能,使此代码更有效!!! 动机 虽然DenseNets在深度学习框架中很容易实现,但大多数实现(例如)往往需要大量内存。 特别是,通过批处理规范化和串联操作生成的中间特征图的数量随着网络深度的增加而平方增长。 值得强调的是,这不是DenseNets固有的属性,而是实现的属性。 此实现使用一种新的策略来减少DenseNets的内存消耗。 我们使用来计算Batch Norm和串联特征图。 这些中