深度学习作为一个领域的重大突破已经被证明是一个非常强大的工具在许多领域。我们是否应该把深度学习作为一切的关键?或者，我们应该抵制黑箱解决方案吗?在遥感社区中存在着一些有争议的观点。在本文中，我们分析了对遥感数据分析的深度学习的挑战，回顾了最近的进展，并提供了资源，使遥感的深度学习从一开始就非常简单。更重要的是，我们提倡遥感科学家将他们的专业知识带进深度学习，并将其作为一种隐含的一般模式，以应对气候变化和城市化等前所未有的大规模有影响的挑战。