通过精确的电力负荷预测，智能电网可以提供比传统电网更高效、可靠和环保的电力服务。现实生活中，电力负荷数据往往存在着与历史数据较高的时间相关性，而传统的神经网络却很少关注它。近年来，循环神经网络（RNN）由于可以很好地捕获在时间上距离很远的数据之间的相关性，因此在电力负荷预测中受到越来越多的关注。但是，由于RNN特有的自循环结构，当采用随时间的反向传播算法（BPTT）进行网络训练时，随着网络层数的增加，很容易发生梯度消失等问题，从而导致预测精度下降。目前已有多种解决梯度消失问题的RNN架构，如长短期记忆网络（LSTM）和门控单元（GRU），但其复杂的内部结构会增加训练时长。为了解决上述问题，文中首先对目前流行的各种RNN架构进行了研究和分析，其次结合最新提出的Zoneout技术，设计了一种跨时间尺度的分模块循环神经网络架构，重点研究了隐藏层模块的随机更新策略，不仅有效解决了梯度消失问题，而且大幅度减少了待训练的网络参数。基于基准数据集和实际负载数据集的实验结果表明，该结构可以获得比目前流行的RNN架构更好的性能。