为降低空时分级视频编码中自适应层间预测模式的计算复杂度，利用增强层中时域宏块相关性的特点，提出一种随时间等级变化的快速模式决策算法。该算法将参考宏块使用过的模式按照其率失真优化代价排序，选择其中代价较小的模式作为当前宏块的动态备选方案，从而有效地提高编码效率。在JSVM上的实验结果表明，同原有非优化决策算法相比，在PSNR平均降低0.0148dB、比特率增加0.55%的情况下，该优化算法使得平均编码时间减少21.67%。