分层次B帧是一种基于闭环运动补偿的时域可伸缩性视频编码，其特点是解码重构后的B帧可作为参考帧。针对分层次B帧的特点，提出一种新的B帧双向预测直接模式。通过挖掘相邻帧间的时域相关性，利用B帧作为参考帧时的前后向运动矢量进行时域缩放，精细当前块在直接模式下的运动矢量精度。仿真实验证明，该方法相对于传统的编码方式，编码性能增益平均提高0.46dB。