通过对视频帧间的时域信息和帧内的空域信息的充分开发，提出一种任意视频对象检测与分割算法。初始的运动区域评估利用时间加权的时域帧窗，采用基于点的分割；而近似同质颜色亮度纹理区域利用区域之间的差异和区域内的相似，采用改进的分水岭分割和基于区域特征相似度的合并。时域和空域分割结果的合并基于多数原则。最后，分割结果的完善和修正基于时域的持续性和空域上的一致性标准。通过测试，提出的分割算法获得可靠的对象边界，而且通过调整少量参数，可以适应于室内和室外场景以及高速和低速运动物体。