KLT算法已在多个领域得到成功的应用，其中特征点的排序是用来选择好的特征点跟踪的关键。针对传统排序算法计算耗时、实时性差的缺点，提出一种可并行的多层次归并排序算法并在FPGA中实现了其并行计算，同时分析了其周期精确的计算时间。结果表明该归并排序算法可以[O(N)]的时间复杂度完成特征点的排序，能够满足高清分辨率的图像/视频数据中KLT特征点排序的实时性要求。