基于高阶正交幅度调制(QAM)和大线宽相干光正交频分复用(CO-OFDM)系统, 提出了一种在时域进行无迹卡尔曼滤波(UKF)的相位噪声补偿算法。该算法在接收端基于训练符号频域卡尔曼滤波实现信道均衡, 用较小的频域导频数据开销进行频域扩展卡尔曼滤波, 先补偿公共相位误差(CPE)噪声, 然后将CPE噪声补偿之后的数据在时域进行载波间干扰(ICI)相位噪声粗补偿。对相位噪声粗补偿后的频域数据进行预判决, 结合接收端原始时域数据, 在时域对判决后的数据进行UKF以实现ICI相位噪声的精细补偿。对精细补偿之后的频域数据再进行相位噪声粗补偿并进行迭代运算, 极大地提高了相位噪声的补偿效果。对50 Gb