针对大线宽和高阶圆形正交幅度调制(C-QAM)的相干光正交频分复用(CO-OFDM)系统,提出一种基于射频导频(RF-Pilot)和时域扩展卡尔曼滤波相结合的相位噪声补偿算法。该算法通过在接收端预设的RF-Pilot进行时域相位噪声粗补偿,并进行信道估计和均衡。再对信道均衡后的频域数据进行预判决,结合判决后的时域数据和信道均衡后的时域数据,进行扩展卡尔曼滤波,实现相位噪声的最终补偿。基于传输速率为50 Gb·s-1和传输距离为100 km的CO-OFDM系统在C-16QAM和C-32QAM两种调制格式下进行了算法的仿真验证。仿真结果表明,该算法相较于原RF-Pilot算法,具有较好的相位噪声补