通过在相位调制器上施加线性变化的调制信号来实现对光波频率的方波调制是目前谐振式微光学陀螺(RMOG)中普遍采用的调制方法。而实现理想的方波频率调制要求完全线性的调制波形,极大地增加了系统实现难度。研究了调制曲线非线性对谐振腔输出的影响,仿真计算了具有二阶和三阶非线性误差的调制曲线引起的谐振曲线偏移和畸变。分析了解调输出误差与调制曲线非线性度的关系。通过搭建RMOG实验系统,测试了实际产生三角波调制信号的高阶非线性系数以及陀螺输出的标度因数。实验验证了理论分析计算方法的正确性以及采用模拟三角波产生方法改善微光学陀螺中相位调制非线性的可行性。