微调语言模型（LM）已经在多个下游任务中展现出了卓越的性能，然而，随着LM规模的增大，反向传播所需的内存也呈现出不可忽视的增长。为了解决这一问题，我们在本研究中提出了一种内存高效的零阶优化器，命名为MeZO。MeZO采用经典的ZO-SGD方法进行就地操作，使得在微调LM时只需占用与推理相同的内存。我们进行了广泛的实验，覆盖了不同类型的模型（屏蔽和自回归LM）、不同规模的模型（高达66B）以及不同的下游任务（分类、多项选择和生成）。实验结果表明：（1）MeZO在性能上明显优于上下文学习和线性探测方法；（2）MeZO在多任务反向传播微调方面取得了与之相媲美的性能，最多可减少12倍的内存占用；（3）MeZO兼容全参数和参数高效调优技术，如LoRA和前缀调优；（4）MeZO能够有效地优化不可微分的目标，如最大化精度或F1值。理论上的发现支持我们的实证结果，强调了充分的预训练和任务提示对MeZO成功微调大型模型的关键性作用。