在ChatGLM的模型微调训练中,我们摒弃了官方推荐的方案,而是选择了一种备受好评的LoRa方案。这个方案在显存的利用上表现得尤为出色,仅需24GB显存,即可轻松完成垂直领域大模型的训练任务。实验证明,这种方式不仅效果显著,而且对于资源受限、需要进行实验的同学来说,是一个理想的选择。