一种混合数据训练的思路，针对金融领域NLP任务使用金融数据集FinPile和通用数据进行训练，构建了一个规模较小、表现优异的语言模型BloombergGPT。本文详细描述了BloombergGPT的架构、训练配置和在金融领域和通用LLM基准测试中的出色表现。同时，对于分词和位置编码也进行了针对金融领域的优化。BloombergGPT的训练方式、实践表现以及探讨的相关因素等方面也提供了有价值的启示。