2023年9月19日 · Baichuan
Baichuan 2: Open Large-scale Language Models：百川2开源大语言模型，中英文能力领先
百川智能发布Baichuan 2系列大语言模型，包含7B和13B参数规模，从零训练于2.6万亿tokens。在MMLU、CMMLU、GSM8K、HumanEval等公开基准上匹配或超越同尺寸开源模型，并在医疗、法律等垂直领域表现优异。所有预训练模型检查点将开源。
EVENT STORY
发展脉络
- 首次出现Baichuan 2: Open Large-scale Language Models：百川2开源大语言模型，中英文能力领先arXiv cs.AI
- 当前判断Baichuan 2的开源策略将加速大模型在中文互联网和垂直行业的应用，尤其利好医疗、法律等需要专业知识的领域。其与同尺寸模型的竞争可能推动开源生态的多元化，降低企业对闭源模型的依赖。Agent Pulse · 分析
Baichuan 2是百川智能推出的第二代开源大语言模型，通过2.6万亿tokens的多语言预训练，在通用和垂直领域均达到领先水平。其开源策略降低了企业部署门槛，尤其适合中文场景和行业定制。
Baichuan 2采用标准Transformer架构，训练数据包含中英文及多语言语料，总量2.6万亿tokens。模型在MMLU（英文知识）、CMMLU（中文知识）、GSM8K（数学推理）、HumanEval（代码生成）等基准上表现优异，与Llama 2等开源模型相当或更优。在医疗和法律领域，通过领域数据微调可进一步提升性能。模型权重完全开源，支持研究社区复现和二次开发。
Baichuan 2的开源策略将加速大模型在中文互联网和垂直行业的应用，尤其利好医疗、法律等需要专业知识的领域。其与同尺寸模型的竞争可能推动开源生态的多元化，降低企业对闭源模型的依赖。
企业可基于Baichuan 2开源权重进行私有化部署，用于智能客服、文档分析、代码辅助等场景。建议优先在中文为主的业务中试用，并评估其在特定垂直领域的微调成本与收益。
后续需关注模型在更多中文基准（如CLUE）上的表现，以及社区基于开源权重开发的领域微调模型效果。同时，模型的安全性和偏见控制也是重要验证方向。