2023年11月28日 · TII
The Falcon Series of Open Language Models：Falcon系列开源语言模型，最大180B参数，性能接近GPT-4
Falcon系列包含7B、40B和180B参数的因果解码器模型，在超过3.5万亿token的高质量网络数据上训练，是公开记录中最大的预训练运行。Falcon-180B显著优于PaLM、Chinchilla、LLaMA 2和Inflection-1，性能接近PaLM-2-Large，且预训练和推理成本更低，成为与GPT-4和PaLM-2-Large并列的世界三大语言模型之一。
EVENT STORY
发展脉络
- 首次出现The Falcon Series of Open Language Models：Falcon系列开源语言模型，最大180B参数，性能接近GPT-4arXiv cs.AI
- 当前判断Falcon-180B的开源发布降低了顶级语言模型的门槛，可能推动企业级应用和学术研究，挑战闭源模型如GPT-4的市场地位。Agent Pulse · 分析
Falcon系列通过大规模高质量网络数据预训练和高效分布式训练工具，实现了接近GPT-4的性能，同时降低了成本，并开源模型和数据集以促进开放科学。
Falcon采用因果解码器架构，在AWS云基础设施上使用4096个A100 GPU通过自定义分布式训练代码库高效训练。评估显示Falcon-180B在多个基准上超越PaLM、Chinchilla和LLaMA 2，接近PaLM-2-Large。模型和600B token的Web数据集以宽松许可证开源。
Falcon-180B的开源发布降低了顶级语言模型的门槛，可能推动企业级应用和学术研究，挑战闭源模型如GPT-4的市场地位。
企业可考虑采用Falcon-180B进行私有化部署，利用其开源特性降低许可成本，并通过定制微调满足特定业务需求。
需关注Falcon-180B在更多下游任务上的社区验证、开源生态的扩展以及后续版本对多模态和指令微调的支持。