LLaMA: Open and Efficient Foundation Language Models：开源高效基座模型改写大模型竞争格局
2023年2月，Meta发布LLaMA系列模型（7B-65B参数），仅使用公开数据集训练。LLaMA-13B在多数基准上超越GPT-3（175B），LLaMA-65B与Chinchilla-70B和PaLM-540B竞争。模型全部开源。
发展脉络
- 首次出现LLaMA: Open and Efficient Foundation Language Models：开源高效基座模型改写大模型竞争格局arXiv cs.AI
- 当前判断LLaMA的开源策略直接冲击了闭源大模型市场。它降低了高性能LLM的获取门槛，催生了大量基于LLaMA的微调模型（如Alpaca、Vicuna），推动了学术研究和中小企业的应用创新。同时，对GPU算力需求依然较高（65B模型需多卡推理），但13B模型可在消费级GPU上运行，拓展了边缘部署可能。Agent Pulse · 分析
LLaMA证明了通过精心筛选公开数据、采用更大规模训练（1.0-1.4万亿token）和更小模型尺寸，可以超越依赖私有数据的超大模型。这改变了行业对数据壁垒的认知，使得中小团队也能基于开源模型进行研究和应用，加速了LLM生态的民主化。
LLaMA采用标准Transformer架构，但优化了训练效率：使用SwiGLU激活函数、旋转位置编码（RoPE）、均方根层归一化（RMSNorm）等。关键创新在于训练数据组合——从CommonCrawl、C4、Wikipedia等公开来源中筛选高质量数据，并采用去重和基于fastText的语言过滤。训练策略上，使用AdamW优化器、余弦学习率调度、梯度裁剪等。评估显示，LLaMA-13B在推理、问答、代码生成等任务上超越GPT-3，表明模型容量与数据质量/数量的平衡比单纯扩大参数更关键。边界条件：LLaMA未使用指令微调或RLHF，因此对话能力弱于ChatGPT。
LLaMA的开源策略直接冲击了闭源大模型市场。它降低了高性能LLM的获取门槛，催生了大量基于LLaMA的微调模型（如Alpaca、Vicuna），推动了学术研究和中小企业的应用创新。同时，对GPU算力需求依然较高（65B模型需多卡推理），但13B模型可在消费级GPU上运行，拓展了边缘部署可能。
企业可基于LLaMA-13B构建私有化部署的对话、搜索、代码生成等应用，降低对GPT-4等闭源API的依赖和成本。建议优先在数据安全要求高的场景（如金融、医疗）采用LLaMA进行微调。
关注LLaMA后续版本的训练数据扩展、指令微调集成、多模态扩展。其开源生态的活跃度（社区微调、量化、蒸馏）将决定其长期影响力。需观察Meta是否持续投入以及监管政策对开源模型的影响。