Jun 1, 2023 · Falcon
The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only：仅用网络数据超越精选语料库的Falcon LLM数据集
该论文证明，经过适当过滤和去重的网络数据（仅来自CommonCrawl）足以训练出强大的大语言模型，甚至优于使用The Pile等精选语料库训练的模型。研究团队从CommonCrawl中提取了5万亿token，并公开了6000亿token的RefinedWeb数据集，以及基于该数据集训练的1.3B和7.5B参数的语言模型。
EVENT STORY
Development
- First ReportThe RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only：仅用网络数据超越精选语料库的Falcon LLM数据集arXiv cs.AI
- Current Assessment该研究对AI行业具有重大影响，表明高质量网络数据足以支撑大模型训练，降低了行业对昂贵精选数据集的依赖。这可能改变数据采购策略，推动更多公司采用网络数据清洗方案，并加速开源数据集的构建。Agent Pulse · analysis
论文挑战了传统观点，即大语言模型必须依赖精选的高质量语料库（如书籍、论文等）才能获得良好性能。通过系统性的过滤和去重，仅使用网络爬虫数据即可训练出性能更优的模型，且高质量网络数据仍然充足，不存在稀缺问题。
论文提出了一套完整的网络数据清洗流程，包括语言过滤、质量过滤（基于启发式规则和分类器）、以及精确去重（MinHash和模糊去重）。在5万亿token的CommonCrawl数据上应用该流程，最终得到RefinedWeb数据集。训练了1.3B和7.5B参数的Falcon模型，在多个零样本任务上超越了使用The Pile训练的模型。评估涵盖语言建模、问答、推理等任务，但未涉及多模态或代码生成。边界在于数据仅来自英文CommonCrawl，且模型规模较小。
该研究对AI行业具有重大影响，表明高质量网络数据足以支撑大模型训练，降低了行业对昂贵精选数据集的依赖。这可能改变数据采购策略，推动更多公司采用网络数据清洗方案，并加速开源数据集的构建。
建议数据工程团队评估RefinedWeb数据清洗流程，并考虑将其集成到内部数据管道中。对于模型训练，可优先使用公开的600B RefinedWeb子集进行实验，以降低数据采购成本。
未来验证信号包括：更大规模模型（如40B+）在RefinedWeb上的表现；多语言扩展；以及与其他数据混合策略的对比。