Jul 31, 2024 · Large Language Monkeys
Large Language Monkeys: Scaling Inference Compute with Repeated Sampling：推理时扩展：重复采样大幅提升LLM解题能力
2024年7月，来自Anthropic等机构的研究发现，通过重复采样（多次生成候选答案）可以显著提升LLM的解题覆盖率。在SWE-bench Lite上，DeepSeek-Coder-V2-Instruct从单次采样的15.9%提升至250次采样的56%，超越单次采样SOTA的43%。覆盖率与采样次数呈对数线性关系，可用指数幂律建模。
EVENT STORY
Development
- First ReportLarge Language Monkeys: Scaling Inference Compute with Repeated Sampling：推理时扩展：重复采样大幅提升LLM解题能力arXiv cs.AI
- Current Assessment该结果对AI编程助手、数学解题等产品有直接指导意义：通过增加推理计算量（如多次生成并验证），可显著提升产品效果。同时，也推动了推理基础设施的优化需求。Agent Pulse · analysis
该工作揭示了推理时计算扩展的潜力：通过简单的重复采样，LLM在可自动验证的任务（如编程、数学）上性能可大幅提升。这挑战了仅关注训练时扩展的范式，表明推理时计算投入同样重要。同时，对于无自动验证的任务，多数投票和奖励模型在数百样本后饱和，提示需要更好的选择方法。
研究在多个任务和模型上测试了重复采样策略，发现覆盖率与采样次数呈对数线性关系，并可用指数幂律拟合。在SWE-bench Lite上，250次采样使DeepSeek-Coder-V2-Instruct达到56%解决率，超过单次采样SOTA。对于无自动验证的任务，多数投票和奖励模型在数百样本后性能停滞。
该结果对AI编程助手、数学解题等产品有直接指导意义：通过增加推理计算量（如多次生成并验证），可显著提升产品效果。同时，也推动了推理基础设施的优化需求。
建议AI编程工具和数学解题产品团队立即部署重复采样策略，并优化验证流程。可考虑按任务难度动态调整采样次数，以平衡成本和效果。
关注更高效的候选答案选择方法（如过程奖励模型）以及推理时扩展与训练时扩展的协同效应。预计将出现针对推理优化的硬件和调度系统。