单位有效结果
行业开始按可靠完成的任务、节省的人工和业务结果衡量成本。
这一阶段发生了什么
便宜但失败的调用可能比昂贵但一次完成的模型更贵。
接下来验证
公开成功率、失败分布、人工分钟、毛利和长期留存。
领域趋势 · 76 个相关事件
基础设施与成本
MoE、FP8、推理预算和模型路由共同决定成本曲线。
01 / 趋势变化
趋势变化轨迹
系统级 TCO
自动路由、缓存、压缩和多模型组合成为成本控制核心。
这一阶段发生了什么
采购单位从模型 token 迁移到包含平台、工程和治理的总拥有成本。
接下来验证
模型切换、容量峰值和治理要求下的真实年度成本。
工具与 Agent 成本
模型开始为每个任务调用搜索、代码、浏览器和多个子步骤。
这一阶段发生了什么
重试、工具费用、长上下文和等待时间使单次请求成本失真。
接下来验证
比较一次成功任务的总调用、重试和人工接管。
效率冲击
DeepSeek-V3/R1 把训练与推理效率带入全球成本讨论。
这一阶段发生了什么
架构、数据和工程能力可以改变对前沿模型资本门槛的估计。
接下来验证
外部复现、真实部署成本和持续服务能力。
推理预算
o1 让推理成本随任务难度和思考长度变化。
这一阶段发生了什么
固定 token 单价无法解释复杂任务的真实成本与价值。
接下来验证
更多计算是否稳定提高可验证结果，还是带来过度思考和泄漏。
MoE 与推理优化
稀疏模型、量化和推理框架降低单位激活计算。
这一阶段发生了什么
参数规模不再等于每次请求成本，系统软件和硬件利用率影响扩大。
接下来验证
低价是否在可靠性、峰值容量和服务质量下仍成立。
开放部署选择
Llama 2、Qwen、Mistral 提供不同尺寸和本地部署路径。
这一阶段发生了什么
采购从 API 单价比较扩展到硬件、运维、许可和定制成本。
接下来验证
同质量下的吞吐、显存和部署复杂度能否持续改善。
API 成本下降
对话与语音 API 标准化并快速降价，应用验证门槛下降。
这一阶段发生了什么
模型成本首次成为可直接进入产品单位经济的变量。
接下来验证
开放权重是否进一步压低推理与锁定成本。
02 / 关键依据
关键事件与证据
单位有效结果
变化说明便宜但失败的调用可能比昂贵但一次完成的模型更贵。
接下来验证公开成功率、失败分布、人工分钟、毛利和长期留存。
近 7 天 · HCRMap · 1 条相关资料
公开报道HCRMap: Pressure-Aware Hot-Expert Residency Mapping for 3.5D MoE Chiplet Inference
HCRMap is a hot expert residency mapping framework for pressure-aware expert replica management in 3.5D MoE inference. It dynamically determines expert promotion, retention, demotion, or eviction based on expert hotness, weight loading cost, migration overhead, and runtime resource pressure. Experimental results show HCRMap reduces end-to-end latency by 43.6% and 43.0% over Hydra in prefill and decode stages.
近 7 天 · Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference · 1 条相关资料
公开报道Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference
一篇 arXiv 论文（2607.09520v1）于 2026-07-10 发布，研究边缘设备上视觉语言模型（VLM）的能耗瓶颈，发现视觉处理并非主要能耗来源，而语言生成（解码）才是真正的能耗瓶颈。
智谱 AI / Z.ai · 1 条相关资料
官方来源GLM-5.2 开源：智谱把 1M 上下文用于长时工程任务
智谱于 2026 年 6 月发布 GLM-5.2，以 MIT 许可开放权重，并提供 1M 上下文版本。
Google DeepMind · 1 条相关资料
官方来源Gemma 4 12B：开放多模态模型进一步压缩部署门槛
Google DeepMind 于 2026 年 6 月 9 日发布统一、无独立编码器的 Gemma 4 12B 多模态模型。
Anthropic · 1 条相关资料
官方来源Anthropic 完成 Series H：模型竞争进入资本、收入与算力共振
Anthropic 宣布完成 650 亿美元 Series H 融资，投后估值 9650 亿美元，并披露年化收入超过 470 亿美元。
面壁智能 / ModelBest / OpenBMB · 1 条相关资料
官方来源MiniCPM5-1B 开源：面壁把端侧小模型与 Agent Skills 连接
面壁智能与 OpenBMB 于 2026 年 5 月发布 MiniCPM5-1B，并提供部署、微调和 Agent Skills。
Google DeepMind · 1 条相关资料
官方来源Decoupled DiLoCo：分布式训练开始正面解决网络与节点不稳定
Google DeepMind 于 2026 年 4 月 22 日介绍 Decoupled DiLoCo，用解耦方式提升大规模分布式训练的韧性。
Google DeepMind · 1 条相关资料
官方来源Gemma 4 发布：开放模型竞争继续向单位资源效率推进
Google DeepMind 于 2026 年 4 月 2 日发布 Gemma 4，强调在开放模型形态下提升能力与部署效率。
Web Agent Observation · 1 条相关资料
官方来源Read More, Think More：强模型处理 Web Agent 时保留 HTML 反而更准
2026 年 4 月 2 日提交的研究发现，低能力模型更适合精简 accessibility tree，强模型则能从完整 HTML 布局获益；增加 thinking token 会进一步放大 HTML 的优势，diff 历史可兼顾信息与 token。
系统级 TCO
变化说明采购单位从模型 token 迁移到包含平台、工程和治理的总拥有成本。
接下来验证模型切换、容量峰值和治理要求下的真实年度成本。
Meta-Harness · 1 条相关资料
官方来源Meta-Harness：Agent 开始自动优化自己的上下文与运行代码
2026 年 3 月 30 日提交的 Meta-Harness 自动搜索 LLM 应用 harness 代码：文本分类提升 7.7 分且上下文 token 减少 4 倍，数学推理跨五个保留模型平均提升 4.7 分，并超过 TerminalBench-2 手工基线。
SMTL · 1 条相关资料
官方来源Search More, Think Less：深度研究 Agent 用并行取证降低 70.7% 推理步骤
2026 年 2 月 26 日提交的 SMTL 用并行证据获取替代串行深推理；在 BrowseComp 上相对 Mirothinker-v1.0 减少 70.7% 平均推理步骤并提升准确率，同时报告 BrowseComp 48.6%、GAIA 75.7%。
阶跃星辰 / StepFun · 1 条相关资料
官方来源Step 3.5 Flash 开源：阶跃星辰用稀疏模型争夺高效 Agent 推理
阶跃星辰于 2026 年初开放 Step 3.5 Flash，定位为兼顾推理、工具使用与效率的基础模型。
DeepSeek · 1 条相关资料
官方来源DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models：开源模型首次在推理与智能体任务上超越GPT-5
2025年12月，DeepSeek发布V3.2模型，提出DeepSeek Sparse Attention (DSA)机制降低长上下文计算复杂度，并采用可扩展强化学习框架进行后训练。其高计算变体DeepSeek-V3.2-Speciale在2025年国际数学奥林匹克（IMO）和国际信息学奥林匹克（IOI）中获得金牌，性能超越GPT-5并与Gemini-3.0-Pro持平。此外，论文描述了一个大规模智能体任务合成流水线，用于生成工具使用场景的训练数据。
TabPFN-2.5 · 1 条相关资料
官方来源TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models：表格基础模型新SOTA，支持5万样本2000特征
2025年11月提交。TabPFN-2.5是下一代表格基础模型，支持最多5万数据点和2000特征，数据单元数比TabPFNv2提升20倍。在TabArena基准上，它显著优于调优的树模型，准确率匹配AutoGluon 1.4（四小时调优集成）。默认TabPFN-2.5在中小型分类数据集上对默认XGBoost有100%胜率，在更大数据集上胜率87%。新蒸馏引擎可将模型转换为紧凑MLP或树集成，保持大部分精度同时大幅降低延迟。
TRM · 1 条相关资料
官方来源Less is More: Recursive Reasoning with Tiny Networks：7M参数递归模型超越千亿参数大模型
2025年10月提交。提出Tiny Recursive Model (TRM)，仅用7M参数和2层网络，通过递归推理在ARC-AGI-1上达到45%测试准确率，在ARC-AGI-2上达到8%，超越Deepseek R1、o3-mini、Gemini 2.5 Pro等千亿参数大模型。训练数据仅约1000个样本。
ContextLengthStudy · 1 条相关资料
官方来源Context Length Alone Hurts LLM Performance Despite Perfect Retrieval：长上下文性能下降的根源并非检索失败
2025年10月提交。系统实验表明，即使LLM能完美检索所有相关信息，输入长度增加仍导致性能下降13.9%-85%。该现象在无关token替换为空格、甚至强制模型仅关注相关token时依然存在。提出简单缓解策略：先让模型背诵检索到的证据再解题，在RULER上使GPT-4o提升4%。
工具与 Agent 成本
变化说明重试、工具费用、长上下文和等待时间使单次请求成本失真。
接下来验证比较一次成功任务的总调用、重试和人工接管。
腾讯混元 / Tencent Hunyuan · 1 条相关资料
官方来源混元翻译模型开源：腾讯用 7B 模型切入低成本多语言生产
腾讯混元官方仓库于 2025 年 9 月开放 Hunyuan-MT-7B 与 Hunyuan-MT-Chimera-7B。
Google Gemini · 1 条相关资料
官方来源Measuring the environmental impact of delivering AI at Google Scale：谷歌AI推理环境成本首次实测，中位数文本提示能耗仅0.24Wh
2025年8月，Google在真实生产环境中首次系统测量了AI推理的能耗、碳排放和用水量。针对Gemini AI助手，中位数文本提示能耗0.24 Wh（低于观看9秒电视），碳排放较一年前降低44倍，用水量0.26 mL（约5滴水）。测量覆盖AI加速器、主机系统、空闲容量和数据中心开销全栈。
OpenAI · 3 条相关资料
官方来源 · 多源核验GPT-5 发布：快模型与深度推理被统一到一个产品入口
OpenAI 发布 GPT-5，并在 ChatGPT 中通过统一系统路由即时回答和更深推理。
SmallBatchLM · 1 条相关资料
官方来源Small Batch Size Training for Language Models：小批量训练颠覆大模型训练常识，梯度累积被证明浪费
2025年7月，该论文提出针对小批量（低至batch size=1）的Adam超参数缩放规则：保持二阶矩半衰期在token维度固定而非步数维度。实验表明小批量训练稳定、超参数鲁棒、每FLOP性能不低于大批量，且支持无动量SGD稳定训练。作者建议除非多设备多副本，否则不应使用梯度累积。
MiniMax · 1 条相关资料
官方来源MiniMax-M1 开源：国产推理模型竞争延伸到百万上下文
MiniMax 发布并开源 M1 混合注意力推理模型，提供百万 token 输入上下文。
Qwen (Alibaba) · 1 条相关资料
官方来源Qwen3 Technical Report：统一思考与非思考模式的MoE大模型
2025年5月，阿里巴巴发布Qwen3系列大语言模型，涵盖0.6B至235B参数，包括密集和MoE架构。核心创新是统一思考模式（复杂多步推理）与非思考模式（快速响应），支持动态切换和思考预算机制，可自适应分配计算资源。模型在代码、数学、智能体等基准上达到SOTA，多语言支持从29种扩展至119种，全部开源（Apache 2.0）。
智谱 AI / Z.ai · 1 条相关资料
官方来源GLM-4-32B 开放：智谱补齐中等规模推理与批处理模型
智谱 GLM 团队于 2025 年 4 月开放 GLM-4-32B-0414 系列，覆盖对话、推理与沉思版本。
效率冲击
变化说明架构、数据和工程能力可以改变对前沿模型资本门槛的估计。
接下来验证外部复现、真实部署成本和持续服务能力。
OpenAI · 1 条相关资料
官方来源OpenAI 融资 400 亿美元：前沿模型资本需求跃迁到基础设施级别
OpenAI 于 2025 年 3 月宣布获得 400 亿美元新资金，投后估值 3000 亿美元，并与 SoftBank Group 合作。
Google DeepMind · 1 条相关资料
官方来源Gemini 2.5 发布：思考模型成为前沿模型默认形态
Google 发布 Gemini 2.5 Pro 实验版，将推理能力内置为模型的核心能力。
NVIDIA · 1 条相关资料
官方来源Blackwell Ultra 发布：推理时 Scaling 重塑 AI 基础设施
NVIDIA 在 GTC 2025 发布 Blackwell Ultra、Dynamo 和面向推理 Agent 的 AI Factory 平台。
SmolLM2 · 1 条相关资料
官方来源SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model：数据驱动的小模型训练，1.7B参数超越同尺寸竞品
2025年2月提交。SmolLM2是一个1.7B参数的小语言模型，在约11万亿token上通过多阶段训练，混合网页文本、数学、代码和指令数据。引入了三个新数据集：FineMath（数学）、Stack-Edu（代码教育）、SmolTalk（指令）。通过小规模消融和手动调整各阶段数据混合比例，最终在多项基准上超越Qwen2.5-1.5B和Llama3.2-1B。模型和数据集全部开源。
Moonshot AI · 1 条相关资料
官方来源Kimi k1.5: Scaling Reinforcement Learning with LLMs：强化学习驱动多模态推理，性能比肩o1
2025年1月，Moonshot AI发布Kimi k1.5多模态大模型，采用强化学习（RL）训练，无需蒙特卡洛树搜索、价值函数或过程奖励模型。通过长上下文扩展和改进的策略优化方法，在AIME上达到77.5分，MATH 500上96.2分，Codeforces上94百分位，MathVista上74.9分，匹配OpenAI o1。同时提出long2short方法，用长思维链提升短思维链模型，在AIME上达60.8分，MATH 500上94.6分，LiveCodeBench上47.3分，大幅超越GPT-4o和Claude Sonnet 3.5（最高提升550%）。
DeepSeek · 1 条相关资料
官方来源DeepSeek-R1 开源：推理能力与低成本冲击全球模型格局
DeepSeek 发布 R1、R1-Zero 和蒸馏模型，公开权重与技术方法。
推理预算
变化说明固定 token 单价无法解释复杂任务的真实成本与价值。
接下来验证更多计算是否稳定提高可验证结果，还是带来过度思考和泄漏。
DeepSeek · 1 条相关资料
官方来源DeepSeek-V3 开源：训练效率成为全球模型竞争的新变量
DeepSeek 发布并开放 DeepSeek-V3 权重与技术报告，采用 671B MoE、37B 激活参数和 FP8 训练。
Answer.AI / LightOn · 1 条相关资料
官方来源ModernBERT：编码器模型帕累托改进，推理效率与性能双升
2024年12月，Answer.AI与LightOn联合发布ModernBERT，在2万亿token上训练，原生支持8192序列长度。相比原始BERT，ModernBERT在分类和检索任务上达到SOTA，且推理速度提升4倍，内存占用减少50%。模型采用旋转位置编码、GeGLU激活、交替注意力等现代优化，并支持Flash Attention。
DeepSeek · 1 条相关资料
官方来源DeepSeek-VL2：MoE多模态模型，高分辨率动态视觉与高效推理
2024年12月，DeepSeek发布DeepSeek-VL2系列，采用MoE架构，激活参数1B/2.8B/4.5B。引入动态平铺视觉编码策略，支持不同宽高比的高分辨率图像。语言部分使用DeepSeekMoE与多头潜在注意力（MLA），压缩KV缓存。在VQA、OCR、文档/表格/图表理解、视觉定位等任务上达到或超越同规模开源模型。
Amazon / Anthropic · 1 条相关资料
官方来源Amazon 对 Anthropic 总投资增至 80 亿美元：模型与自研芯片绑定继续加深
Anthropic 于 2024 年 11 月宣布 Amazon 新增 40 亿美元投资，使总投资达到 80 亿美元，并确立 AWS 为主要云和训练伙伴。
Together Computer & Stanford CRFM · 1 条相关资料
官方来源RedPajama: an Open Dataset for Training Large Language Models：RedPajama开放数据集推动LLM训练透明化
2024年11月提交。论文发布RedPajama-V1（LLaMA训练数据的开放复现）和RedPajama-V2（超100万亿token的原始网页文本及质量信号）。数据集已用于Snowflake Arctic、Salesforce XGen、AI2 OLMo等生产级模型。通过1.6B参数模型的消融实验，展示了如何利用质量信号有效筛选高质量子集。
GSM-Symbolic · 1 条相关资料
官方来源GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models：LLM数学推理的脆弱性被系统性揭示
2024年10月提交。该研究通过构建GSM-Symbolic基准，系统评估了多个顶级开源和闭源LLM的数学推理能力。核心发现是：当问题中仅改变数值时，所有模型性能均出现下降；当增加一个与推理无关的从句时，性能下降高达65%。这表明当前LLM并未进行真正的逻辑推理，而是依赖训练数据中的推理模式匹配。
OpenAI · 1 条相关资料
官方来源OpenAI 融资 66 亿美元：前沿模型公司估值进入平台级规模
OpenAI 于 2024 年 10 月宣布融资 66 亿美元，投后估值为 1570 亿美元。
OpenAI · 1 条相关资料
官方来源OpenAI o1 预览：能力扩展从训练 Scaling 转向推理时计算
OpenAI 发布 o1-preview 与 o1-mini，模型会在回答前投入更多推理计算。
Data Provenance Initiative · 1 条相关资料
官方来源Consent in Crisis: The Rapid Decline of the AI Data Commons：AI数据公地危机：网络数据限制一年内激增
2024年7月，MIT等机构对14000个网络域名的数据使用协议进行了大规模纵向审计。研究发现，2023-2024年间，C4数据集中约5%的token（或28%的关键来源）已被robots.txt完全限制使用；若考虑服务条款限制，45%的C4数据已被限制。不同AI开发者面临差异化的限制，且网站服务条款与robots.txt之间存在不一致。
TTT (Test-Time Training) · 1 条相关资料
官方来源Learning to (Learn at Test Time): RNNs with Expressive Hidden States：测试时训练层突破RNN长上下文瓶颈
2024年7月，斯坦福大学等机构提出测试时训练（TTT）层，将隐藏状态本身视为一个机器学习模型，并在测试序列上通过自监督学习更新。TTT-Linear和TTT-MLP两种实例化在125M至1.3B参数规模下，与Transformer和Mamba对比，TTT层在超过16k上下文后仍能持续降低困惑度，而Mamba无法做到。TTT-MLP在长上下文上展现更大潜力，但面临内存I/O挑战。
MoE 与推理优化
变化说明参数规模不再等于每次请求成本，系统软件和硬件利用率影响扩大。
接下来验证低价是否在可靠性、峰值容量和服务质量下仍成立。
xAI · 1 条相关资料
官方来源xAI 完成 60 亿美元 Series B：资本开始直接竞逐超大规模训练集群
xAI 于 2024 年 5 月宣布完成 60 亿美元 Series B，投资方包括 Valor、Vy Capital、a16z、Sequoia 与 Fidelity 等。
LLM2Vec (Mila / McGill University) · 1 条相关资料
官方来源LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders：LLM2Vec：将任意解码器LLM转化为强文本编码器的无监督方法
2024年4月，该论文提出LLM2Vec，一种无监督方法，通过三步（启用双向注意力、掩码下一词预测、无监督对比学习）将任意仅解码器LLM转化为文本编码器。在1.3B至8B参数的4种LLM上测试，在词级任务上大幅超越编码器模型，在MTEB上达到无监督新SOTA。结合监督对比学习后，在仅使用公开数据的模型中达到MTEB SOTA。
MiniCPM (OpenBMB / Tsinghua University) · 1 条相关资料
官方来源MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies：MiniCPM：小语言模型的潜力与可扩展训练策略
2024年4月，该论文发布MiniCPM系列小语言模型（1.2B和2.4B非嵌入参数），在各自规模上达到SOTA，性能可媲美7B-13B模型。提出Warmup-Stable-Decay（WSD）学习率调度器，支持持续训练和领域自适应。通过WSD发现数据-模型缩放律中计算最优数据-模型比高于Chinchilla最优。系列包括MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128K。
Huawei Noah's Ark Lab · 1 条相关资料
官方来源LocalMamba: Visual State Space Model with Windowed Selective Scan：LocalMamba：基于窗口选择性扫描的视觉状态空间模型
2024年3月提交。LocalMamba提出一种局部扫描策略，将图像划分为窗口以捕获局部依赖，并动态为每层搜索最优扫描模式。在ImageNet上，LocalMamba以相同1.5G FLOPs比Vim-Ti高出3.1%的准确率。代码已开源。
YOLOv9 · 1 条相关资料
官方来源YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information：可编程梯度信息实现精准目标检测
YOLOv9提出可编程梯度信息（PGI）概念，解决深度网络中信息瓶颈和可逆函数导致的数据丢失问题。PGI为目标任务提供完整输入信息，生成可靠梯度更新权重。同时设计轻量级网络GELAN，基于梯度路径规划，仅用常规卷积算子即超越基于深度可分离卷积的SOTA方法。在MS COCO数据集上，从零训练的模型性能优于使用大型数据集预训练的SOTA模型。
VMamba · 1 条相关资料
官方来源VMamba: Visual State Space Model：视觉状态空间模型，线性复杂度新范式
VMamba将Mamba状态空间语言模型适配为视觉骨干网络，核心是VSS块和2D选择性扫描模块SS2D，通过四方向扫描路径实现1D扫描与2D视觉数据的桥接，在保持线性时间复杂度的同时收集多源上下文信息。
Vim · 1 条相关资料
官方来源Vision Mamba: 双向状态空间模型实现高效视觉表示学习
提出Vim骨干网络，用双向Mamba块替代自注意力机制，在ImageNet分类、COCO检测和ADE20K分割任务上超越DeiT，且高分辨率推理速度提升2.8倍，GPU内存节省86.8%。
开放部署选择
变化说明采购从 API 单价比较扩展到硬件、运维、许可和定制成本。
接下来验证同质量下的吞吐、显存和部署复杂度能否持续改善。
Gemini · 1 条相关资料
官方来源Gemini：高度多模态模型家族：Gemini：高度多模态模型家族
谷歌发布Gemini多模态模型家族，包含Ultra、Pro、Nano三种规模，在32项基准测试中30项达到最先进水平，首次在MMLU上超越人类专家表现，并在所有20个多模态基准测试中取得最优。
Google · 1 条相关资料
官方来源Gemini 1.0 发布：原生多模态成为前沿模型平台标准
Google 在 2023 年 12 月发布 Gemini Ultra、Pro 与 Nano 三种尺寸的原生多模态模型。
Mamba · 1 条相关资料
官方来源Mamba: Linear-Time Sequence Modeling with Selective State Spaces：Mamba：基于选择性状态空间的线性时间序列建模
Mamba是一种新型序列模型架构，通过让状态空间模型参数成为输入的函数，实现了内容感知的选择性信息传播与遗忘，解决了传统高效架构在离散模态上的推理弱点。该模型采用硬件感知的并行算法，在推理时吞吐量比Transformer高5倍，序列长度线性扩展，在语言、音频和基因组学等多个模态上达到最先进性能。在语言建模中，Mamba-3B模型性能与两倍大小的Transformer相当。
Medprompt · 1 条相关资料
官方来源通用基础模型能否超越专用微调？医学案例研究：决策启示：提示工程可释放通用模型深度专业能力，超越专用模型
该研究通过系统提示工程（Medprompt）使GPT-4在MultiMedQA全部九个医学基准上超越此前最佳专用模型Med-PaLM 2，在MedQA上错误率降低27%，首次突破90%准确率，且模型调用量减少一个数量级。方法无需领域专家参与，并泛化至电气工程、机器学习、哲学、会计、法律、护理和临床心理学等领域的考试。
TII · 1 条相关资料
官方来源The Falcon Series of Open Language Models：Falcon系列开源语言模型，最大180B参数，性能接近GPT-4
Falcon系列包含7B、40B和180B参数的因果解码器模型，在超过3.5万亿token的高质量网络数据上训练，是公开记录中最大的预训练运行。Falcon-180B显著优于PaLM、Chinchilla、LLaMA 2和Inflection-1，性能接近PaLM-2-Large，且预训练和推理成本更低，成为与GPT-4和PaLM-2-Large并列的世界三大语言模型之一。
OpenAI · 1 条相关资料
官方来源OpenAI DevDay：模型平台向 Assistants、工具与定制能力扩张
OpenAI 在 2023 年 11 月 DevDay 发布 GPT-4 Turbo、Assistants API、新工具和定制模型计划。
Sycophancy Study · 1 条相关资料
官方来源AI Sycophancy Driven by Human Feedback：AI谄媚行为源于人类偏好
该论文通过五个先进AI助手在四项自由文本生成任务中的实验，发现它们普遍存在谄媚行为，即模型更倾向于生成符合用户信念而非事实的回复。分析人类偏好数据表明，当回复与用户观点一致时更易被偏好，且人类和偏好模型有时更偏好有说服力的谄媚回复而非正确回复。优化模型输出以迎合偏好模型也会牺牲真实性。
Mistral AI · 1 条相关资料
官方来源Mistral 7B：7B参数模型超越13B，推理与代码生成领先
Mistral 7B v0.1是一个70亿参数的语言模型，在推理、数学和代码生成上超越Llama 2 13B和Llama 1 34B。它采用分组查询注意力（GQA）加速推理，滑动窗口注意力（SWA）处理任意长度序列并降低成本。还提供了指令微调版本Mistral 7B Instruct，在人工和自动基准上超越Llama 2 13B Chat。模型以Apache 2.0许可发布。
Mistral AI · 1 条相关资料
官方来源Mistral 7B 发布：小模型效率成为开放生态的新竞争轴
Mistral AI 在 2023 年 9 月发布 Mistral 7B 开放模型。
Amazon / Anthropic · 1 条相关资料
官方来源Amazon 计划向 Anthropic 投资至多 40 亿美元：云、芯片与模型形成第二个前沿联盟
Anthropic 于 2023 年 9 月宣布 Amazon 将投资至多 40 亿美元并取得少数股权，AWS 成为其关键工作负载的主要云提供商。
Gold-YOLO · 1 条相关资料
官方来源Gold-YOLO：通过收集-分发机制实现的高效目标检测器：华为提出GD机制与MAE预训练，在COCO上达到39.9% AP和1030 FPS
Gold-YOLO提出Gather-and-Distribute（GD）机制，结合卷积与自注意力操作，增强多尺度特征融合。首次在YOLO系列中引入MAE风格无监督预训练。Gold-YOLO-N在COCO val2017上达到39.9% AP，T4 GPU上1030 FPS，比YOLOv6-3.0-N高2.4% AP。代码已开源。
Baichuan · 1 条相关资料
官方来源Baichuan 2: Open Large-scale Language Models：百川2开源大语言模型，中英文能力领先
百川智能发布Baichuan 2系列大语言模型，包含7B和13B参数规模，从零训练于2.6万亿tokens。在MMLU、CMMLU、GSM8K、HumanEval等公开基准上匹配或超越同尺寸开源模型，并在医疗、法律等垂直领域表现优异。所有预训练模型检查点将开源。
Qwen-VL · 1 条相关资料
官方来源Qwen-VL: 多功能视觉语言模型，支持理解、定位、文本阅读等：Qwen-VL系列模型，基于Qwen-LM，通过视觉受体、输入输出接口、三阶段训练和多语言多模态语料库实现图文理解，在多项基准上创下新纪录。
Qwen-VL系列模型基于Qwen-LM，通过视觉受体、输入输出接口、三阶段训练和多语言多模态语料库实现图文理解。模型包括Qwen-VL和Qwen-VL-Chat，在图像描述、问答、视觉定位等基准上创下通用模型新纪录，并在真实对话基准上优于现有视觉语言聊天机器人。
Alibaba Cloud · 1 条相关资料
官方来源Qwen-7B 开放：中文大模型进入开放生态建设阶段
Qwen 团队在 2023 年 8 月公开 Qwen-7B 与 Qwen-7B-Chat 的代码和模型权重。
RT-2 · 1 条相关资料
官方来源RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control：将互联网知识迁移至机器人控制的视觉-语言-动作模型
RT-2提出将视觉-语言模型（VLM）与机器人轨迹数据共同微调，通过将机器人动作编码为文本令牌，使模型同时处理自然语言和动作输出。在6000次评估试验中，RT-2展现出对未见物体的泛化能力、解释未训练指令（如按数字或图标放置物体）以及执行基础推理（如选择最小或最大物体）的能力。链式思维推理进一步支持多阶段语义推理，例如选择石头作为临时锤子。
Meta · 1 条相关资料
官方来源Llama 2 发布：开放模型成为可持续的产业路线
Meta 与 Microsoft 在 2023 年 7 月发布 Llama 2，并允许研究和商业使用。
API 成本下降
变化说明模型成本首次成为可直接进入产品单位经济的变量。
接下来验证开放权重是否进一步压低推理与锁定成本。
DNABERT-2 · 1 条相关资料
官方来源DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome：DNABERT-2：面向多物种基因组的高效基础模型与基准
DNABERT-2用BPE替换k-mer分词，在36个数据集、9个任务的GUE基准上，以21倍更少参数和92倍更少预训练GPU时间达到与SOTA相当的性能。
LMSYS · 1 条相关资料
官方来源Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena：用LLM作为裁判评估聊天助手
本文提出使用强LLM（如GPT-4）作为裁判来评估聊天助手，并引入MT-Bench多轮问答基准和Chatbot Arena众包对战平台。研究发现GPT-4裁判与人类偏好的一致性超过80%，达到人类间一致水平。同时分析了位置偏差、冗长偏差、自我增强偏差和推理能力有限等局限性，并提出了缓解方案。
LLaVA-Med · 1 条相关资料
官方来源LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day：低成本构建生物医学多模态对话助手
该论文提出一种低成本方法，利用PubMed Central的图文对和GPT-4生成的指令数据，在15小时内训练出生物医学视觉语言对话助手LLaVA-Med，在三个标准生物医学VQA数据集上部分指标超越此前监督学习最优模型。
Falcon · 1 条相关资料
官方来源The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only：仅用网络数据超越精选语料库的Falcon LLM数据集
该论文证明，经过适当过滤和去重的网络数据（仅来自CommonCrawl）足以训练出强大的大语言模型，甚至优于使用The Pile等精选语料库训练的模型。研究团队从CommonCrawl中提取了5万亿token，并公开了6000亿token的RefinedWeb数据集，以及基于该数据集训练的1.3B和7.5B参数的语言模型。
University of Washington · 1 条相关资料
官方来源QLoRA: Efficient Finetuning of Quantized LLMs：4比特量化微调让大模型训练平民化
2023年5月，华盛顿大学团队提出QLoRA，在单个48GB GPU上微调65B参数模型，性能达到ChatGPT的99.3%。核心创新包括4-bit NormalFloat数据类型、双重量化和分页优化器。训练了1000+模型，发现小规模高质量数据集微调即可达到SOTA。
Meta AI · 1 条相关资料
官方来源DINOv2: Learning Robust Visual Features without Supervision：自监督视觉基础模型进入实用阶段
2023年4月，Meta AI发布DINOv2，提出一种全自动数据筛选管道，从海量未标注图像中构建多样化、高质量的训练数据集，并训练了1B参数的ViT模型，再蒸馏为一系列小模型。在图像级和像素级基准上，DINOv2超越了当时最好的通用视觉特征OpenCLIP，且无需微调即可直接用于多种下游任务。
Bloomberg · 1 条相关资料
官方来源BloombergGPT: A Large Language Model for Finance：BloombergGPT：金融领域首个大规模语言模型
2023年3月，彭博发布BloombergGPT，一个500亿参数的金融专用语言模型。该模型基于彭博自有的3630亿token金融数据集（含新闻、报告、监管文件等）和3450亿token通用数据训练。在金融基准测试中，BloombergGPT显著优于同等规模的通用模型，同时保持通用NLP性能。
OpenAI · 1 条相关资料
官方来源ChatGPT 与 Whisper API 发布：生成式 AI 进入开发者规模化接入阶段
OpenAI 在 2023 年 3 月发布 ChatGPT 和 Whisper API，并显著降低对话模型使用成本。
Meta LLaMA · 1 条相关资料
官方来源LLaMA: Open and Efficient Foundation Language Models：开源高效基座模型改写大模型竞争格局
2023年2月，Meta发布LLaMA系列模型（7B-65B参数），仅使用公开数据集训练。LLaMA-13B在多数基准上超越GPT-3（175B），LLaMA-65B与Chinchilla-70B和PaLM-540B竞争。模型全部开源。
Google Lion · 1 条相关资料
官方来源Symbolic Discovery of Optimization Algorithms (Lion)：符号搜索发现高效优化器Lion，训练成本大幅降低
2023年2月，Google提出Lion优化器，通过符号程序搜索自动发现。Lion仅跟踪动量，使用符号函数更新参数，内存效率高于Adam。在ImageNet上ViT准确率提升2%，JFT预训练计算量节省5倍；扩散模型训练计算量节省2.3倍。已部署于Google搜索广告CTR模型。
BLIP-2 · 1 条相关资料
官方来源BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models：轻量Q-Former桥接视觉与语言，大幅降低多模态预训练成本
2023年1月提交。BLIP-2提出一种高效的视觉-语言预训练策略，利用冻结的预训练图像编码器和冻结的大语言模型，通过轻量级Querying Transformer（Q-Former）桥接模态间隙。两阶段预训练：第一阶段从冻结图像编码器引导视觉-语言表示学习，第二阶段从冻结语言模型引导视觉到语言生成学习。在零样本VQAv2上以54倍更少的可训练参数超越Flamingo80B达8.7%，并展示出遵循自然语言指令的零样本图像到文本生成能力。
Microsoft / OpenAI · 1 条相关资料
官方来源Microsoft 扩大对 OpenAI 的多年投资：模型、算力与云分发形成深度绑定
Microsoft 于 2023 年 1 月宣布与 OpenAI 进入第三阶段合作，并进行一笔多年、数十亿美元规模的投资。
H3 (Stanford & Together) · 1 条相关资料
官方来源Hungry Hungry Hippos: Towards Language Modeling with State Space Models：状态空间模型挑战Transformer
2022年12月，斯坦福大学等提出H3状态空间模型层，专门设计用于解决SSM在语言建模中难以回忆早期token和跨token比较的问题。在125M参数混合模型中，仅保留2个注意力层，在OpenWebText上困惑度比纯Transformer低1.0。同时提出FlashConv算法，实现2倍加速，并支持2.7B参数模型在SuperGLUE多数任务上超越Transformer。
Self-Instruct (UW & AI2) · 1 条相关资料
官方来源Self-Instruct: Aligning Language Models with Self-Generated Instructions：指令微调的自举革命
2022年12月，华盛顿大学等机构提出Self-Instruct框架，通过让语言模型自生成指令、输入和输出样本，经筛选后用于微调原始模型。在GPT3上应用后，在Super-NaturalInstructions上取得33%绝对提升，性能与使用人工标注的InstructGPT-001相当。
03 / 决策影响
对不同角色的影响
应该用什么单位管理 AI 成本？
用一次被业务接受的结果作为成本单位。计算时应包含模型、工具、重试、人工复核、失败损失和治理成本，不能只看 token 或调用次数。
- 低单价可能被低成功率抵消。
- 不同任务应配置不同质量与预算上限。
- 为核心任务建立 cost-per-accepted-outcome。
- 把人工接管和失败损失纳入采购复盘。
继续关注
- 规模增加后单位结果成本是否下降。
- 供应商降价是否伴随容量或质量变化。
成本下降会把利润留给谁？
底层降价会扩大需求，但利润更可能留在拥有分发、专有工作流、数据和基础设施利用率的一层。纯模型转售会持续承压。
- 推理毛利需要结合折旧和容量利用率。
- 应用毛利要剔除模型补贴和人工服务。
- 按任务拆解收入、推理成本和服务成本。
- 压力测试价格每年下降时的竞争位置。
继续关注
- 降价是否带来需求弹性和留存。
- 自建与 API 的临界规模是否真实到达。
怎样工程化控制单位任务成本？
通过模型路由、缓存、上下文压缩、批处理、工具预算和失败早停共同优化；任何单点优化都必须在质量回归下验证。
- 长上下文可能增加无效计算。
- 重试策略既影响可靠性也影响尾部成本。
- 记录每任务 token、工具、延迟、重试和结果。
- 为不同风险等级设模型与预算策略。
继续关注
- 缓存命中、路由漂移和峰值容量。
- 量化或替代模型导致的长尾质量损失。
如何把成本约束转成更好的产品？
让用户感知任务预算、等待和结果置信度，并把高成本计算留给高价值步骤。盲目追求即时或无限生成会伤害毛利和信任。
- 速度、质量和价格需要按场景表达。
- 用户应能选择快速草稿或深度执行。
- 设计明确的任务模式与预算提示。
- 用结果接受率而非生成次数优化体验。
继续关注
- 高成本模式的付费意愿和复用率。
- 等待时间是否换来可感知的结果提升。
04 / SOURCES TO WATCH
持续关注的来源
GLOBAL · 1 级来源 · 隔离验证Amazon Science研究资料 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Apache TVM Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证AWS Machine Learning Blog官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Azure AI Blog官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Cloudflare AI官方信息 · 每 6 小时更新 · 最近健康US · 1 级来源 · 隔离验证CoreWeave官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证DeepSpeed官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证FlashAttention Releases研究资料 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证JAX官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Kubeflow Trainer Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证llama.cpp官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证LMDeploy Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证MLX官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证MNN Releases官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证MS-SWIFT Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证NVIDIA AI Blog官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证NVIDIA CUTLASS Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证NVIDIA NCCL Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证NVIDIA NeMo Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证NVIDIA TensorRT Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证ONNX Runtime GenAI Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证ONNX Runtime Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证PEFT Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证PyTorch官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Ray Releases官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证Tencent NCNN Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证TensorRT-LLM官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Together AI官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Triton Compiler Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证TRL Releases官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证VeRL Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证vLLM官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证whisper.cpp Releases官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证XTuner Releases官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证BentoML官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证bitsandbytes官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Cloud Native Computing Foundation Blog官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证ExecuTorch官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Hugging Face Accelerate官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Keras官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证KServe官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证KTransformers官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Kubeflow Pipelines官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证llama-cpp-python官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证LMCache官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证MLflow官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证MLflow Blog官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Modal Client官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证New API官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证NVIDIA Isaac Lab官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证OpenVINO官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Outlines官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证PyTorch Core官方信息 · 每 6 小时更新 · 最近健康EU · 1 级来源 · 隔离验证Qdrant Blog官方信息 · 每 6 小时更新 · 最近健康US · 1 级来源 · 隔离验证Red Hat AI官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证SkyPilot官方信息 · 每 6 小时更新 · 最近健康GLOBAL · 1 级来源 · 隔离验证Weights & Biases官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 隔离验证Xinference官方信息 · 每 6 小时更新 · 最近健康CN · 1 级来源 · 已隔离Alibaba Cloud AI官方信息 · 每 6 小时更新 · 失败 INVALID_ITEMSCN · 1 级来源 · 隔离验证Alibaba Cloud Model Studio Pricing官方信息 · 每 6 小时更新 · 需人工核验