工作流所有权
模型厂商、云、办公软件和垂直应用争夺完整任务入口与组织预算。
价值取决于谁控制上下文、权限、记录和结果反馈,而非谁先发布功能。
比较任务留存、单位经济、净收入留存和供应商替换成本。
编码和知识工作率先形成高价值付费,模型厂商直接向应用和运行时扩张。
模型厂商、云、办公软件和垂直应用争夺完整任务入口与组织预算。
价值取决于谁控制上下文、权限、记录和结果反馈,而非谁先发布功能。
比较任务留存、单位经济、净收入留存和供应商替换成本。
研究、浏览、编码和开发平台出现可按任务验收的 Agent 产品。
定价从 token 和功能席位向任务额度、团队计划和结果价值移动。
Agent 使用是否提升留存、扩张收入和组织级标准化。
推理能力、计算机使用和 AI Act 同时提高可做任务与交付责任。
企业采购同时评估模型能力、治理、权限、审计和长期服务。
部署能否从试点进入重复采购,并形成可审计 ROI。
开放模型和多家 API 供应商降低单一模型依赖,产品竞争转向数据与工作流。
API 包装的稀缺性下降,采购开始比较成本、隐私、延迟和部署方式。
产品是否能在更换模型后保持留存、质量和毛利。
模型 API 降低集成门槛,Microsoft 365 Copilot 把 AI 放进组织软件。
商业价值从独立聊天产品扩展到已有分发和数据权限的应用。
企业是否为席位付费,以及应用能否建立模型之外的壁垒。
ChatGPT 和生成图像证明用户会主动寻找生成式 AI 产品。
市场从技术可行性转向留存、分发和使用成本问题。
高频使用能否形成付费,以及 API 是否打开应用创业。
What changed价值取决于谁控制上下文、权限、记录和结果反馈,而非谁先发布功能。
What to verify next比较任务留存、单位经济、净收入留存和供应商替换成本。
OpenAI 于 2026-07-14 发布了两篇教程,分别面向数据科学团队和销售团队,展示如何使用 ChatGPT Work 从实际工作输入构建根因简报、影响报告、KPI 备忘录、范围分析和仪表盘规范(数据科学),以及管道简报、会议准备包、预测回顾、账户计划和停滞交易诊断(销售)。
Google and AIM launched ATL Saathi, a Gemini-powered AI tool for Indian educators in robotics labs.
OpenAI 发布 GPT-5.6,并同步推出面向跨应用、文件与长期任务的 ChatGPT Work。
GPT-5.6 成为 Microsoft 365 Copilot 的首选模型,覆盖 Word、Excel、PowerPoint、Chat 和 Cowork。
OpenAI 发布新一代语音模型 GPT-Live,并接入 ChatGPT Voice。
xAI 于 2026 年 7 月发布 Grok 4.5,并通过 API、Grok Build、Cursor 与 Office 插件提供使用。
Google DeepMind 于 2026 年 6 月 24 日发布 Gemini 3.5 Flash 的 computer use 能力。
Mistral 于 2026 年 6 月发布 OCR 4,继续扩展其文档解析与企业工作流能力。
xAI 于 2026 年 6 月宣布 Grok 4.3 在 Amazon Bedrock 正式可用。
OpenAI 于 2026 年 6 月发布 Deployment Simulation 论文,使用去标识的历史对话为待发布模型重生成回答,并把模拟频率与发布后的真实风险频率比较。
2026 年 6 月 11 日提交的 DailyReport 包含 150 个开放日常搜索任务和 3,546 条关联 rubric,并对 17 个 Agent 系统做分维度、用户中心的级联评测。
OpenAI 于 2026 年 6 月 11 日宣布收购 Ona。
Microsoft 于 2026 年 6 月 9 日宣布 Claude Fable 5 在 Microsoft Foundry 可用,面向自主 Agent 场景。
Google DeepMind 于 2026 年 6 月 9 日发布统一、无独立编码器的 Gemma 4 12B 多模态模型。
Anthropic 宣布完成 650 亿美元 Series H 融资,投后估值 9650 亿美元,并披露年化收入超过 470 亿美元。
2026 年 5 月 27 日提交的研究用五个 Agent 框架和五个模型生成 219,655 个科学想法,发现它们比同领域人类论文更集中、更接近起始文献,也更少对齐后续人类研究与高影响区域。
xAI 于 2026 年 5 月发布 Grok Build 早期测试版,为订阅用户提供终端编码 Agent。
2026 年 5 月 24 日提交的 ScaleWoB 合成 100+ 交互环境与 1,000+ 可验证任务;五个移动 GUI Agent 平均成功率 27.92%,长任务降至 17.82%,人类达到 92.08%。
Google DeepMind 于 2026 年 5 月 21 日宣布在亚太启动面向环境风险的加速器计划。
2026 年 5 月 21 日提交的 Spreadsheet-RL 构建真实 Microsoft Excel 多轮强化学习环境与金融、供应链任务集;论文报告 Qwen3-4B-Thinking-2507 在 SpreadsheetBench 的 Pass@1 从 12.0% 提升到 23.4%,在 Domain-Spreadsheet 上从 8.4% 提升到 17.2%。
Google 于 2026 年 5 月 20 日汇总 I/O 2026 的 100 项发布、演示与产品更新。
Cohere 于 2026 年 5 月发布 Command A+,并通过标准 API 与私有部署方式提供。
Google Research 于 2026 年 5 月公布 ERA 的 Nature 论文、代码和实验,并将其用于 Computational Discovery 原型,以树搜索探索和优化科学计算方案。
Google DeepMind 于 2026 年 5 月 17 日发布 Gemini Omni,强化跨文本、语音、视觉等模态的统一交互。
Google DeepMind 于 2026 年 5 月 17 日发布 Google Antigravity 2.0,继续扩展面向 Agent 的开发体验。
Google DeepMind 于 2026 年 5 月 15 日发布 Gemini 3.5,并以面向行动的前沿智能作为核心定位。
2026 年 5 月 13 日提交的 SkillOps 在 ALFWorld 以 79.5% 成功率超过最强基线 8.8 个百分点,且不增加任务时 LLM 调用;作为插件还可让检索型基线提升 0.68—2.90 分。
Google DeepMind 于 2026 年 4 月 30 日提出 AI co-clinician 方向,探索模型与临床人员协作的新工作模式。
商汤于 2026 年 4 月发布并开源 SenseNova U1 原生统一多模态模型系列。
OpenAI 发布 GPT-5.5,重点提升编码、研究、数据分析、文档和跨工具操作。
2026 年 4 月 17 日提交的 DELEGATE-52 覆盖 52 个专业领域和 19 个模型;即使 Gemini 3.1 Pro、Claude 4.6 Opus、GPT-5.4 等前沿模型,在长流程结束时也平均破坏约 25% 文档内容。
Anthropic 发布 Claude Opus 4.7,重点提升代码、Agent、视觉和多步骤任务表现。
2026 年 4 月 14 日提交的 SpreadsheetAgent 论文提出两阶段、多 Agent、多格式表格理解框架;使用 GPT-OSS-120B 时在 SpreadsheetBench 获得 38.16%,高于 ChatGPT Agent 基线的 35.27%。
Google DeepMind 于 2026 年 4 月 2 日发布 Gemma 4,强调在开放模型形态下提升能力与部署效率。
2026 年 4 月 2 日提交的研究发现,低能力模型更适合精简 accessibility tree,强模型则能从完整 HTML 布局获益;增加 thinking token 会进一步放大 HTML 的优势,diff 历史可兼顾信息与 token。
2026 年 3 月 30 日提交的 Meta-Harness 自动搜索 LLM 应用 harness 代码:文本分类提升 7.7 分且上下文 token 减少 4 倍,数学推理跨五个保留模型平均提升 4.7 分,并超过 TerminalBench-2 手工基线。
Nature 于 2026 年 3 月 25 日发表 AI Scientist 研究:系统可以自动提出研究想法、编写与运行实验、分析结果、撰写论文并执行评审;三篇自动生成稿件中一篇在盲审中达到工作坊可接收分数,但研究团队按预设协议撤回。
2026 年 3 月 16 日提交的 OpenSeeker 完全开放模型与训练数据,仅用 11.7k 合成样本和 SFT,在 BrowseComp 达到 29.5%,高于开源 DeepDive 的 15.3%,BrowseComp-ZH 达到 48.4%。
xAI 官方 Release Notes 记录 Grok 4.20 与 Grok 4.20 Multi-agent 于 2026 年 3 月进入 API。
xAI 于 2025 年 11 月在企业 API 提供 Grok 4.1 Fast,并让 Agent 工具支持该模型。
Anthropic 于 2026 年 3 月提出 observed exposure 指标,将任务理论能力、真实 Claude 使用、工作场景与自动化程度组合,并与美国职业和就业数据比较。
2026 年 2 月 26 日提交的 SMTL 用并行证据获取替代串行深推理;在 BrowseComp 上相对 Mirothinker-v1.0 减少 70.7% 平均推理步骤并提升准确率,同时报告 BrowseComp 48.6%、GAIA 75.7%。
字节跳动 Seed 团队于 2026 年 2 月发布 Seed 2.0 Pro、Lite 与 Mini 三档通用 Agent 模型。
MiniMax 于 2026 年 2 月发布并开放 MiniMax-M2.5,面向编程、工具调用、搜索和办公任务。
OpenAI Economic Research 于 2026 年 2 月发布 GABRIEL 论文与开源工具,把文本、图像和音频中的定性属性转成可重复的量化测量,并提供批处理、重试、检查点和审计轨迹。
2026 年 2 月 2 日提交的研究用包含数千个开源 PR 的 AIDev-pop 比较五类编码 Agent,发现 Codex 合并率较高、Copilot 引发最多审查讨论,而提交信息质量与合并结果并不同步。
2026 年 1 月 20 日提交的 RepoGenesis 包含 106 个 Python/Java 仓库、18 个领域、11 个框架、1,258 个 API 和 2,335 个测试;最佳系统 Pass@1 仅为 Python 23.67%、Java 21.45%。
百川智能于 2026 年初开放 Baichuan-M3-235B,面向临床问诊与可靠医疗决策。
xAI 于 2026 年 1 月宣布完成 200 亿美元 Series E,并披露 Colossus I 与 II 的扩张进展。
What changed定价从 token 和功能席位向任务额度、团队计划和结果价值移动。
What to verify nextAgent 使用是否提升留存、扩张收入和组织级标准化。
2025年12月,研究提出O-Voxel(全向体素)表示,可编码任意拓扑(开放、非流形、封闭表面)的几何和外观(包括PBR材质)。基于此设计稀疏压缩VAE,实现高空间压缩率和紧凑潜空间。训练了4B参数的流匹配模型,在公开3D资产数据集上生成质量远超现有模型,且推理高效。
2025年12月,DeepSeek发布V3.2模型,提出DeepSeek Sparse Attention (DSA)机制降低长上下文计算复杂度,并采用可扩展强化学习框架进行后训练。其高计算变体DeepSeek-V3.2-Speciale在2025年国际数学奥林匹克(IMO)和国际信息学奥林匹克(IOI)中获得金牌,性能超越GPT-5并与Gemini-3.0-Pro持平。此外,论文描述了一个大规模智能体任务合成流水线,用于生成工具使用场景的训练数据。
2025年12月,一项结合纵向随机对照试验(N=3,534)和神经转向向量方法的研究发现,与关系寻求型AI交互四周后,用户的“喜欢”与“想要”出现解耦:即时愉悦感下降,但依恋和寻求未来陪伴的意愿持续增长。心理影响呈非线性剂量-反应曲线,中等关系寻求型AI最大化愉悦和依恋。一个月使用后,用户将AI视为朋友而非工具,且对AI意识的信念发生改变,但未观察到心理健康的改善。
2025年11月提交。Qwen3-VL是Qwen系列最新视觉语言模型,原生支持256K token的文本、图像和视频交错上下文。模型家族包括密集(2B/4B/8B/32B)和混合专家(30B-A3B/235B-A22B)变体。在纯文本理解、长上下文理解和多模态推理上表现领先,在MMMU、MathVista等基准上达到SOTA。架构升级包括增强的交错MRoPE、DeepStack集成和基于文本的时间对齐。
2025年11月提交。SAM 3是一个统一模型,基于概念提示(短名词短语、图像示例或两者组合)在图像和视频中检测、分割和跟踪对象。它构建了包含400万独特概念标签的高质量数据集,包括难负样本。模型由共享骨干的图像级检测器和基于记忆的视频跟踪器组成,通过存在头解耦识别和定位。在图像和视频概念分割任务上精度翻倍,并改进了SAM在视觉分割上的能力。
xAI 于 2025 年 11 月在企业 API 提供 Grok 4.1 Fast,并让 Agent 工具支持该模型。
2025年11月提交。TabPFN-2.5是下一代表格基础模型,支持最多5万数据点和2000特征,数据单元数比TabPFNv2提升20倍。在TabArena基准上,它显著优于调优的树模型,准确率匹配AutoGluon 1.4(四小时调优集成)。默认TabPFN-2.5在中小型分类数据集上对默认XGBoost有100%胜率,在更大数据集上胜率87%。新蒸馏引擎可将模型转换为紧凑MLP或树集成,保持大部分精度同时大幅降低延迟。
2025年10月提交。提出跨域迁移训练策略,结合选择性正则化和域桥接集(DBS),在15个开放数据库(涵盖分子、晶体、表面)上训练通用机器学习原子间势能模型SevenNet-Omni。在金属表面吸附能误差低于0.06 eV,金属有机框架上低于0.1 eV。仅含0.5% r²SCAN数据即可复现高保真r²SCAN能量学。
2025年10月提交。提出新词学习(neologism learning)方法:为LLM添加新词嵌入,仅用示例训练该嵌入而不改变其他参数,即可控制模型行为(如避免奉承、控制输出长度)。模型还能用自然语言描述新词含义(自我言语化),且这些描述可插入上下文以复现控制效果。发现‘机器专属同义词’——对人类无意义但对模型行为相似的词。
OpenAI 宣布 Codex 正式可用,并发布 SDK、Slack 集成和企业管理能力。
智谱于 2025 年 9 月发布 GLM-4.6,将上下文窗口从 128K 扩展到 200K,并增强编码、推理和工具使用。
2025年9月,哈佛等机构提出ToolUniverse,一个构建AI科学家的开源生态系统,提供超过600个ML模型、数据集、API和科学包,支持任意语言/推理模型。系统自动精炼工具接口、从自然语言生成新工具、迭代优化工具规范并组合成智能体工作流。在高胆固醇血症案例中,ToolUniverse创建的AI科学家成功识别出具有良好预测性质的药物类似物。
2025年9月,斯坦福团队提出Paper2Agent,自动将研究论文转化为AI智能体。系统通过多智能体分析论文和代码,构建MCP(Model Context Protocol)服务器,并迭代生成测试来精炼。案例中,Paper2Agent成功创建了基于AlphaGenome的基因组变异解读智能体、基于ScanPy的单细胞分析智能体等,并能复现原文结果及处理新查询。在ADHD风险研究中,自动创建的AI联合科学家发现了新的剪接变异。
Perplexity 于 2025 年 8 月向 Enterprise Pro 用户推出 Comet 浏览器。
OpenAI 发布 GPT-5,并在 ChatGPT 中通过统一系统路由即时回答和更深推理。
OpenAI 发布 ChatGPT Agent,将 Operator 的操作、Deep Research 的研究和对话能力整合。
Moonshot AI 发布 Kimi K2 混合专家模型并开放权重,重点强化代码和 Agent 工具使用。
xAI 于 2025 年 7 月发布 Grok 4 与 Grok 4 Heavy,并通过 Grok 产品和 API 提供访问。
百度于 2025 年 6 月开放 ERNIE 4.5 的 10 个模型变体,并采用 Apache 2.0 许可。
2025年6月,微软团队提出MAI-DxO诊断编排器,基于304个NEJM疑难病例构建序贯诊断基准。MAI-DxO结合o3模型实现80%诊断准确率(普通医生20%),成本降低20%。当配置为最大准确率时达85.5%,且泛化至Gemini、Claude、DeepSeek等模型。
Anthropic 发布 Claude Opus 4 与 Sonnet 4,强调编码、工具使用和长任务能力。
OpenAI 与 Jony Ive 于 2025 年 5 月公布合作,并在 7 月更新确认 io Products 团队已正式并入 OpenAI。
2025年5月,研究者提出Robin,首个能够自动化科学发现全流程(文献调研、假设生成、实验设计、数据分析、假设更新)的多智能体系统。Robin通过整合文献搜索智能体和数据分析智能体,在干性年龄相关性黄斑变性(dAMD)治疗中发现新候选药物ripasudil(ROCK抑制剂),并自主设计RNA-seq实验揭示其通过上调ABCA1发挥作用的机制。所有假设、实验计划、数据分析和图表均由Robin生成。
OpenAI 发布 Codex 研究预览,可在隔离云环境中并行处理代码库任务。
2025年4月,Mem0团队提出一种可扩展的记忆中心架构,用于解决大语言模型在长时间多轮对话中的上下文一致性问题。该架构通过动态提取、整合和检索对话中的关键信息,并引入基于图的记忆表示来捕捉复杂关系结构。在LOCOMO基准测试中,Mem0在LLM-as-a-Judge指标上比OpenAI的基线系统提升26%,同时p95延迟降低91%,token成本节省超过90%。图记忆版本在整体得分上比基础配置再提升约2%。
2025年4月,Sakana AI团队发布AI Scientist-v2,这是一个端到端智能体系统,能够自主完成假设生成、实验设计、数据分析、论文撰写全流程。该系统在ICLR 2025 workshop上提交了三篇完全由AI生成的论文,其中一篇的评分超过了人类平均接受阈值,成为首个完全由AI生成并通过同行评审的论文。与v1相比,v2不再依赖人类编写的代码模板,并采用渐进式智能体树搜索方法,由专门的实验管理智能体协调。
Google 联合多家企业发布 Agent2Agent Protocol,用于不同平台和厂商 Agent 之间协作。
Meta 发布 Llama 4 Scout 与 Maverick,采用原生多模态和混合专家架构。
2025年4月,研究团队发布MedSAM2,一个基于SAM2微调的可提示医学影像分割基础模型,支持3D图像和视频。模型在超过45.5万对3D图像-掩码和7.6万帧数据上训练,在多种器官、病变和成像模态上超越此前模型。通过人机交互管线,团队完成了迄今最大规模的用户研究,包括5000个CT病变、3984个肝脏MRI病变和251550个超声心动图视频帧的标注,证明MedSAM2可减少超过85%的人工标注成本。模型已集成到常用平台,支持本地和云端部署。
2025年3月,加州大学圣迭戈分校团队在预注册、随机对照的三方图灵测试中,评估了ELIZA、GPT-4o、LLaMa-3.1-405B和GPT-4.5四个系统。参与者与另一人类及一个AI进行5分钟对话,然后判断哪个是人类。当GPT-4.5被提示采用人类化人格时,73%的评判认为它是人类,显著高于真实人类被选中的概率。LLaMa-3.1在相同提示下达到56%的胜率,与人类无显著差异。这是首个任何AI系统通过标准三方图灵测试的实证证据。
OpenAI 于 2025 年 3 月宣布获得 400 亿美元新资金,投后估值 3000 亿美元,并与 SoftBank Group 合作。
2025年3月,Wan团队发布了开源视频基础模型系列Wan,包含1.3B和14B两个版本。基于扩散Transformer架构,Wan在内部和外部基准测试中持续超越现有开源模型及商业方案。14B模型在多个下游任务(如图像到视频、指令引导视频编辑、个性化视频生成)上表现领先。1.3B模型仅需8.19GB显存,可在消费级GPU上运行。所有代码和模型已开源。
2025年3月,Google DeepMind发布了Gemini Robotics系列,包括两个模型:Gemini Robotics(VLA通用模型)和Gemini Robotics-ER(具身推理模型)。前者可直接控制机器人,执行复杂操作任务,对物体类型、位置、环境变化和开放词汇指令具有鲁棒性。后者增强了空间和时间理解,支持物体检测、指向、轨迹预测、抓取预测、多视图对应和3D边界框预测。通过微调,Gemini Robotics可学习新任务(仅需100次演示)并适应新机器人形态。
OpenAI 发布 Responses API、内置 Web/File/Computer Use 工具和开源 Agents SDK。
Anthropic 于 2025 年 3 月宣布完成 35 亿美元融资,投后估值 615 亿美元,由 Lightspeed Venture Partners 领投。
Anthropic 发布 Claude 3.7 Sonnet,并预览在终端中工作的 Claude Code。
xAI 于 2025 年 2 月发布 Grok 3、Grok 3 mini 及其 Think 推理版本,并预告 API 与 DeepSearch。
2025年2月提交。YOLOv12提出了一种以注意力为中心的实时目标检测框架,通过改进注意力机制(如区域注意力、高效聚合模块)使其推理速度与CNN版本相当。在T4 GPU上,YOLOv12-N达到40.6% mAP,延迟1.64 ms,比YOLOv10-N高2.1% mAP,比YOLOv11-N高1.2% mAP。YOLOv12-S比RT-DETR-R18快42%,仅用36%计算量和45%参数量。所有模型尺度均超越现有实时检测器。
OpenAI 在 ChatGPT 发布 Deep Research,可自主搜索、分析并综合大量在线来源。
OpenAI 发布 Operator 研究预览,模型可以在浏览器中点击、输入并完成多步骤任务。
2025年1月,腾讯发布Hunyuan3D 2.0,包含形状生成模型Hunyuan3D-DiT(基于可扩展流式扩散Transformer)和纹理合成模型Hunyuan3D-Paint。系统支持从条件图像生成高分辨率纹理3D资产,并提供了用户友好的创作平台Hunyuan3D-Studio。在几何细节、条件对齐、纹理质量上超越此前开源和闭源模型。代码和预训练权重已开源。
科大讯飞于 2025 年 1 月发布星火 X1,并在 4 月升级其数学、代码与逻辑推理能力。
What changed企业采购同时评估模型能力、治理、权限、审计和长期服务。
What to verify next部署能否从试点进入重复采购,并形成可审计 ROI。
xAI 于 2024 年 12 月宣布升级版 Grok-2 向所有 X 用户免费开放,并加入网页与 X 搜索结果引用。
Google 发布 Gemini 2.0 Flash,并展示 Project Astra、Mariner 和代码 Agent 等原型。
Anthropic 开源 Model Context Protocol,用统一方式连接 AI 助手、数据源和工具。
Anthropic 于 2024 年 11 月宣布 Amazon 新增 40 亿美元投资,使总投资达到 80 亿美元,并确立 AWS 为主要云和训练伙伴。
2024年11月提交。论文提出SAMURAI,基于SAM 2改进的零样本视觉追踪方法。通过引入运动感知记忆选择机制,在无需微调的情况下,在LaSOT_ext上AUC提升7.1%,GOT-10k上AO提升3.5%,达到与全监督方法竞争的性能。SAMURAI能处理拥挤场景、快速运动和自遮挡等挑战。
2024年10月提交。Physical Intelligence团队提出π0,一个视觉-语言-动作流匹配基础模型,用于通用机器人控制。模型基于预训练VLM构建流匹配架构,继承互联网规模的语义知识。在包含单臂、双臂和移动操作平台的大规模多样化数据集上训练,零样本即可执行叠衣、桌面清理、组装盒子等复杂灵巧任务,并可通过微调快速获取新技能。
2024年10月提交。Orb团队发布一系列通用原子间势能模型,用于材料原子级模拟。Orb模型比现有通用势能模型快3-6倍,在多种分布外材料下保持模拟稳定性,并在Matbench Discovery基准上相比其他方法误差降低31%。模型采用扩散预训练策略,支持几何优化、蒙特卡洛和分子动力学模拟。
Anthropic 发布计算机使用能力测试版,Claude 可以观察屏幕并操作鼠标和键盘。
2024年10月提交。苹果团队发布Depth Pro,一个零样本单目度量深度估计基础模型。核心贡献:无需相机内参即可输出绝对尺度深度图,在0.3秒内生成2.25兆像素(约1920x1200)的高分辨率深度图,且边界锐利。模型基于高效多尺度视觉Transformer,结合真实与合成数据训练,并实现了最先进的单图焦距估计。
OpenAI 于 2024 年 10 月宣布融资 66 亿美元,投后估值为 1570 亿美元。
阿里巴巴 Qwen 团队发布 Qwen2.5 系列,覆盖 0.5B 到 72B,并扩展代码、数学和视觉语言模型。
2024年9月,阿里巴巴发布Qwen2-VL系列视觉语言模型,包含2B、8B和72B三个版本。核心创新包括Naive Dynamic Resolution机制,使模型能根据图像分辨率动态调整视觉token数量;以及Multimodal Rotary Position Embedding (M-RoPE),实现文本、图像和视频位置信息的有效融合。在多个多模态基准测试中,Qwen2-VL-72B达到与GPT-4o和Claude3.5-Sonnet相当的性能,超越其他通用模型。代码已开源。
2024年9月,斯坦福大学李飞飞团队提出ReKep(关系关键点约束),一种用于机器人操作的视觉约束表示方法。ReKep将操作任务表示为一系列Python函数,这些函数将环境中的3D关键点映射到数值代价。通过分层优化,系统能以实时频率求解机器人动作(SE(3)末端执行器位姿序列)。结合大型视觉模型和视觉语言模型,ReKep能从自由形式语言指令和RGB-D观测自动生成约束,无需任务特定数据或环境模型。在轮式单臂和固定双臂平台上演示了多阶段、野外、双臂和反应性行为。
2024年8月,研究团队提出MatterGPT,基于SLICES晶体表示法训练生成式Transformer,用于固态材料的逆设计。模型在下一标记预测任务上训练,可生成具有目标单属性(如形成能、带隙)的晶体结构,并首次实现多属性联合优化。生成结构具有高有效性、唯一性和新颖性,且能生成超出训练数据分布的材料。
2024年8月,Meta发布SAM 2,将图像与视频分割统一为流式记忆Transformer架构。通过数据引擎收集最大视频分割数据集,在视频分割中仅需先前方法1/3的交互次数即达更高精度,图像分割比SAM快6倍且更准确。开源模型、数据集及代码。
2024年8月,研究团队发布Virchow2系列病理基础模型,包括6.32亿参数的Virchow2、19亿参数的Virchow2G及2200万参数的蒸馏版Virchow2G Mini。所有模型在310万张全切片图像上训练,覆盖多种组织、机构与染色。在12个图块级任务上达到SOTA,表明数据多样性与领域特定方法比单纯扩大参数更有效。
2024年8月,研究团队提出MedSAM-2,将SAM 2的流式记忆机制应用于医学图像分割,将所有2D和3D任务视为视频对象跟踪。创新自排序记忆库动态选择高置信度、低相似度的嵌入,实现3D分割性能提升及2D单提示多图像分割。在5个2D和9个3D任务上超越SOTA,包括细胞、器官、肿瘤等。
欧盟《人工智能法案》于 2024 年 8 月 1 日生效,并为通用模型和高风险系统设置分阶段义务。
2024年7月,来自Anthropic等机构的研究发现,通过重复采样(多次生成候选答案)可以显著提升LLM的解题覆盖率。在SWE-bench Lite上,DeepSeek-Coder-V2-Instruct从单次采样的15.9%提升至250次采样的56%,超越单次采样SOTA的43%。覆盖率与采样次数呈对数线性关系,可用指数幂律建模。
Meta 发布 Llama 3.1 405B、70B 与 8B 模型,扩展到 128K 上下文并开放权重下载。
What changedAPI 包装的稀缺性下降,采购开始比较成本、隐私、延迟和部署方式。
What to verify next产品是否能在更换模型后保持留存、质量和毛利。
2024年6月,OpenVLA团队发布了一个7B参数的开源视觉-语言-动作模型,基于Llama 2和DINOv2/SigLIP视觉编码器,在970k真实机器人演示上训练。在29个任务中,OpenVLA以7倍少的参数比RT-2-X(55B)绝对成功率高出16.5%,并可通过低秩适配在消费级GPU上微调,量化后不影响成功率。
2024年6月,Bucher和Martini通过实验证明,微调的小型BERT类LLM在情感、情绪、政党立场等分类任务中,一致且显著优于零样本的GPT-3.5/GPT-4和Claude Opus。他们提供了易用的工具包和分步指南,使非技术用户也能微调模型。
2024年5月提交。YOLOv10提出一致双分配(consistent dual assignments)实现无NMS训练,并采用整体效率-精度驱动模型设计策略,在COCO上YOLOv10-S比RT-DETR-R18快1.8倍且参数量与FLOPs减少2.8倍,比YOLOv9-C延迟降低46%、参数减少25%。
2024年5月提交。HippoRAG受海马体索引理论启发,结合LLM、知识图谱和个性化PageRank算法,实现单步检索在多跳QA上比IRCoT等迭代方法性能相当或更优,且成本降低10-30倍、速度提升6-13倍。
Microsoft 于 2024 年 4 月宣布向 G42 投资 15 亿美元取得少数股权,并与 G42 支持设立 10 亿美元开发者基金。
2024年4月,该论文提出LLM2Vec,一种无监督方法,通过三步(启用双向注意力、掩码下一词预测、无监督对比学习)将任意仅解码器LLM转化为文本编码器。在1.3B至8B参数的4种LLM上测试,在词级任务上大幅超越编码器模型,在MTEB上达到无监督新SOTA。结合监督对比学习后,在仅使用公开数据的模型中达到MTEB SOTA。
2024年4月,该论文发布MiniCPM系列小语言模型(1.2B和2.4B非嵌入参数),在各自规模上达到SOTA,性能可媲美7B-13B模型。提出Warmup-Stable-Decay(WSD)学习率调度器,支持持续训练和领域自适应。通过WSD发现数据-模型缩放律中计算最优数据-模型比高于Chinchilla最优。系列包括MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128K。
2024年3月提交。BioMedLM是一个27亿参数的GPT风格自回归模型,仅在PubMed摘要和全文上训练。微调后在MedMCQA上达到57.3%,在MMLU医学遗传学上达到69.0%,与更大模型竞争。模型已开源,旨在提供透明、隐私保护、经济环保的生物医学NLP基础。
2024年3月提交。DeepSeek-VL是一个开源视觉语言模型,采用混合视觉编码器处理1024x1024高分辨率图像,并基于真实用户场景构建指令微调数据集。模型在保持语言能力的同时,在多个视觉语言基准上达到或超越同尺寸模型最优水平,且语言基准性能未下降。1.3B和7B模型均已开源。
2024年3月提交。该论文提出改进的噪声采样技术训练整流流模型,并设计了一种新的Transformer架构,该架构对图像和文本使用独立权重并支持双向信息流。实验表明,该方法在文本到图像合成中优于现有扩散模型,且最大模型在多项指标上超越当前最优水平。作者将公开实验数据、代码和模型权重。
YOLOv9提出可编程梯度信息(PGI)概念,解决深度网络中信息瓶颈和可逆函数导致的数据丢失问题。PGI为目标任务提供完整输入信息,生成可靠梯度更新权重。同时设计轻量级网络GELAN,基于梯度路径规划,仅用常规卷积算子即超越基于深度可分离卷积的SOTA方法。在MS COCO数据集上,从零训练的模型性能优于使用大型数据集预训练的SOTA模型。
该研究将AlphaFold和ESMFold等单状态蛋白质结构预测器与流匹配框架结合,开发了AlphaFlow和ESMFlow模型。在PDB上训练时,相比MSA子采样的AlphaFold,该方法在精度和多样性上表现更优。进一步在全原子分子动力学模拟的系综上训练后,模型能准确捕捉未见过蛋白质的构象灵活性、位置分布和高阶系综可观测量。此外,该方法能从静态PDB结构出发,比重复分子动力学轨迹更快收敛到某些平衡性质,展示了作为昂贵物理模拟替代方案的潜力。
提出首个基于纯状态空间模型(SSM)的医学图像分割模型VM-UNet,采用视觉状态空间(VSS)模块捕获长程上下文信息,并设计非对称编码器-解码器结构以减少卷积层数量,在ISIC17、ISIC18和Synapse数据集上取得有竞争力的性能。
VMamba将Mamba状态空间语言模型适配为视觉骨干网络,核心是VSS块和2D选择性扫描模块SS2D,通过四方向扫描路径实现1D扫描与2D视觉数据的桥接,在保持线性时间复杂度的同时收集多源上下文信息。
本文提出Shape-IoU方法,通过分析边界框自身形状和尺度对回归结果的影响,设计新的损失函数,在多个检测任务上超越现有方法,达到最先进性能。
谷歌发布Gemini多模态模型家族,包含Ultra、Pro、Nano三种规模,在32项基准测试中30项达到最先进水平,首次在MMLU上超越人类专家表现,并在所有20个多模态基准测试中取得最优。
该综述系统梳理了检索增强生成(RAG)从朴素RAG、高级RAG到模块化RAG的演进路径,详细分析了检索、生成与增强三大核心组件的技术细节,并介绍了最新的评估框架与基准。RAG通过引入外部知识库,有效缓解了大语言模型的幻觉、知识过时和推理不透明等问题,提升了知识密集型任务的准确性和可信度。
Google 在 2023 年 12 月发布 Gemini Ultra、Pro 与 Nano 三种尺寸的原生多模态模型。
Mamba是一种新型序列模型架构,通过让状态空间模型参数成为输入的函数,实现了内容感知的选择性信息传播与遗忘,解决了传统高效架构在离散模态上的推理弱点。该模型采用硬件感知的并行算法,在推理时吞吐量比Transformer高5倍,序列长度线性扩展,在语言、音频和基因组学等多个模态上达到最先进性能。在语言建模中,Mamba-3B模型性能与两倍大小的Transformer相当。
该研究通过系统提示工程(Medprompt)使GPT-4在MultiMedQA全部九个医学基准上超越此前最佳专用模型Med-PaLM 2,在MedQA上错误率降低27%,首次突破90%准确率,且模型调用量减少一个数量级。方法无需领域专家参与,并泛化至电气工程、机器学习、哲学、会计、法律、护理和临床心理学等领域的考试。
Falcon系列包含7B、40B和180B参数的因果解码器模型,在超过3.5万亿token的高质量网络数据上训练,是公开记录中最大的预训练运行。Falcon-180B显著优于PaLM、Chinchilla、LLaMA 2和Inflection-1,性能接近PaLM-2-Large,且预训练和推理成本更低,成为与GPT-4和PaLM-2-Large并列的世界三大语言模型之一。
论文提出FreTS架构,通过离散傅里叶变换将时间序列转换到频域,利用频域MLP学习实部和虚部,在13个真实基准上超越现有方法,包括7个短期和6个长期预测任务。
本文提出Inner-IoU损失函数,通过引入辅助边界框和缩放因子ratio,针对不同IoU样本自适应调整辅助框尺度,高IoU用小框加速收敛,低IoU用大框提升效果,集成到现有IoU损失后进一步提升了检测性能。
OpenAI 在 2023 年 11 月 DevDay 发布 GPT-4 Turbo、Assistants API、新工具和定制模型计划。
该论文由21个机构合作,收集了22种不同机器人的数据,涵盖527项技能和160266个任务,并训练了名为RT-X的高容量模型,展示了跨机器人平台的积极迁移效果,提升了多种机器人的操作能力。
Mistral 7B v0.1是一个70亿参数的语言模型,在推理、数学和代码生成上超越Llama 2 13B和Llama 1 34B。它采用分组查询注意力(GQA)加速推理,滑动窗口注意力(SWA)处理任意长度序列并降低成本。还提供了指令微调版本Mistral 7B Instruct,在人工和自动基准上超越Llama 2 13B Chat。模型以Apache 2.0许可发布。
本文系统分析了GPT-4V在多模态理解、视觉标记交互和任意交错输入处理上的能力,展示了其作为多模态通用系统的强大性能,并提出了视觉引用提示等新型人机交互方法。
Anthropic 于 2023 年 9 月宣布 Amazon 将投资至多 40 亿美元并取得少数股权,AWS 成为其关键工作负载的主要云提供商。
Gold-YOLO提出Gather-and-Distribute(GD)机制,结合卷积与自注意力操作,增强多尺度特征融合。首次在YOLO系列中引入MAE风格无监督预训练。Gold-YOLO-N在COCO val2017上达到39.9% AP,T4 GPU上1030 FPS,比YOLOv6-3.0-N高2.4% AP。代码已开源。
百川智能发布Baichuan 2系列大语言模型,包含7B和13B参数规模,从零训练于2.6万亿tokens。在MMLU、CMMLU、GSM8K、HumanEval等公开基准上匹配或超越同尺寸开源模型,并在医疗、法律等垂直领域表现优异。所有预训练模型检查点将开源。
该综述系统梳理了基于大语言模型(LLM)的智能体概念、框架与应用。文章从哲学起源追溯至AI发展,论证LLM作为通用智能体基础的优势,提出包含大脑、感知、行动三组件的通用框架,并覆盖单智能体、多智能体及人机协作三大应用场景,同时探讨智能体社会中的行为、个性及涌现现象。
Qwen-VL系列模型基于Qwen-LM,通过视觉受体、输入输出接口、三阶段训练和多语言多模态语料库实现图文理解。模型包括Qwen-VL和Qwen-VL-Chat,在图像描述、问答、视觉定位等基准上创下通用模型新纪录,并在真实对话基准上优于现有视觉语言聊天机器人。
该报告基于五种主流神经科学意识理论(递归处理理论、全局工作空间理论、高阶理论、预测处理、注意图式理论),提取出计算可实现的意识指标属性,并评估了当前AI系统。结论是当前无AI系统具备意识,但构建有意识AI无技术障碍。
AutoGen是一个开源框架,允许开发者通过多个可对话的智能体构建LLM应用。智能体可定制、可对话,并支持LLM、人类输入和工具的组合模式。开发者可灵活定义智能体交互行为,使用自然语言和代码编程对话模式。框架在数学、编程、问答、运筹、在线决策等多个领域展示了有效性。
该论文发布了首个完全基于西班牙语数据预训练的BERT模型,并整合了多个西班牙语自然语言处理任务形成类似GLUE的评测基准。实验表明,该模型在大多数任务上优于多语言BERT模型,部分任务达到新最优水平。模型、预训练数据和基准已公开。
RT-2提出将视觉-语言模型(VLM)与机器人轨迹数据共同微调,通过将机器人动作编码为文本令牌,使模型同时处理自然语言和动作输出。在6000次评估试验中,RT-2展现出对未见物体的泛化能力、解释未训练指令(如按数字或图标放置物体)以及执行基础推理(如选择最小或最大物体)的能力。链式思维推理进一步支持多阶段语义推理,例如选择石头作为临时锤子。
该研究提出SWhisper,首个针对语音驱动大语言模型的近超声越狱攻击方法。通过将恶意提示编码到近超声载波中,利用麦克风非线性解调为可听语音,实现人耳不可感知但被语音识别系统准确转录并传递给LLM。在黑盒评估中,对DeepSeek、Grok等商业平台达到0.94非拒绝率和0.925特定说服分数,暴露了语音LLM系统的关键漏洞。
提出MPDIoU损失函数,基于最小点距离度量边界框相似性,综合重叠区域、中心点距离和宽高偏差,简化计算。在YOLACT和YOLOv7上,PASCAL VOC、MS COCO和IIIT5k数据集表现优于现有损失函数。
中国七部门在 2023 年 7 月公布《生成式人工智能服务管理暂行办法》,自 8 月 15 日起施行。
Anthropic 在 2023 年 7 月发布 Claude 2,并开放网页与 API 访问。
SDXL是Stable Diffusion的升级版,采用三倍大的UNet骨干网络,增加注意力块和更大跨注意力上下文,使用双文本编码器。设计多种新颖条件方案,在多宽高比上训练,并引入后处理精炼模型提升视觉保真度。性能显著优于前代,与黑盒顶级图像生成器竞争。
What changed商业价值从独立聊天产品扩展到已有分发和数据权限的应用。
What to verify next企业是否为席位付费,以及应用能否建立模型之外的壁垒。
本文提出使用强LLM(如GPT-4)作为裁判来评估聊天助手,并引入MT-Bench多轮问答基准和Chatbot Arena众包对战平台。研究发现GPT-4裁判与人类偏好的一致性超过80%,达到人类间一致水平。同时分析了位置偏差、冗长偏差、自我增强偏差和推理能力有限等局限性,并提出了缓解方案。
该论文提出一种低成本方法,利用PubMed Central的图文对和GPT-4生成的指令数据,在15小时内训练出生物医学视觉语言对话助手LLaVA-Med,在三个标准生物医学VQA数据集上部分指标超越此前监督学习最优模型。
该论文证明,经过适当过滤和去重的网络数据(仅来自CommonCrawl)足以训练出强大的大语言模型,甚至优于使用The Pile等精选语料库训练的模型。研究团队从CommonCrawl中提取了5万亿token,并公开了6000亿token的RefinedWeb数据集,以及基于该数据集训练的1.3B和7.5B参数的语言模型。
2023年5月,斯坦福大学团队提出Direct Preference Optimization(DPO),无需显式奖励模型和强化学习,直接通过偏好数据优化LLM。DPO将奖励函数隐式定义为策略的闭式解,训练更简单、更稳定。实验表明DPO在多个任务上匹配或超越PPO。
2023年5月,华盛顿大学团队提出QLoRA,在单个48GB GPU上微调65B参数模型,性能达到ChatGPT的99.3%。核心创新包括4-bit NormalFloat数据类型、双重量化和分页优化器。训练了1000+模型,发现小规模高质量数据集微调即可达到SOTA。
Anthropic 于 2023 年 5 月宣布完成 4.5 亿美元 Series C,由 Spark Capital 领投,Google、Salesforce Ventures、Zoom Ventures 等参与。
2023年4月,LLaVA首次提出使用纯语言GPT-4生成多模态语言-图像指令数据,并基于此训练了一个端到端的大规模多模态模型(连接视觉编码器和LLM)。在Science QA上,LLaVA+GPT-4达到92.53%准确率,创下新纪录;在合成多模态指令跟随数据集上达到GPT-4的85.1%相对分数。
2023年4月,百度提出RT-DETR,首个实时端到端目标检测器,在COCO上以53.1% AP和108 FPS(T4 GPU)超越YOLOv8等先进YOLO系列。它设计了高效混合编码器解耦尺度内交互和跨尺度融合,并提出不确定性最小化查询选择提升解码器初始查询质量。支持通过调整解码器层数灵活调速,无需重新训练。
2023年3月,彭博发布BloombergGPT,一个500亿参数的金融专用语言模型。该模型基于彭博自有的3630亿token金融数据集(含新闻、报告、监管文件等)和3450亿token通用数据训练。在金融基准测试中,BloombergGPT显著优于同等规模的通用模型,同时保持通用NLP性能。
2023年3月,研究者提出HuggingGPT框架,利用ChatGPT作为控制器,自动规划任务、选择Hugging Face上的AI模型、执行子任务并汇总结果。该系统能处理跨模态、跨领域的复杂任务,如“生成一张猫的图片并描述它”。
OpenAI 在 2023 年 3 月发布 ChatGPT Plugins,允许模型调用第三方服务、计算与检索能力。
2023年3月,研究者提出Reflexion框架,让语言智能体通过自我反思的文本反馈来改进决策,而非更新模型权重。在HumanEval代码生成任务上,Reflexion达到91% pass@1,超越GPT-4的80%。该方法适用于多种任务,包括决策、编码、推理。
Microsoft 在 2023 年 3 月发布 Microsoft 365 Copilot,将大模型接入 Word、Excel、PowerPoint、Outlook 与 Teams。
OpenAI 在 2023 年 3 月发布 GPT-4,支持图像输入并在多项专业考试中显著提升表现。
OpenAI 在 2023 年 3 月发布 ChatGPT 和 Whisper API,并显著降低对话模型使用成本。
2023年2月,斯坦福大学提出ControlNet,一种向预训练文本到图像扩散模型添加空间条件控制的神经网络架构。它锁定原模型参数,通过零卷积连接可训练副本,支持边缘、深度、分割、人体姿态等多种条件输入,训练数据量可小至5万张。
2023年2月,Meta提出Toolformer,通过自监督方式训练语言模型自主决定调用外部工具(计算器、搜索引擎、翻译系统、日历等)的时机、参数和结果融合。仅需每个工具少量演示,即可显著提升零样本任务性能,且不损害核心语言建模能力。
Microsoft 于 2023 年 1 月宣布与 OpenAI 进入第三阶段合作,并进行一笔多年、数十亿美元规模的投资。
What changed市场从技术可行性转向留存、分发和使用成本问题。
What to verify next高频使用能否形成付费,以及 API 是否打开应用创业。
2022年12月,Google DeepMind发布GraphCast,一种基于图神经网络和机器学习的中期全球天气预报方法。它直接从再分析数据训练,在0.25度分辨率下预测10天数百个天气变量,耗时不到1分钟。在1380个验证目标中,90%优于最准确的操作性确定性系统,并在热带气旋、大气河流等极端事件预测上表现更优。
2022年12月,OpenAI发布Whisper论文,报告了训练一个模型仅通过预测互联网上68万小时多语言多任务音频的转录文本,即可在零样本设置下达到与先前完全监督方法竞争的性能,且接近人类准确率和鲁棒性。模型和推理代码已开源。
OpenAI 在 2022 年 11 月 30 日发布 ChatGPT research preview。
2022年11月提交。提出Automatic Prompt Engineer (APE),将提示视为程序,由LLM生成候选指令,再通过搜索最大化评分函数自动选择最优指令。在24个NLP任务上,自动生成的指令零样本性能大幅超越LLM基线,并在19/24个任务上达到或超过人类编写的指令。
Stability AI 在 2022 年 8 月公开发布 Stable Diffusion 的模型与代码。
控制点从软件功能和模型 API 迁移到拥有用户任务入口、组织上下文、审批权和结果记录的一层。企业需要防止关键流程被单一模型供应商锁定。
评估重点应放在付费任务是否高频、是否嵌入核心流程、模型成本能否被规模摊薄,以及续费是否来自真实结果。ARR 标签和补贴都可能掩盖实际采用情况。
多模型路由、成本归因、租户隔离、审计和可降级能力会直接决定毛利与交付速度。架构必须允许能力升级而不重写业务流程。
产品必须让用户更快得到可验收结果,并在团队中积累模板、权限、历史和协作价值。一次生成质量不足以形成续费。