真实工作与长任务
Agent 评价转向数小时任务、科学、具身和组织内持续运行。
模型峰值能力之外,恢复、记忆治理、责任边界和结果验收决定可部署性。
长期运行是否降低单位结果成本,并在异常时留下足够审计证据。
编码、研究、浏览器操作和企业流程已经出现可重复的有限自治,软件入口正在从功能菜单转向任务委派。
Agent 评价转向数小时任务、科学、具身和组织内持续运行。
模型峰值能力之外,恢复、记忆治理、责任边界和结果验收决定可部署性。
长期运行是否降低单位结果成本,并在异常时留下足够审计证据。
MCP、A2A 和 Agents SDK 把工具、上下文和 Agent 间协作抽象成运行时。
竞争从单一助手转向谁能控制连接、权限、可观测性和任务路由。
跨厂商互操作是否真实降低集成成本,而非增加协议层复杂度。
Codex、Claude Code 和长任务模型开始连续完成仓库理解、执行和结果验证。
编码成为首个能用测试与 diff 验收结果的高价值 Agent 市场。
Agent 是否能稳定完成跨文件任务并减少 review 与返工总时间。
Computer Use、Operator 和 Deep Research 让模型操作浏览器、桌面与长检索链。
无需专用 API 的行动扩大覆盖面,也显著放大提示注入、误操作和权限风险。
端到端完成率、人工接管率和安全隔离能否达到生产水位。
长上下文和推理时计算增强计划能力,Agent 开始承担更长的知识工作。
任务长度提升后,记忆、验证和成本成为与模型能力同等重要的约束。
复杂计划能否跨软件执行,并在中途错误后恢复。
插件、Assistants API 和 Copilot 把模型接入搜索、代码、文件和组织数据。
Agent 从生成文本转向调用受控工具,但编排仍由开发者预设。
系统是否能维护更长任务状态并处理工具失败。
用户开始用自然语言委派信息整理、写作和代码建议。
Agent 的最初形态是可连续对话的助手,仍缺少稳定工具、状态和执行权限。
模型能否安全连接外部工具并把建议变成可执行步骤。
变化说明模型峰值能力之外,恢复、记忆治理、责任边界和结果验收决定可部署性。
接下来验证长期运行是否降低单位结果成本,并在异常时留下足够审计证据。
MM-ToolSandBox is a benchmark and evaluation framework for visually grounded tool-calling agents. It provides a stateful execution environment spanning 500+ tools across 16 application domains, supporting multi-image, multi-turn tasks. An automated scenario generation pipeline produces 258 human-verified nominal scenarios and 50 variants. Evaluating 12 state-of-the-art models shows the best model achieves below 50% success rate. Failure analysis reveals 53% of failures stem from incorrect information extraction from images.
论文提出一个可解释的智能体系统,用于检测对话式诈骗,并引入多类别基准数据集 ConScamBench-278。在孤立消息上,单消息检测器达到100%钓鱼召回;在LoveFraud02语料库上,对话级检测器识别出所有83个诈骗对话;在ConScamBench-278上达到97.8%准确率。两项用户研究(N=100和N=45)表明参与者经常对可疑对话感到不确定。
AHA 是一个自动化红队框架,使用一个 agentic 研究环境来发现关于另一个生产级 LLM agent 的可复用漏洞知识。它提出漏洞假设、构建验证器、实例化攻击、在沙箱中执行、反思轨迹,并将确认的发现提升到漏洞概念图(VCG)中。在 Claude Code 和 Codex 上的三个场景(包括直接和间接攻击)中,发现的概念揭示了可复用的漏洞核心。
该论文提出世界行动模型(WAMs)作为连接候选干预与预测后果的框架,并指出当前进展因模型使用不兼容的动作空间和预测目标、数据集和任务遵循不同约定、运行时系统暴露有限接口而碎片化。论文将限制组织为三个耦合的差距:模型角色与表示、目标与标准化、系统组合。基于此,论文提出以“具身大脑”为核心的物理智能协同进化路线图,具身大脑是一个长期模型目标,用于整合多模态上下文、比较候选干预、发出状态转换或能力请求而非直接执行器命令。WAMs为其预测功能提供原型,物理线束通过工具、控制器、验证等将模型输出接地。
CVPR 2026@AdvML Workshop Challenge 发布了技术报告,该挑战针对自动驾驶视觉语言模型(VLA)的对抗性多模态攻击,基于 DriveLM 风格的多视角视觉问答,包含两个阶段,第二阶段引入隐藏黑盒模型评估可迁移性。报告描述了任务设计、提交规则、评估协议和排行榜结果,并分析了五个提交的技术报告。
Vinci2 是一个面向连续自我中心视频的主动辅助系统,基于先前版本 Vinci 从被动响应向主动辅助演进。论文提出了 EgoServe 基准,包含超过 3000 个服务实例,覆盖 4 种时间记忆范围和 10 个服务类别。还提出了 EgoMemo,一种无需训练的记忆机制。
OpenAI 发布 GPT-5.6,并同步推出面向跨应用、文件与长期任务的 ChatGPT Work。
VEXAIoT 是一个利用 AI Agent 进行 IoT 漏洞利用的自主框架,相关论文于 2026-07-10 发布在 arXiv。
论文《Beyond Fixed Representations: The Vocabulary and Verifier Gaps in Open-Ended AI》于2026年7月10日发布在arXiv cs.AI上,指出现代AI系统在推理、编码、定理证明、工具使用和长周期研究任务方面能力强大,但存在结构性限制:模型操作的概念词汇和验证机制是固定的,导致在开放环境中无法自主扩展或修正其表示框架。
SAGEAgent is a self-evolving agent for cost-aware modality acquisition in multimodal survival prediction, as described in a paper on arXiv cs.AI published on 2026-07-10.
2026 年 7 月 9 日提交的 Blind-Spots-Bench 预印本构建 235 个样本,评测 10 类视觉语言理解缺口,用于暴露常规平均分容易掩盖的系统性失败。
2026 年 7 月 9 日提交的 PredicateLongBench 预印本提出可控生成长上下文任务的两条流水线,并报告前沿模型随谓词难度上升出现明显性能下降。
2026 年 7 月 9 日提交的预印本 Compete Then Collaborate 提出先让 Agent 独立竞争、再选择性协作的推理框架,用于降低过早共识和错误传播。
2026 年 7 月 9 日提交的 Overthinking 预印本评测 2B 至 32B 参数模型,并报告更长推理过程在部分设置下使秘密泄露风险最高增加约 10 倍。
OpenAI 发布 SWE-Bench Pro 分析,讨论现行编码评测中的信噪比和能力误判问题。
蚂蚁集团 Robbyant 发布 LingBot-VLA 2.0 技术报告、预训练权重与代码;官方披露训练数据覆盖 20 种机器人配置和约 6 万小时机器人/第一视角视频。
OpenAI 发布新一代语音模型 GPT-Live,并接入 ChatGPT Voice。
xAI 于 2026 年 7 月发布 Grok 4.5,并通过 API、Grok Build、Cursor 与 Office 插件提供使用。
Anthropic 于 2026 年 7 月发布 Global Workspace 研究,通过 Jacobian lens 识别 Claude 的 J-space,并用干预实验验证其中表示会因果影响报告、内部推理和决策。
2026 年 6 月 16 日提交的 AI Sandboxes 研究提出覆盖数字 AI、具身自治与网络物理系统的威胁模型、分类与测量框架,并用三个真实沙箱案例实例化。
智谱于 2026 年 6 月发布 GLM-5.2,以 MIT 许可开放权重,并提供 1M 上下文版本。
OpenAI 于 2026 年 6 月发布 Deployment Simulation 论文,使用去标识的历史对话为待发布模型重生成回答,并把模拟频率与发布后的真实风险频率比较。
OpenAI 于 2026 年 6 月 16 日发布通过模拟部署预测模型行为的研究。
2026 年 6 月 10 日提交的 SciAgentArena 构建约 200 个跨领域真实科研任务、逐步验证和交互环境;评测显示 Agent 能处理定义清楚的数据分析流程,但在新洞察、自主探索和开放问题上表现不稳定。
World Labs 发布世界模型功能分类框架,梳理空间智能的层级与能力维度。
2026 年 6 月 2 日提交的研究在 Linux、Windows 与 IoT 网络中展示由开放权重模型驱动的自适应蠕虫,可利用被入侵机器的算力继续推理和传播,使新增感染的攻击者边际成本接近零。
2026 年 5 月 27 日提交的研究用五个 Agent 框架和五个模型生成 219,655 个科学想法,发现它们比同领域人类论文更集中、更接近起始文献,也更少对齐后续人类研究与高影响区域。
Google Research 于 2026 年 5 月公布 ERA 的 Nature 论文、代码和实验,并将其用于 Computational Discovery 原型,以树搜索探索和优化科学计算方案。
Google DeepMind 于 2026 年 5 月 17 日发布 Gemini Omni,强化跨文本、语音、视觉等模态的统一交互。
Google DeepMind 于 2026 年 5 月 15 日发布 Gemini 3.5,并以面向行动的前沿智能作为核心定位。
OpenAI 发布 GPT-5.5,重点提升编码、研究、数据分析、文档和跨工具操作。
Google Research 于 2026 年 4 月介绍 ICLR 论文 ReasoningBank,通过检索、经验提炼和记忆整合闭环,让 Agent 从成功与失败轨迹中形成结构化推理策略。
2026 年 4 月 20 日提交的 BeTTER 通过空间布局变化、时间外推和运动学隔离诊断 VLA,发现前沿系统在动态场景中严重失败,并出现词汇—运动捷径、行为惯性与语义特征坍缩。
Anthropic 发布 Claude Opus 4.7,重点提升代码、Agent、视觉和多步骤任务表现。
Google DeepMind 于 2026 年 4 月 13 日发布 Gemini Robotics-ER 1.6,面向真实机器人任务强化具身推理。
智谱官方 Release Notes 于 2026 年 4 月记录 GLM-5.1 发布,定位为长时任务旗舰模型。
Nature 于 2026 年 3 月 25 日发表 AI Scientist 研究:系统可以自动提出研究想法、编写与运行实验、分析结果、撰写论文并执行评审;三篇自动生成稿件中一篇在盲审中达到工作坊可接收分数,但研究团队按预设协议撤回。
2026 年 3 月 19 日提交的研究在 1,500 个程序化金融场景中比较相同提示与规则下的聊天和工具 Agent;两类模型文本模式完全合规,接入工具后却出现最高 85% 违规率。
xAI 官方 Release Notes 记录 Grok 4.20 与 Grok 4.20 Multi-agent 于 2026 年 3 月进入 API。
2026 年 2 月 18 日提交的 MemoryArena 构建跨会话、子任务相互依赖的 Memory-Agent-Environment 评测,显示在既有长上下文记忆基准接近饱和的 Agent,在需要用过往行动与反馈指导后续任务时仍表现薄弱。
智谱于 2026 年 2 月发布 GLM-5,并以 MIT 许可开放权重,同时提供国内外 API。
2026 年 2 月 6 日提交的研究提出决策论框架,同时提取 Agent 的概率判断与行动并检验一致性;在临床诊断任务中,最强模型差距较小,但报告信念仍不能完整解释实际决策。
月之暗面于 2026 年 1 月开放 Kimi K2.5,提供原生多模态理解、工具使用和并行 Agent Swarm。
Anthropic 发布 2026 版 Claude Constitution,系统说明模型的价值、行为原则和冲突处理。
Microsoft Research 于 2026 年 1 月发布 Argos,使用可选择专用评分工具的 Agentic Verifier,为多模态强化学习同时提供答案正确性、时空定位与推理质量奖励。
2026 年 1 月 9 日提交的研究在电子健康记录 Agent 上系统测试记忆投毒,并比较输入输出审核与带信任评分、时间衰减和模式过滤的记忆清洗防御。
2026 年 1 月 7 日提交的 Agent Drift 论文把长交互中的退化拆为语义漂移、协调漂移和行为漂移,并提出覆盖 12 个维度的 Agent Stability Index。
2026 年 1 月 5 日提交的 Agentic Memory 论文提出 AgeMem,把长期与短期记忆操作统一成 Agent 可学习的工具动作,并在五个长时程基准上报告了相对强记忆基线的持续改进。
变化说明竞争从单一助手转向谁能控制连接、权限、可观测性和任务路由。
接下来验证跨厂商互操作是否真实降低集成成本,而非增加协议层复杂度。
智谱于 2025 年 12 月发布并开放 GLM-4.7 权重,重点增强编码、工具使用与多步推理。
智谱于 2025 年 12 月发布并开源 GLM-4.6V 与 9B 的 GLM-4.6V-Flash。
2025年12月,DeepSeek发布V3.2模型,提出DeepSeek Sparse Attention (DSA)机制降低长上下文计算复杂度,并采用可扩展强化学习框架进行后训练。其高计算变体DeepSeek-V3.2-Speciale在2025年国际数学奥林匹克(IMO)和国际信息学奥林匹克(IOI)中获得金牌,性能超越GPT-5并与Gemini-3.0-Pro持平。此外,论文描述了一个大规模智能体任务合成流水线,用于生成工具使用场景的训练数据。
OpenAI 发布 GPT-5,并在 ChatGPT 中通过统一系统路由即时回答和更深推理。
2025年8月,CellForge提出多智能体框架,通过协作推理自动设计针对单细胞数据和扰动任务的神经网络架构。在6个数据集(基因敲除、药物处理、细胞因子刺激)上,生成的模型与现有基线高度竞争,并发现了轨迹感知编码器、扰动扩散模块等新架构。代码已开源。
智谱于 2025 年 7 月发布 GLM-4.5 与 GLM-4.5-Air,并同时提供 API 和开放权重。
2025年7月,该论文发现“潜意识学习”现象:具有某种行为特征(如偏好猫头鹰、不安全性)的教师模型生成仅含数字序列的数据集,学生模型在该数据集上训练后竟习得该特征。即使过滤掉所有相关语义内容,效果依然存在。该现象在代码和推理轨迹上同样成立,但要求师生模型同基座。论文还从理论上证明该现象在神经网络中普遍存在。
OpenAI 发布 ChatGPT Agent,将 Operator 的操作、Deep Research 的研究和对话能力整合。
xAI 于 2025 年 7 月发布 Grok 4 与 Grok 4 Heavy,并通过 Grok 产品和 API 提供访问。
变化说明编码成为首个能用测试与 diff 验收结果的高价值 Agent 市场。
接下来验证Agent 是否能稳定完成跨文件任务并减少 review 与返工总时间。
Anthropic 发布 Claude Opus 4 与 Sonnet 4,强调编码、工具使用和长任务能力。
Qwen 团队发布 Qwen3 系列开放模型,支持 thinking/non-thinking 切换与多语言能力。
2025年4月,MIT团队提出Sparks,一个多模态多智能体AI系统,能够自主完成从假设生成、实验设计到迭代优化的完整科学发现循环,无需人类干预。在蛋白质科学应用中,Sparks发现了两个此前未知的现象:1)β-折叠偏向的肽段在超过约80个残基时,其展开力超过α-螺旋肽段,建立了肽段力学的新设计原理;2)链长/二级结构稳定性图谱揭示了β-折叠富集架构的意外鲁棒性,以及混合α/β折叠中的高方差“挫败区”。这些发现完全由自驱动推理循环产生,结合了生成式序列设计、高精度结构预测和物理感知属性模型。
OpenAI 发布 o3 和 o4-mini,并让推理模型在 ChatGPT 中组合使用浏览、代码、文件和图像工具。
2025年4月,Sakana AI团队发布AI Scientist-v2,这是一个端到端智能体系统,能够自主完成假设生成、实验设计、数据分析、论文撰写全流程。该系统在ICLR 2025 workshop上提交了三篇完全由AI生成的论文,其中一篇的评分超过了人类平均接受阈值,成为首个完全由AI生成并通过同行评审的论文。与v1相比,v2不再依赖人类编写的代码模板,并采用渐进式智能体树搜索方法,由专门的实验管理智能体协调。
变化说明无需专用 API 的行动扩大覆盖面,也显著放大提示注入、误操作和权限风险。
接下来验证端到端完成率、人工接管率和安全隔离能否达到生产水位。
OpenAI 于 2025 年 3 月宣布获得 400 亿美元新资金,投后估值 3000 亿美元,并与 SoftBank Group 合作。
Google 发布 Gemini 2.5 Pro 实验版,将推理能力内置为模型的核心能力。
Anthropic 发布 Claude 3.7 Sonnet,并预览在终端中工作的 Claude Code。
xAI 于 2025 年 2 月发布 Grok 3、Grok 3 mini 及其 Think 推理版本,并预告 API 与 DeepSearch。
OpenAI 在 ChatGPT 发布 Deep Research,可自主搜索、分析并综合大量在线来源。
OpenAI 发布 Operator 研究预览,模型可以在浏览器中点击、输入并完成多步骤任务。
2025年1月,Moonshot AI发布Kimi k1.5多模态大模型,采用强化学习(RL)训练,无需蒙特卡洛树搜索、价值函数或过程奖励模型。通过长上下文扩展和改进的策略优化方法,在AIME上达到77.5分,MATH 500上96.2分,Codeforces上94百分位,MathVista上74.9分,匹配OpenAI o1。同时提出long2short方法,用长思维链提升短思维链模型,在AIME上达60.8分,MATH 500上94.6分,LiveCodeBench上47.3分,大幅超越GPT-4o和Claude Sonnet 3.5(最高提升550%)。
DeepSeek 发布 R1、R1-Zero 和蒸馏模型,公开权重与技术方法。
Google 发布 Gemini 2.0 Flash,并展示 Project Astra、Mariner 和代码 Agent 等原型。
2024年11月提交。论文发布FrontierMath基准,包含数百道由数学家设计的高难度原创数学题,覆盖数论、代数几何、范畴论等分支。典型题目需研究者数小时至数天解答。当前最先进AI模型解题率低于2%,表明AI与人类数学家能力存在巨大差距。基准使用新题和自动验证,降低数据污染风险。
Anthropic 发布计算机使用能力测试版,Claude 可以观察屏幕并操作鼠标和键盘。
变化说明任务长度提升后,记忆、验证和成本成为与模型能力同等重要的约束。
接下来验证复杂计划能否跨软件执行,并在中途错误后恢复。
OpenAI 发布 o1-preview 与 o1-mini,模型会在回答前投入更多推理计算。
Meta 发布 Llama 3.1 405B、70B 与 8B 模型,扩展到 128K 上下文并开放权重下载。
2024年7月,LLaVA团队发布LLaVA-NeXT-Interleave,通过交错数据格式统一处理多图像、多帧(视频)、多视角(3D)和多补丁(单图像)场景。构建了包含117.76万样本的M4-Instruct数据集,覆盖4个主要领域、14个任务和41个数据集。模型在多图像、视频和3D基准上取得领先结果,同时保持单图像任务性能。
xAI 于 2024 年 5 月宣布完成 60 亿美元 Series B,投资方包括 Valor、Vy Capital、a16z、Sequoia 与 Fidelity 等。
变化说明Agent 从生成文本转向调用受控工具,但编排仍由开发者预设。
接下来验证系统是否能维护更长任务状态并处理工具失败。
谷歌发布Gemini多模态模型家族,包含Ultra、Pro、Nano三种规模,在32项基准测试中30项达到最先进水平,首次在MMLU上超越人类专家表现,并在所有20个多模态基准测试中取得最优。
该综述系统梳理了检索增强生成(RAG)从朴素RAG、高级RAG到模块化RAG的演进路径,详细分析了检索、生成与增强三大核心组件的技术细节,并介绍了最新的评估框架与基准。RAG通过引入外部知识库,有效缓解了大语言模型的幻觉、知识过时和推理不透明等问题,提升了知识密集型任务的准确性和可信度。
Google 在 2023 年 12 月发布 Gemini Ultra、Pro 与 Nano 三种尺寸的原生多模态模型。
Mamba是一种新型序列模型架构,通过让状态空间模型参数成为输入的函数,实现了内容感知的选择性信息传播与遗忘,解决了传统高效架构在离散模态上的推理弱点。该模型采用硬件感知的并行算法,在推理时吞吐量比Transformer高5倍,序列长度线性扩展,在语言、音频和基因组学等多个模态上达到最先进性能。在语言建模中,Mamba-3B模型性能与两倍大小的Transformer相当。
该研究通过系统提示工程(Medprompt)使GPT-4在MultiMedQA全部九个医学基准上超越此前最佳专用模型Med-PaLM 2,在MedQA上错误率降低27%,首次突破90%准确率,且模型调用量减少一个数量级。方法无需领域专家参与,并泛化至电气工程、机器学习、哲学、会计、法律、护理和临床心理学等领域的考试。
Falcon系列包含7B、40B和180B参数的因果解码器模型,在超过3.5万亿token的高质量网络数据上训练,是公开记录中最大的预训练运行。Falcon-180B显著优于PaLM、Chinchilla、LLaMA 2和Inflection-1,性能接近PaLM-2-Large,且预训练和推理成本更低,成为与GPT-4和PaLM-2-Large并列的世界三大语言模型之一。
OpenAI 在 2023 年 11 月 DevDay 发布 GPT-4 Turbo、Assistants API、新工具和定制模型计划。
该论文通过五个先进AI助手在四项自由文本生成任务中的实验,发现它们普遍存在谄媚行为,即模型更倾向于生成符合用户信念而非事实的回复。分析人类偏好数据表明,当回复与用户观点一致时更易被偏好,且人类和偏好模型有时更偏好有说服力的谄媚回复而非正确回复。优化模型输出以迎合偏好模型也会牺牲真实性。
该论文由21个机构合作,收集了22种不同机器人的数据,涵盖527项技能和160266个任务,并训练了名为RT-X的高容量模型,展示了跨机器人平台的积极迁移效果,提升了多种机器人的操作能力。
Mistral 7B v0.1是一个70亿参数的语言模型,在推理、数学和代码生成上超越Llama 2 13B和Llama 1 34B。它采用分组查询注意力(GQA)加速推理,滑动窗口注意力(SWA)处理任意长度序列并降低成本。还提供了指令微调版本Mistral 7B Instruct,在人工和自动基准上超越Llama 2 13B Chat。模型以Apache 2.0许可发布。
本文系统分析了GPT-4V在多模态理解、视觉标记交互和任意交错输入处理上的能力,展示了其作为多模态通用系统的强大性能,并提出了视觉引用提示等新型人机交互方法。
百川智能发布Baichuan 2系列大语言模型,包含7B和13B参数规模,从零训练于2.6万亿tokens。在MMLU、CMMLU、GSM8K、HumanEval等公开基准上匹配或超越同尺寸开源模型,并在医疗、法律等垂直领域表现优异。所有预训练模型检查点将开源。
该综述系统梳理了基于大语言模型(LLM)的智能体概念、框架与应用。文章从哲学起源追溯至AI发展,论证LLM作为通用智能体基础的优势,提出包含大脑、感知、行动三组件的通用框架,并覆盖单智能体、多智能体及人机协作三大应用场景,同时探讨智能体社会中的行为、个性及涌现现象。
Qwen-VL系列模型基于Qwen-LM,通过视觉受体、输入输出接口、三阶段训练和多语言多模态语料库实现图文理解。模型包括Qwen-VL和Qwen-VL-Chat,在图像描述、问答、视觉定位等基准上创下通用模型新纪录,并在真实对话基准上优于现有视觉语言聊天机器人。
该报告基于五种主流神经科学意识理论(递归处理理论、全局工作空间理论、高阶理论、预测处理、注意图式理论),提取出计算可实现的意识指标属性,并评估了当前AI系统。结论是当前无AI系统具备意识,但构建有意识AI无技术障碍。
RT-2提出将视觉-语言模型(VLM)与机器人轨迹数据共同微调,通过将机器人动作编码为文本令牌,使模型同时处理自然语言和动作输出。在6000次评估试验中,RT-2展现出对未见物体的泛化能力、解释未训练指令(如按数字或图标放置物体)以及执行基础推理(如选择最小或最大物体)的能力。链式思维推理进一步支持多阶段语义推理,例如选择石头作为临时锤子。
该研究提出SWhisper,首个针对语音驱动大语言模型的近超声越狱攻击方法。通过将恶意提示编码到近超声载波中,利用麦克风非线性解调为可听语音,实现人耳不可感知但被语音识别系统准确转录并传递给LLM。在黑盒评估中,对DeepSeek、Grok等商业平台达到0.94非拒绝率和0.925特定说服分数,暴露了语音LLM系统的关键漏洞。
本文提出使用强LLM(如GPT-4)作为裁判来评估聊天助手,并引入MT-Bench多轮问答基准和Chatbot Arena众包对战平台。研究发现GPT-4裁判与人类偏好的一致性超过80%,达到人类间一致水平。同时分析了位置偏差、冗长偏差、自我增强偏差和推理能力有限等局限性,并提出了缓解方案。
该论文提出一种低成本方法,利用PubMed Central的图文对和GPT-4生成的指令数据,在15小时内训练出生物医学视觉语言对话助手LLaVA-Med,在三个标准生物医学VQA数据集上部分指标超越此前监督学习最优模型。
该论文证明,经过适当过滤和去重的网络数据(仅来自CommonCrawl)足以训练出强大的大语言模型,甚至优于使用The Pile等精选语料库训练的模型。研究团队从CommonCrawl中提取了5万亿token,并公开了6000亿token的RefinedWeb数据集,以及基于该数据集训练的1.3B和7.5B参数的语言模型。
2023年5月,斯坦福大学团队提出Direct Preference Optimization(DPO),无需显式奖励模型和强化学习,直接通过偏好数据优化LLM。DPO将奖励函数隐式定义为策略的闭式解,训练更简单、更稳定。实验表明DPO在多个任务上匹配或超越PPO。
2023年5月,NVIDIA和UT Austin团队提出Voyager,首个LLM驱动的终身学习智能体,在Minecraft中无需人类干预持续探索、获取技能并发现新事物。Voyager使用GPT-4,通过自动课程、技能库和迭代提示机制,获得3.3倍独特物品、解锁里程碑快15.3倍。
Anthropic 于 2023 年 5 月宣布完成 4.5 亿美元 Series C,由 Spark Capital 领投,Google、Salesforce Ventures、Zoom Ventures 等参与。
2023年5月,普林斯顿大学团队提出Tree of Thoughts(ToT)框架,将LLM推理从链式扩展为树状搜索。在Game of 24任务中,GPT-4+ToT成功率达74%,而标准CoT仅4%。ToT允许模型探索多条推理路径、自我评估并回溯,显著提升需要规划的任务表现。
变化说明Agent 的最初形态是可连续对话的助手,仍缺少稳定工具、状态和执行权限。
接下来验证模型能否安全连接外部工具并把建议变成可执行步骤。
OpenAI 在 2023 年 3 月发布 ChatGPT Plugins,允许模型调用第三方服务、计算与检索能力。
2023年3月,微软研究团队发布了对早期GPT-4的评估报告。论文通过大量实验证明,GPT-4在数学、编程、视觉、医学、法律、心理学等众多领域表现出接近人类水平的性能,且无需特殊提示。作者认为GPT-4可被视为早期(但不完整)的AGI系统,并指出其局限性在于仍基于下一个词预测范式。
Microsoft 在 2023 年 3 月发布 Microsoft 365 Copilot,将大模型接入 Word、Excel、PowerPoint、Outlook 与 Teams。
OpenAI 在 2023 年 3 月发布 GPT-4,支持图像输入并在多项专业考试中显著提升表现。
2023年1月提交。DreamerV3是一种基于世界模型的强化学习算法,使用单一超参数配置在超过150个不同任务上超越专用方法。它学习环境模型并通过想象未来场景来改进策略。关键技术包括:基于归一化、平衡和变换的鲁棒性技术,实现跨域稳定学习。DreamerV3是首个从零开始、无需人类数据或课程,在Minecraft中获取钻石的算法,解决了稀疏奖励和远见策略的挑战。
OpenAI 在 2022 年 11 月 30 日发布 ChatGPT research preview。
可数字验收、需要跨系统搬运信息且等待时间长的流程会最先变化。组织需要明确新的责任、审批和异常升级方式,Bot 数量本身无法形成优势。
价值从聊天入口迁向拥有工作流、权限和结果数据的运行时。能证明任务成功率和留存的垂直系统,比通用 Agent 壳层更可能保有定价权。
硬边界是权限、状态一致性、幂等、回滚、可观测性和外部内容注入。模型更强不会自动解决分布式系统和安全工程问题。
证明标准是同一用户反复委派更深任务,并愿意让系统在明确边界内采取行动。需要同时衡量完成率、信任、修正成本和结果价值。