2026年6月16日 · OpenAI
Deployment Simulation：OpenAI 用真实分布模拟在发布前预测模型风险
OpenAI 于 2026 年 6 月发布 Deployment Simulation 论文，使用去标识的历史对话为待发布模型重生成回答，并把模拟频率与发布后的真实风险频率比较。
EVENT STORY
发展脉络
- 首次出现Predicting model behavior before release by simulating deploymentOpenAI
- 当前判断前沿模型发布门禁正在从静态 benchmark 转向接近生产分布的连续仿真；拥有真实流量和完善隐私治理的平台会获得评测数据优势。Agent Pulse · 分析
传统安全评测偏向人工挑选的困难样本，难以估计风险在真实流量中的发生率。Deployment Simulation 把生产分布引入发布前验证，让模型风险评测从是否会失败扩展到实际多久失败一次。
研究在多代 GPT-5 Thinking 部署上重放隐私处理后的对话前缀，评估 20 类不良行为的方向与频率校准，并扩展到包含工具调用的 Agent 轨迹。官方披露约 130 万段去标识对话用于验证，同时明确无法测量低于约二十万分之一的罕见风险。
前沿模型发布门禁正在从静态 benchmark 转向接近生产分布的连续仿真；拥有真实流量和完善隐私治理的平台会获得评测数据优势。
企业发布高风险 Agent 前应使用真实但去标识的历史任务做影子重放，比较新旧系统失败率，并为低频高损失风险保留专门压力测试。
需要外部审计其隐私处理、样本代表性和 grader 偏差，并验证当产品形态或用户群变化时历史流量是否仍能预测新风险。