2026年1月9日 · Memory Poisoning
Memory Poisoning:持久记忆让恶意输入跨会话影响 Agent
2026 年 1 月 9 日提交的研究在电子健康记录 Agent 上系统测试记忆投毒,并比较输入输出审核与带信任评分、时间衰减和模式过滤的记忆清洗防御。
EVENT STORY
发展脉络
- 首次出现Memory Poisoning:持久记忆让恶意输入跨会话影响 AgentarXiv cs.AI
- 当前判断记忆型客服、医疗和个人助理需要把记忆当成受污染的数据资产治理,而不是普通向量库;权限、来源、过期与删除策略会成为产品安全基线。Agent Pulse · 分析
当 Agent 把用户输入写入长期记忆,攻击不再只影响当前回答,还可能污染未来会话。研究显示现实中的既有合法记忆会降低攻击效果,但防御阈值设置不当会同时造成漏拦和过度拒绝。
实验跨 GPT-4o-mini、Gemini 2.0 Flash 与 Llama 3.1 8B,改变初始记忆、诱导次数和检索参数;防御将多个独立信号组合成信任分,并在检索阶段加入时间衰减与模式过滤,说明记忆安全必须覆盖写入和读取两端。
记忆型客服、医疗和个人助理需要把记忆当成受污染的数据资产治理,而不是普通向量库;权限、来源、过期与删除策略会成为产品安全基线。
上线持久记忆前应记录每条记忆来源与信任度,支持隔离和撤销,并用投毒回归集验证写入审核与检索清洗。
需扩展到更多领域、间接提示注入和多租户记忆,并测量防御对正常个性化、召回率、延迟与运维成本的影响。