Extracting Training Data from Diffusion Models：扩散模型严重记忆训练数据，隐私风险远超GAN
2023年1月提交。系统研究扩散模型（如DALL-E 2、Imagen、Stable Diffusion）的训练数据记忆问题。通过“生成-过滤”流水线，从最先进模型中提取了超过1000个训练样本，包括个人照片和商标logo。训练了数百个不同设置的扩散模型，分析建模和数据决策对隐私的影响。结论：扩散模型比GAN等生成模型隐私性差得多，缓解需要隐私保护训练的新进展。
发展脉络
- 首次出现Extracting Training Data from Diffusion Models：扩散模型严重记忆训练数据，隐私风险远超GANarXiv cs.AI
- 当前判断该发现对AI图像生成服务（如Midjourney、Stable Diffusion）构成直接冲击，可能引发版权诉讼和监管收紧。企业使用生成图像时需评估侵权风险。对数据持有者（如Getty Images）而言，提供了维权依据。同时，推动隐私保护技术（如差分隐私、数据蒸馏）在生成模型中的应用。Agent Pulse · 分析
该工作首次大规模实证揭示扩散模型存在严重的训练数据记忆问题，可被攻击者提取出具体样本。这引发了关于AI生成内容版权和隐私的重大担忧，对模型部署和法规合规提出挑战。研究还指出，现有隐私保护技术（如差分隐私）在扩散模型上效果有限，需要新方法。
方法：使用模型生成大量图像，然后通过自监督相似度搜索（如CLIP）和人工验证，筛选出与训练数据高度相似的样本。在Stable Diffusion上提取了超过1000个实例，包括名人照片和公司Logo。实验发现，模型容量越大、训练数据重复次数越多，记忆越严重。即使采用数据去重，仍存在记忆。与GAN对比：在相同数据集上训练的扩散模型记忆样本数量是GAN的数十倍。边界：提取依赖于模型输出分布，对于罕见概念可能更难。
该发现对AI图像生成服务（如Midjourney、Stable Diffusion）构成直接冲击，可能引发版权诉讼和监管收紧。企业使用生成图像时需评估侵权风险。对数据持有者（如Getty Images）而言，提供了维权依据。同时，推动隐私保护技术（如差分隐私、数据蒸馏）在生成模型中的应用。
AI图像生成公司应立即审计模型记忆风险，部署防护措施。企业采购生成服务时需合同明确版权责任。投资关注隐私保护AI初创公司。法律团队需跟踪相关诉讼和法规。
后续需开发更有效的隐私保护训练方法，如DP-SGD的扩展或数据净化。模型提供商应部署输出过滤和相似度检测，防止敏感内容生成。监管机构可能要求模型进行隐私审计。安全方面，攻击者可能利用提取技术进行社会工程。