ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models：为扩散模型注入精细控制，开启图像生成新范式
2023年2月，斯坦福大学提出ControlNet，一种向预训练文本到图像扩散模型添加空间条件控制的神经网络架构。它锁定原模型参数，通过零卷积连接可训练副本，支持边缘、深度、分割、人体姿态等多种条件输入，训练数据量可小至5万张。
发展脉络
- 首次出现ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models：为扩散模型注入精细控制，开启图像生成新范式arXiv cs.AI
- 当前判断ControlNet极大降低了AI图像生成在专业领域的应用门槛。设计师可通过草图、姿态等条件快速迭代创意；影视制作人可控制角色姿势和场景布局；游戏开发可生成符合关卡设计的资产。它催生了大量基于ControlNet的插件和应用（如Stable Diffusion WebUI），推动了AI绘画工具的普及。Agent Pulse · 分析
ControlNet解决了扩散模型生成图像可控性差的问题，允许用户通过边缘图、深度图、姿态骨架等条件精确引导生成结果。其零卷积设计保证了训练稳定性，且不破坏原模型能力。这大幅拓展了AI图像生成在专业设计、影视制作等领域的实用价值。
ControlNet复制Stable Diffusion的编码器部分作为可训练副本，并通过零卷积层（初始权重为零）与原模型连接。零卷积确保训练开始时副本输出为零，不干扰原模型；训练过程中，副本逐渐学习条件控制。支持多种条件输入：Canny边缘、HED边缘、深度图（MiDaS）、法线图、分割图（ADE20K）、人体姿态（OpenPose）等。训练时，条件图像与文本提示共同输入，模型学习在保持原图风格的同时满足条件约束。评估显示，ControlNet在保持图像质量的同时，条件控制精度高，且对训练数据量不敏感（5万张即可）。边界：条件输入需预处理为特定格式；复杂场景下多条件可能冲突。
ControlNet极大降低了AI图像生成在专业领域的应用门槛。设计师可通过草图、姿态等条件快速迭代创意；影视制作人可控制角色姿势和场景布局；游戏开发可生成符合关卡设计的资产。它催生了大量基于ControlNet的插件和应用（如Stable Diffusion WebUI），推动了AI绘画工具的普及。
设计工具公司（如Adobe、Figma）可集成ControlNet，提供基于条件控制的AI生成功能。企业可开发面向特定行业的条件控制模型（如建筑平面图生成、服装设计）。建议优先在需要精确控制生成结果的场景（如广告设计、产品原型）采用。
关注ControlNet的实时化、视频条件控制、3D条件控制等扩展。其零卷积思想可能被其他生成模型借鉴。需观察社区对更多条件类型的支持以及商业产品集成情况。