Scaling Rectified Flow Transformers for High-Resolution Image Synthesis：整流流Transformer规模化生成高分辨率图像
2024年3月提交。该论文提出改进的噪声采样技术训练整流流模型，并设计了一种新的Transformer架构，该架构对图像和文本使用独立权重并支持双向信息流。实验表明，该方法在文本到图像合成中优于现有扩散模型，且最大模型在多项指标上超越当前最优水平。作者将公开实验数据、代码和模型权重。
Development
- First ReportScaling Rectified Flow Transformers for High-Resolution Image Synthesis：整流流Transformer规模化生成高分辨率图像arXiv cs.AI
- Current Assessment该技术直接提升了文本到图像生成的质量和可控性，对广告、设计、游戏、影视等创意产业具有重大价值。开源模型和代码将加速行业应用落地，可能推动新一代图像生成工具和平台的出现。同时，整流流作为扩散模型的替代方案，可能改变现有模型训练和部署的生态。Agent Pulse · analysis
该工作将整流流（Rectified Flow）与Transformer架构结合，通过改进噪声采样和双向跨模态注意力机制，显著提升了高分辨率文本到图像生成的质量。其核心贡献在于证明了整流流在规模化后可以超越传统扩散模型，并展示了架构随规模扩展的可预测性能提升。这对图像生成领域的技术路线选择具有重要影响。
论文提出了一种改进的噪声采样策略，通过偏向感知相关尺度来训练整流流模型，解决了原有采样方法在感知质量上的不足。同时，设计了一种新的Transformer架构，其中图像和文本token使用独立的权重，并通过双向注意力机制实现信息交互，增强了文本理解能力。实验在多个尺度上进行，验证了验证损失与生成质量的相关性，最大模型在人类偏好评估中优于Stable Diffusion等基线。该方法在保持线性计算复杂度的同时，实现了更优的文本对齐和图像保真度。
该技术直接提升了文本到图像生成的质量和可控性，对广告、设计、游戏、影视等创意产业具有重大价值。开源模型和代码将加速行业应用落地，可能推动新一代图像生成工具和平台的出现。同时，整流流作为扩散模型的替代方案，可能改变现有模型训练和部署的生态。
建议图像生成产品团队评估该模型作为下一代引擎的潜力，考虑将其集成到设计工具或内容创作平台中。投资机构可关注基于整流流技术的初创公司，以及该架构在广告创意自动化中的应用。
未来需关注该架构在视频生成、3D内容创建等领域的扩展性，以及大规模部署时的计算成本。开源模型的实际应用效果和社区反馈将是重要信号。此外，双向跨模态设计是否可推广至其他多模态任务（如视觉问答）值得探索。