RT-DETR: DETRs Beat YOLOs on Real-time Object Detection：实时目标检测的Transformer时代来临
2023年4月，百度提出RT-DETR，首个实时端到端目标检测器，在COCO上以53.1% AP和108 FPS（T4 GPU）超越YOLOv8等先进YOLO系列。它设计了高效混合编码器解耦尺度内交互和跨尺度融合，并提出不确定性最小化查询选择提升解码器初始查询质量。支持通过调整解码器层数灵活调速，无需重新训练。
发展脉络
- 首次出现RT-DETR: DETRs Beat YOLOs on Real-time Object Detection：实时目标检测的Transformer时代来临arXiv cs.AI
- 当前判断实时目标检测是自动驾驶、安防监控、工业质检等领域的核心技术。RT-DETR的端到端特性简化了模型部署（无需NMS），降低了工程复杂度。其灵活调速能力使得同一模型可同时用于云端高精度和边缘低延迟场景，减少模型维护成本。Agent Pulse · 分析
RT-DETR打破了YOLO在实时检测领域的统治地位，证明了Transformer架构在速度和精度上均可超越CNN-based检测器。其端到端设计消除了NMS后处理，简化了部署流程。灵活的推理速度调节机制使其能适配从边缘设备到云端的不同场景，有望成为下一代实时检测标准。
RT-DETR基于DETR改进，核心创新包括：1）高效混合编码器：将多尺度特征处理分解为尺度内交互（使用Transformer encoder）和跨尺度融合（使用CNN-based fusion），大幅降低计算量；2）不确定性最小化查询选择：在解码器输入前，通过IoU-aware分类头筛选高置信度查询，并最小化位置不确定性，提升解码效率；3）支持可变解码器层数：推理时可通过选择不同层数（如1-6层）在速度和精度间权衡。实验表明，RT-DETR-R50在COCO上达到53.1% AP，比DINO-R50高2.2% AP且快21倍。
实时目标检测是自动驾驶、安防监控、工业质检等领域的核心技术。RT-DETR的端到端特性简化了模型部署（无需NMS），降低了工程复杂度。其灵活调速能力使得同一模型可同时用于云端高精度和边缘低延迟场景，减少模型维护成本。
建议自动驾驶和安防团队评估RT-DETR替换现有YOLO模型的可行性，重点关注其在特定场景（如夜间、遮挡）下的表现。对于边缘部署，可利用其调速特性在资源受限设备上运行轻量版本。
关注RT-DETR在小目标检测、视频流检测上的扩展；其高效编码器设计能否被其他视觉任务（如分割、姿态估计）借鉴；以及百度是否会将其集成到PaddleDetection等工业级工具中。