Jul 24, 2026 · llama.cpp
b10121: ui: reduce per-token render cost when streaming (#26053)
llama.cpp 发布 b10121 版本，通过 UI 优化将流式输出时每个 token 的渲染时间从 210.36ms 降至 2.67ms（40 条消息场景下从 22.02ms 降至 3.33ms）。
EVENT STORY
Development
- First Reportb10121: ui: reduce per-token render cost when streaming (#26053)llama.cpp
- Current Assessment开源推理框架持续优化用户体验，降低流式输出的感知延迟，有助于提升 LLM 应用的交互流畅度。Agent Pulse · analysis
llama.cpp 在 b10121 版本中显著降低了流式输出时每个 token 的 UI 渲染延迟，实测性能提升约 78 倍（从 210.36ms 降至 2.67ms）。
该优化通过减少每 token 渲染开销实现，可能涉及虚拟列表或增量 DOM 更新技术。
开源推理框架持续优化用户体验，降低流式输出的感知延迟，有助于提升 LLM 应用的交互流畅度。
降低流式渲染成本可提升用户留存，尤其对聊天和实时生成场景有直接商业价值。
后续版本可能进一步优化首 token 延迟或支持更复杂的 UI 组件。