2026年8月11日 · llama.cpp
b10357
llama.cpp 发布 b10357 版本，包含一个针对 Flash Attention prefill kernel 的 OpenCL 优化：在本地内存中转置 K tile。该版本同时列出了 macOS、iOS、Linux、Android、Windows 和 openEuler 等多个平台的构建支持情况。
EVENT STORY
发展脉络
- 首次出现b10357llama.cpp
- 当前判断llama.cpp 持续优化推理内核，表明开源社区在提升 LLM 推理效率方面仍有活跃投入，尤其关注非 NVIDIA 硬件（如 OpenCL 支持的设备）的性能。Agent Pulse · 分析
llama.cpp 在 b10357 版本中为 Flash Attention prefill kernel 添加了 OpenCL 优化，通过在本地内存中转置 K tile 来提升性能。该版本继续支持广泛的硬件和操作系统平台。
该优化针对 Flash Attention 的 prefill 阶段，通过本地内存转置 K tile 可能减少内存访问延迟或提高缓存利用率。具体性能提升幅度未在证据中给出，需关注后续基准测试或用户反馈。
llama.cpp 持续优化推理内核，表明开源社区在提升 LLM 推理效率方面仍有活跃投入，尤其关注非 NVIDIA 硬件（如 OpenCL 支持的设备）的性能。
该优化可能降低在 OpenCL 设备上运行 LLM 推理的成本，扩大 llama.cpp 在边缘设备或异构计算环境中的适用性，对开发者生态有积极影响。
未来可能看到更多针对不同硬件后端的 Flash Attention 优化，以及性能基准的发布。可关注 llama.cpp 后续版本是否包含类似优化或相关讨论。