2026年8月24日 · llama.cpp
b10605
llama.cpp 发布 b10605 版本，其中 mamba2 的 in/out projections 被扁平化以调度 GEMM 而非 GEMV，并移除了冗余的 output reshape。该版本支持多种平台，包括 macOS、iOS、Linux、Android、Windows 和 openEuler，并启用了多种后端如 Vulkan、ROCm、OpenVINO、SYCL、CUDA 和 OpenCL。
EVENT STORY
发展脉络
- 首次出现b10605llama.cpp
- 当前判断llama.cpp 作为开源推理引擎，持续优化模型性能，反映了开源社区对高效推理的追求。Agent Pulse · 分析
llama.cpp 在 b10605 版本中优化了 mamba2 架构的投影层计算，通过扁平化操作将矩阵乘法从 GEMV 改为 GEMM，以提升性能。
该优化表明 mamba2 的推理性能仍有改进空间，通过调整计算调度方式可能带来效率提升。后续可关注基准测试结果或用户反馈以验证实际效果。
llama.cpp 作为开源推理引擎，持续优化模型性能，反映了开源社区对高效推理的追求。
该优化可能降低推理成本，提升 llama.cpp 在开发者中的吸引力，但具体商业影响需进一步观察。
未来可能看到更多针对 mamba2 或其他架构的类似优化，以及性能对比的公开数据。