llama.cpp为64维状态扫描新增GPU快速路径
据llama.cpp b12207发布说明，ggml-cuda为SSM_SCAN内核新增了d_state=64快速路径，覆盖Zamba2及类似架构在循环扫描步骤中使用的64维状态。此次改动沿用已有实现模式，增加第四个模板实例，没有改变底层数学计算。 此前，GPU内核的快速路径只覆盖96、128和256三种状态大小，64维状态不在其中。
llama.cpp
收录 7 篇关于“llama.cpp”的文章，最近更新于 2026-11-09。
llama.cpp v0.8.0新增实时音频接口
据llama.cpp Releases的v0.8.0版本说明，这次更新加入LiquidAI LFM3家族，覆盖文本、视觉、音频和omni模型，并通过新增的/v1/realtime和/tts端点，将实时音频输入、输出接入服务器。 音频相关更新还包括mtmd中的一套新流式音频API，版本说明将其标为实验性功能。这里需要区分两个层面：流式音频API位于mtmd，实时音频输入输出则通过服务器的新端点接入。
llama.cpp b11190修正LFM2音频预处理
据llama.cpp的b11190版本说明，此次修正针对LFM2音频的Mel预处理。此前的处理方式会使测试语音中的贪心转写与参考实现不同：英语测试为4.5%，日语测试为6.5%；部分日语差异涉及整个词。 修正调整了对数计算、Hann窗和标准差归一化中epsilon的用法。版本说明明确指出，只有lfm2a预处理器采用这些行为，其他音频预处理器不变。
llama.cpp b11063 发布
本版本修复 common/peg 在 AST 中处理无效 UTF-8 序列的问题，并按 Unicode 建议返回最大子部分；同时移除 cont 的 strict 参数。发布信息列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等构建目标。
Ollama v0.34.2 发布
v0.34.2 为运行 ollama 新增首次启动设置，可选择登录或本地继续；macOS 和 Windows 桌面应用共享设置完成状态，并支持通过 ollama://apps 直接打开 Apps 页面。同时修复 MLX 推测解码长时间生成时内存增长过多的问题，并更新 llama.cpp。
本地 AI 工具怎么选：先分清模型运行、推理控制和 Python 开发
同样是“在自己电脑上用 AI”，有人只需要完成聊天，有人要给应用提供接口，也有人要研究模型。先写清楚自己要得到的结果，才能判断 Ollama、llama.cpp 或 Transformers 哪一类入口更合适，避免把安装工具变成不断更换工具。先写一条具体任务把“体验大模型”改成可验证的要求，例如对一段公开文字作摘要，或让一个 Python 程序返回分类结果。
llama.cpp：需要控制推理细节时，可关注的 C/C++ 模型运行工具
如果你关心模型使用哪一种计算后端、怎样利用 CPU 和 GPU，llama.cpp 比单纯的聊天界面更接近推理执行层。项目以 C/C++ 实现大语言模型及视觉语言模型推理，适合愿意阅读构建文档、调整运行参数的开发者和本地模型爱好者。功能与适用场景README 列出了命令行工具、服务端接口以及多种硬件后端，并说明支持量化和 CPU、GPU 混合推理。它可用于本地交互，也可作为应用的模型服务。