据llama.cpp Releases的v0.8.0版本说明,这次更新加入LiquidAI LFM3家族,覆盖文本、视觉、音频和omni模型,并通过新增的/v1/realtime和/tts端点,将实时音频输入、输出接入服务器。

音频相关更新还包括mtmd中的一套新流式音频API,版本说明将其标为实验性功能。这里需要区分两个层面:流式音频API位于mtmd,实时音频输入输出则通过服务器的新端点接入。

模型支持也继续扩展,新增架构包括DeepSeek V4.1 Flash、SenseNova U1、Beam、Kolibri-1、Flint、Muse Spark和Granite Switch Decision,以及来自LiquidAI、百度和英伟达的决策、嵌入模型。

使用界面方面,用户现在可以直接浏览和下载HF Hub上的模型,也能搜索对话、压缩对话上下文。服务器同时改进了路由器内存管理和工具调用。底层则将稀疏注意力QSA/DSA改为采用融合掩码算子,为驻留主机内存的MoE专家加入50/50 SLRU缓存,并将ggml升级至v0.28.0,带来多项后端性能相关更新。

原始来源:v0.8.0