llama.cpp为64维状态扫描新增GPU快速路径
据llama.cpp b12207发布说明,ggml-cuda为SSM_SCAN内核新增了d_state=64快速路径,覆盖Zamba2及类似架构在循环扫描步骤中使用的64维状态。此次改动沿用已有实现模式,增加第四个模板实例,没有改变底层数学计算。 此前,GPU内核的快速路径只覆盖96、128和256三种状态大小,64维状态不在其中。
理解变化,发现价值AI · 科技 · 金融 · 开源
收录 1 篇关于“Zamba2”的文章,最近更新于 2026-11-09。
据llama.cpp b12207发布说明,ggml-cuda为SSM_SCAN内核新增了d_state=64快速路径,覆盖Zamba2及类似架构在循环扫描步骤中使用的64维状态。此次改动沿用已有实现模式,增加第四个模板实例,没有改变底层数学计算。 此前,GPU内核的快速路径只覆盖96、128和256三种状态大小,64维状态不在其中。