Zamba2

收录 1 篇关于“Zamba2”的文章,最近更新于 2026-11-09。

llama.cpp为64维状态扫描新增GPU快速路径

据llama.cpp b12207发布说明,ggml-cuda为SSM_SCAN内核新增了d_state=64快速路径,覆盖Zamba2及类似架构在循环扫描步骤中使用的64维状态。此次改动沿用已有实现模式,增加第四个模板实例,没有改变底层数学计算。 此前,GPU内核的快速路径只覆盖96、128和256三种状态大小,64维状态不在其中。