据IT之家10月16日报道,蚂蚁百灵于10月15日宣布开源Ling-3.1-flash模型。该模型总参数约560B,每个Token激活约25B,最高支持1M上下文。报道列出了Hugging Face和ModelScope上的模型入口。
此次开源的一项具体变化是降低本地部署的权重占用。团队对routed experts采用MXFP4量化,dense层保持block-FP8,将权重占用从约534GB降至292GB。在对应的Hopper GPU测试配置中,服务部署由8卡降至4卡;实际需求仍随上下文、并发量和服务配置而变。
面向长资料处理,团队提供了长上下文并行推理方案PCP/DCP,并加强工具调用对JSON Schema的支持,方便对接现有业务接口。在Artificial Analysis公开评测中,Ling-3.1-flash的智能指数为41,输出速度约为每秒210 Token。
针对企业知识问答、办公助手等需要读取较长资料的场景,团队通过算子融合与DSpark投机解码减少推理开销。在平均输入约25.47K Token、输出约224 Token、缓存命中率76%的模拟生产请求中,8卡Hopper配置下的平均首Token时间为604毫秒,相邻输出Token平均间隔为3.28毫秒。
另一组测试侧重固定GPU预算下的请求承载量:平均输入约8.5K Token、输出约800 Token时,4卡Hopper配置达到约1.36 QPS,同时满足首Token时间P50小于3秒、相邻输出Token间隔P90小于70毫秒的测试约束。这组数据对应上述输入输出长度与延迟要求,可作为自有部署容量规划的参考。
