12GB显存的消费级显卡，也能运行1250亿参数模型的量化版本。IT之家10月6日援引科技媒体gigazine报道，开发者Niko1221开源推出Strata引擎，支持在12GB及以上显存的消费级显卡上运行量化的Qwen3.8-Flash-Next。
据IT之家介绍，Qwen3.8-Flash-Next是阿里巴巴Qwen团队于2026年8月推出的多模态混合专家（MoE）模型的压缩版本，具有125B参数，另含51B参数的n-gram嵌入表，原生支持262K词元上下文长度。
Strata降低显存占用的方式，是将MoE模型整体载入系统内存，只把高频使用的专家模型载入显存。它还使用轻量模型进行投机解码，预测下一个词元，以加速推理。因此，这里的12GB指显卡显存条件，运行还需要系统内存配合。
报道列出的运行配置要求包括：NVIDIA或AMD显卡、至少12GB级别的显存、32GB以上系统内存，以及80GB以上存储空间，推荐使用SSD。系统支持Windows 10、Windows 11或Linux。
性能数据对应具体硬件和量化版本。在英伟达GeForce RTX 5070（12GB显存）、Ryzen 5 7600和64GB系统内存的配置下，2比特量化版Q2_0生成回复的速度为94词元/秒，处理输入提示的速度为2650词元/秒；3比特量化版IQ3_S的两项速度分别为53和1620词元/秒。
另一组配置采用AMD Radeon RX 9070 XT（16GB显存）、Ryzen 9 3900X和47GB系统内存，Q2_0生成回复的速度为60词元/秒，处理输入提示的速度为1160词元/秒。报道将“写答案”与“阅读提示”分别列出：前者是输出生成速度，后者是输入处理速度，94词元/秒对应的是RTX 5070配置下Q2_0版本的输出生成表现。
原始来源：12GB 显存显卡跑 125B Qwen3.8 模型：Strata 登场，单张 RTX 5070 跑出 94 词元 / 秒