Apertus 1.5在原有8B和70B模型基础上加入图像、音频理解与可选思考模式,上下文窗口扩大至262,144 tokens,是1.0版的四倍。Apertus团队10月15日在Hugging Face Blog刊登的版本说明披露,两款模型的更新权重已于2026年7月24日上传至Hugging Face,采用Apache 2.0许可证。
新增的多模态能力面向输入端:模型可同时接收文本、图像和音频,将文档、图表、照片纳入对话,也能处理口语,但后者仍处于实验阶段。输出范围则没有扩展到图像或声音,模型只生成文本。
思考模式可按需开启,让模型在作答前对输入进行推理。团队称,这能改善推理问题上的表现;与Apertus 1.0相比,新版也改善了指令遵循和工具使用,训练目标包括更有效地调用外部工具与API。
这些能力来自对第一代模型的继续预训练,而非重新训练一套模型。8B版新增4万亿tokens的文本与多模态训练数据,累计达到19万亿;70B版新增2万亿,累计达到17万亿。团队表示,训练tokens中超过一半仍为纯文本,以保留1.0版的语言能力。
在多模态实现上,Apertus 1.5采用早期融合:图像、音频被转换成离散tokens,与文本放在同一序列中,而不是使用独立的视觉编码器。图像使用Emu3.5分词器,一张512×512图像对应1,024个tokens;音频使用WavTokenizer,每秒对应40个tokens。团队称,这种做法只扩展词表,模型架构保持不变。
继续预训练分为四个阶段:先学习文本及未配对的图像、音频,再通过图像与描述、音频与转写文本进行对齐,随后加入更多高质量数学和代码数据,最后逐步将上下文窗口从8k扩至262k tokens。开放范围也不止模型权重:团队表示,项目同时开放数据、价值原则及完整训练细节,进一步信息已在技术报告中提供。
