英伟达(NVIDIA)博客10月1日介绍,GPT-6 Astra Ultrafast现已在OpenAI API中提供,并向符合资格的ChatGPT Work和Codex用户开放。该模式运行在NVIDIA Blackwell GPU上;据博客介绍,其token生成速度最高可达Astra Standard模式的8倍。
这项速度比较针对token生成,并非整项任务的完成时间。博客将其适用场景放在需要反复生成响应的工作流中:编程智能体写代码、调用工具、检查结果,再决定下一步。英伟达表示,更快的生成可以缩短编辑、测试和调试循环,减少工具调用之间等待模型响应的时间,让交互式应用响应更及时。
加速来自利用Blackwell架构能力的推理优化。博客称,OpenAI正在用自己的模型改进运行于NVIDIA GPU上的推理软件,借助平台的可编程性测试并实施优化。OpenAI计算业务首席技术官Uday Ruddarraju表示,团队使用内部模型优化了NVIDIA GPU上的推理,而NVIDIA的可编程性帮助实现了Astra Ultrafast的加速。
OpenAI推理负责人Philippe Tillet还表示,NVIDIA在工具和文档上的投入,让OpenAI模型更擅长为Blackwell和Rubin GPU编程;Astra可以将这些知识转化为高性能内核。这是OpenAI负责人对模型能力及优化路径的说明,本次已开放的Ultrafast运行平台则是Blackwell。博客将具体访问条件、价格和实现细节指向Ultrafast指南,正文没有列出这些条款。
原始来源:How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast
