PyTorch博客的一篇案例文章介绍，Shopify用PyTorch和vLLM构建持续学习循环，将生产环境中积累的失败案例用于更新模型权重。文章以Shopify的GraphQL智能体为例，称这一做法的质量高于通用前沿模型，同时降低了延迟，并将服务成本削减96%。这些效果是文章对该案例的描述，不能直接套用于其他产品。

这套循环先要定义什么是“好”的回答。文章称，团队将产品要求写成评分标准，涵盖完整性、执行情况、回答质量和安全性，再用标注结果形成学习所需的质量信号。PyTorch为模型更新提供训练基础；现有片段没有进一步说明vLLM在其中承担的具体环节。

在评估样本上，文章强调不能只看预先挑选的案例，还要纳入随机抽取的真实流量。它建议由两名标注员或产品专家分别标注25个随机样本，用Cohen’s kappa检查一致性；如果结果很低，例如约0.2，就需要重新讨论并修改评分标准。

原始来源：How Shopify built a continual learning loop with PyTorch and vLLM