同一个模型，配套的AI智能体运行框架不同，任务完成率也会不同。Hugging Face博客2026年11月3日刊登的IBM文章报告：让CUGA、Hermes和Deep Agents使用同一开放权重模型GLM-5.3-flash，执行相同的90项AppWorld任务，改变框架后，任务完成率从30%到81%。

这次比较覆盖30个场景，每项任务只尝试一次，所有运行均使用Harbor评测框架。AppWorld包含9个应用、457个API，涉及邮件、支付和文件存储等多步操作。文章将其定位为企业自动化的代理测试：它使用消费类应用，检验登录、阅读API文档、翻页查询，以及跨应用改变状态等部分能力。

三款框架的配置并不相同。CUGA使用其AppWorld配置，包括任务分解、执行前验证和自动反思；Hermes采用Harbor默认配置，通过MCP接入AppWorld工具；Deep Agents同样通过MCP接入工具，并配置工具选择、上下文摘要、待办清单、重试和调用次数限制。测试方还为Deep Agents加入两处小修复，避免格式异常的GLM回复直接终止运行。

因此，这组结果对应的是上述模型、任务和配置。文章也明确表示，这不是对Hermes或Deep Agents的总体判定：前者面向持续运行的个人助手，后者面向研究等长流程、多步骤任务。

企业适用性则是另一层问题。文章介绍，IBM的开源框架CUGA支持开放权重或托管模型，可在用户自己的环境中部署，包括主权云和隔离网络环境，并提供由框架强制执行的规则。但作者同时说明，企业规则执行和部署边界并不是这次AppWorld基准检验的内容，不能用任务完成率替代对这些能力的验证。

原始来源：Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?