据华尔街见闻10月8日报道,Anthropic于10月7日正式发布Claude Haiku 5.5,重点面向调用量大、对价格敏感的AI任务。报道给出的每百万输入Token最低价格为0.1美元,较上一代下降90%。模型同时支持100万Token上下文窗口和最高12.8万Token输出。
这次更新还首次为Haiku系列引入可调节推理强度。开发者可以通过effort参数控制模型投入的计算资源,默认设置为中等强度。因此,阅读其测试成绩时,需要区分默认设置与最大推理强度,不能把不同设置下的表现视为同一结果。
按照报道引用的Anthropic测试结果,在衡量AI操作真实计算机能力的OSWorld 2.1离线任务子集上,Haiku 5.5成功率为72.4%,上一代Haiku 4.5为15.7%,OpenAI的GPT-6 Luna为48.9%。知识工作测试GDPval-AA v2.1中,Haiku 5.5取得1620分,GPT-6 Luna为1437分。这些比较对应各自列明的测试范围。
在Agent编程测试Terminal-Bench 4.0中,Anthropic公布的Haiku 5.5成绩为39.2%,GPT-6 Luna为16.4%。但报道援引VentureBeat的观察指出,Haiku 5.5的39.2%对应最大推理强度;切换到默认的中等强度后,成绩降至约20%。
第三方评测机构Artificial Analysis也测出了强度与成本的差别:在其Intelligence Index评测中,最大强度获得43分,中等强度为34分,平均每项任务成本分别约为0.21美元和0.05美元。其Terminal-Bench 4.0测试结果则分别为33%和15%。报道指出,由于评测设置不同,这组成绩与Anthropic官方结果存在差异;更高推理强度下的表现,也伴随着更高的任务成本。
仅供信息参考,不构成投资建议。
