Collinear AI在11月3日发表于Hugging Face Blog的文章中宣布，CWE-bench v2开放100项公开任务，任何人都可运行并评测自己的模型。它考察的不是模型能否解释漏洞，而是能否在真实开源仓库中找到并修复安全弱点，同时保留原有功能。
评测沿用此前的设置：AI智能体获得一份真实开源仓库的代码和一条简短指令，然后完成修复。100项任务覆盖91种CWE，涉及多种安全弱点类别。团队希望借此考察模型对不同攻击面的理解，而不只是识别熟悉的漏洞模式。
评分完全通过程序执行。团队表示，这使结果具有确定性，可供他人复现。大语言模型评审组参与的是程序化检查的筛选与完善，帮助调整难度和公平性；每项任务也都经过人工审核。
审核重点包括：指令是否贴近真实需求，评分行为是否能从指令中推知，验证器是否检查修复后的正确行为而非限定某一种代码结构。此外，初始代码必须无法通过检查，参考修复必须能够通过，修复后原有功能仍须正常；验证器还要能让记忆式套用已知上游补丁的方案无法过关。
文章披露的11个受测模型中，Gemini 4 Argon以67.8%的pass@1和81.0%的pass@4居首，Claude Opus 5.5分别为67.3%和78.0%。至少有一个模型解决了其中95项任务。不过，领先模型仍有19%的任务在所有尝试中均未通过，团队据此指出，长尾问题远未解决。
此次开放的内容包括公开任务集、评分器和评测框架，团队也接受任务反馈与贡献。除公开集外，Collinear AI还维护一个保留集，用于追踪模型在未见任务上的进展；希望在保留集上评测模型的使用者，需要联系团队。