Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能

来源:Trail of Bits:AI安全研究 2026年9月15日 19:00 AIHOT 评分:60 精选
摘要:Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告,称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真,包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试,以及不同推理档位设置。
# Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能 - 来源:Trail of Bits:AI安全研究 - 作者:Anish Naik - 发布时间:2026-09-15 19:00 - AIHOT 分数:60 - AIHOT 标记:精选 - AIHOT 链接:https://aihot.news/items/cmu2lqodj08k0rovqocv9r3z3 - 原文链接:https://blog.trailofbits.com/2026/09/15/1passwords-ai-patching-benchmark-is-misleading ## 精选理由 原文针对1Password基准的26%头条数字给出逐项方法学批评,并补充自身人类修复失败率与开源合并数据作对照。 ## AI 摘要 Trail of Bits 发文批评 1Password 8月6日发布的 FLAWED 报告,称其 26% 的 AI 干净修复率受四项实验设计选择影响而失真,包括刻意指示智能体应用错误修复的提示词占 22% 数据、36% 的试验禁止编译测试,以及不同推理档位设置。 ## 正文 按该来源的展示范围,站内仅提供摘要。 > 站内仅提供摘要,全文见原文。