TWITTER · 人工智能
清华大学新论文发现：AI 智能体请求忘记个人信息时，几乎无法干净删除
一语总结清华大学新研究揭示，带有长期记忆的 AI 智能体在被要求忘记个人信息时几乎无法正确删除，引入了 BEMULA 测试基准，测试记忆遗忘，成功率不足 1.5%。
AI 总结
本推文宣布了 BEMULA，这是一个用于评估 LLM 智能体记忆遗忘的基准测试。作者构建了 50 段长文本合成对话，包含 135 次忘记请求，每个请求都有一个不包含请求的对照版本。他们测试事实是否被擦除、其他记忆是否仍然存在以及提取攻击是否仍然有效。结果显示，所有测试系统的成功忘记率均未超过 1.5%，涵及 6 个记忆系统和 3 个 backbone 模型。忘记请求后，系统对简单提取提示（如角色扮演或是非/否猜测）最多阻挡了 35.7%，凸显了 AI 智能体隐私和可靠性之间的关键缺口。
清华大学新论文发现：AI 智能体请求忘记个人信息时，几乎无法干净删除
本推文宣布了 BEMULA，这是一个用于评估 LLM 智能体记忆遗忘的基准测试。作者构建了 50 段长文本合成对话，包含 135 次忘记请求，每个请求都有一个不包含请求的对照版本。他们测试事实是否被擦除、其他记忆是否仍然存在以及提取攻击是否仍然有效。结果显示，所有测试系统的成功忘记率均未超过 1.5%，涵及 6 个记忆系统和 3 个 backbone 模型。忘记请求后，系统对简单提取提示（如角色扮演或是非/否猜测）最多阻挡了 35.7%，凸显了 AI 智能体隐私和可靠性之间的关键缺口。