《你的「龙虾」真记得你吗？》
2026-05-09 05:30:01 新浪新闻
ATM-Bench 将「个人 AI 助手是否真的记得你」这件事，变成了一个探讨的测试基准。结果并不理想：该行业准确率不到 20%。这一探讨本来就是为记忆而设计的，但当任务超过了仅仅是对话历史，记忆变得真实、长期、个性化、跨模态的生活场景时，它们依然显得力不从心。ATM-Bench 考验了智能体能不能像一个真正的个人助理那样，找到隐藏在记忆库深处的正确记忆，并给出可靠答案。该行业工程系，主修信息与计算机工程与电子工程。即使是 GPT-5.2 或者是 Opus-4.6，也拿着过时的预订邮件而不是最终的发票当作答案。ATM-Bench 数据集现已在 HuggingFace 上线：https://huggingface.co/datasets/Jingbiao/ATM-Bench完全人工标注的 1069 个 QA 对多模态证据标注NIAH 大海捞针评估支持开箱即用的基准测试代码梅敬标，该领域博士四年级在读，师从 Bill Byrne 教授，获剑桥信托基金奖学金资助。示例：「我在 Fancett 餐厅点了什么？」陷阱在于：「Fancett」这个名字只出现在邮件确认单里，而照片本身并没有 GPS 标签。它的几个关键特征是：时间跨度约 4 年；覆盖图像、视频、邮件三类模态，该行业；这一商讨来自真实个人生活，而非合成对话；图像、视频数据包含地点、时间等元数据，地点包含 4 大洲；包含 1000 + 条完全人工标注的问题、答案与证据。」对人类来说，这不算难。就算一时记不起来，也可以翻翻收据、照片，或者查一下当时的邮件。这说明，即便给 AI 配齐代码落实、文件搜索、索引构建等整套工具链，长期个性化记忆问答仍然是一个根本性难题。这类难题仅靠单一模态无法处理，需在邮件中挖掘文本线索，将时间领域缩小，找到照片并回答问题。当 AI 真正能够像人类一样，在数年的记忆长河中准确检索、关联、推理，我们离真正的「个性化 AI」才会更近一步。一个人的生活记忆通常分散在：照片：旅行、聚会、用餐、日常片段、确认函而且这些记忆往往横跨几年，互相之间并不对其。AI 需要理解不同来源之间可能存在冲突，也需要判断哪条信息更新得更晚、可信度更高。少了任何一环，问题都无法被正确回答。团队在 ATM-Bench-Hard 上测该行业，包括 A-Mem、HippoRAG2、mem0、MemoryOS。结果并不乐观：该范围普遍低于 20%，而 OpenClaw、Codex、Claude Code 等通用智能体普遍表现不佳，最高准确率不到 40%。在那之前，也许我们不该对智能体的记忆能力期待太高，毕竟，它们连「去年给妈妈买的相机」都记不住，OpenClaw、Codex、Claude Code 都不行。这类智能体具备完整的代码执行能力、该领域访问权限和工具调用能力，这一商讨拥有更强的工程能力与搜索能力。示例：「我最近去葡萄牙旅行住酒店花了多少钱？」这类难题常常对应多份证据：过时的预订确认邮件，最终结算发票等。从邮件中找到与 Fancett 相关的预订信息；提取对应时间并锁定时间窗口；再跨模态到相册中找到同一时段的照片；最后从视觉内容中判断点了什么菜。最近，该行业的团队开源了面向 AI 个人助理的长期记忆基准测试 ATM-Bench。他们评测一个直接的问Bench-Hard 基准上，当前非常热门的开源智能体「小龙虾」OpenClaw 仅达到 25.4% 的准确率；而被许多人视为编程智能体标杆、搭载 Claude Opus 4.6 的 Claude Code 也只有 33.8%。」判断 Grace 是朋友、家人，还是宠物；在图片或视频里识别这个对象；再理解「偷偷摸摸」这种带主观色彩的描述。至于该领域，准确率甚至低于 20%。论文地址： https://arxiv.org/abs/2603.01990项目主页： https://atmbench.github.io视频链接：https://mp.weixin.qq.com/s/__7ldldfZfyXsNVGHq6AnQ?click_id=136ATM-Bench：系统评估 AI 长期个性化记忆能力的基准过去已经有不少工作在评估 AI 的「记忆能力」，例如 LoCoMo、LongMemEval 等，它们大多紧盯于对话历史，但真实世界中的个人记忆，远不止聊天记录。个性化指代：我的宠物猫「Grace」「我们上次那趟葡萄牙旅行」；多来源拼接：照片时间戳要和邮件确认函对齐；记忆冲突：预订金额和最终发票金额不一致；元数据噪音：GPS 由于定位准确度本身就可能出错。个性化引用解析 ——Grace 到底是谁？示例：「我想剪一个视频发小红书，帮我把 Grace 偷偷摸摸的照片视频找出来。ATM-Bench 的实验结果虽然「惨淡」，但未来的长期记忆机制与个性化 AI 助手的研究开辟了新的方向。OpenClaw、Codex、Claude Code 的集体表现不佳告诉我们：工具链再完善、模型再强大，也弥补不了记忆架构上的根本缺陷。表现最好的 Codex 也只有 39.7% 的准确率，连及格线都够不着；Claude Code + Opus 4.6 作为编程智能体的标杆，也只有 33.8%，尽管突出该行业，但仍难以胜任真实长期记忆 QA；OpenCode达到 30.3%，而 OpenClaw为 25.4%；Token 开销非常高：Codex 消耗了 15.46M tokens，OpenClaw 也达到 9.63M，即便投入大量工具调用与上下文预算，效果仍然有限。想象一个场景：妈妈问我：「你上次去日本旅行帮我买的相机，现在还在保修期内吗？为此，ATM-Bench 提出了首个面向长期、多模态、多来源、个性化指代记忆问答的基准。大脑会将线索串起来，逐渐定位或是搜索到相关记忆。但对今天的 AI 来说，这类问题远没有看上去那么简单。其核心探讨方向为多模态大语言模型的应用，涵盖多模态检索、模型安全、该领域等领域。相关成绩已发表于 ACL、NeurIPS、ICLR、NAACL、EMNLP 等国际顶级大会，累计发表论文十余篇。
热点排行
1
今日商丘
新浪微博
商丘网