一个九人出行群,最初商定5月1日出发,后来又改为4月30日。等到有人请AI助手发布购票提醒,它很可能还按旧日期通知。
虽然“记住”了历史,却没有真正服务好这个群。
在群聊的实际场景中,往往还有更隐蔽的要求:谁想坐靠窗位置,谁对预算有要求,哪些安排只是提议,哪些已经成为共同决定。
一个AI助手要服务一群人,关键不只是找回记忆,更是判断此刻应该使用谁的哪条记忆。
针对这一问题,腾讯元宝与伦敦国王学院NLP团队联合推出GroupAssistBench。研究基于50个真实群聊、80,299条历史消息,构建2,395道评测题,检查Agent记忆能否真正从“记得住”走向“用得好”。
研究团队比较了完整上下文、检索增强和外部记忆等14组配置。其中一个有代表性的反差是:EverMemOS在L1记忆召回评测中得分为0.621,高于使用相同任务模型的完整上下文0.570;但在L2开放式服务评测中,它的得分为0.247,低于完整上下文的0.431。
更会回忆,并不必然更会服务。
论文已在arXiv公开,代码和数据集也已开放。
14组配置的主实验结果:左侧为L1记忆召回,右侧为L2开放式服务。比较应在各自指标内部进行。
从一段群聊到两种考验:记忆找得到,也要用得对
已有Agent Memory评测常通过事实问答检验历史回忆,近期也有工作开始关注下游记忆使用。但真实群聊提出了更复杂的问题:同一条信息可能由不同成员补充,安排会随讨论更新,一项回复还可能同时受到多个人的约束。
GroupAssistBench从真实部署群助手的互动中构建数据,保留自然发生的话题切换、状态变化和多人信息交织,并将评测分成两个相互关联的任务层级。
L1与L2:从回答事实,到完成服务
L1记忆召回有明确的参考事实,例如“最初约定哪天出发”。L2记忆使用则要求完成服务,例如“帮大家发出行与购票提醒”,答案没有固定措辞,却必须遵守有效的历史决定和成员要求。两类题目分别有1,374道和1,021道。
研究又根据所依赖的记忆结构划分为M1单条记忆、M2多记忆整合、M3更新与冲突处理。M3尤其需要识别:旧决定何时被新决定取代,哪些成员的约束仍然适用。这些类别描述的是信息依赖形式,而非简单按难度排序。
评测框架总览:基于同一群聊历史构建L1事实回忆与L2开放式服务题,并按单记忆、多记忆和更新冲突划分依赖类型。
每个问题,必须真正依赖历史
为避免系统仅凭常识就能猜对,团队先比较“提供历史”和“不提供历史”的回答,筛选确实需要群聊记忆的请求;再为必需事实建立记忆锚点(Memory Anchors),定位到来源消息及证据片段,并设置各自的历史截止点,防止模型读到提问之后的信息。
数据经过匿名化和隐私审查,公开版本不包含原始群聊身份信息。构建过程结合程序规则、语义审查和人工核验;抽样核验中,95.8%的题目经多数投票判定有效。
数据构建流程:筛选确实依赖历史的请求,定位记忆锚点,构建评测问题,再通过规则与人工核验把关。
服务没有标准答案,如何给分?
群助手帮大家安排活动、提醒购票或协调分歧时,往往可以有多种合适回复。简单字符串匹配无法判断服务是否真的满足历史约束。因此,团队为每道L2题构建与对应历史证据绑定的定制评分准则(Rubric)。
这套Rubric包括三个部分:Grounding检查回答是否明确体现必要的历史事实;Service检查任务是否完成;Penalty则惩罚违反现有决定、忽视成员限制或使用过时信息等错误。比如购票提醒既要采用新日期,也要兼顾相关人数、交通安排及个人座位偏好;把已作废的日期当成最终安排则应受到惩罚。
Penalty的设计还借鉴了真实用户对群助手的纠正反馈。研究用60道L2题、180份回答中的1,152项准则判断进行人工核验,自动评判与人工多数票的一致率为89.3%。
497条配对记忆:为什么找到事实,还是没用上?
为了不把不同题型的差距误当成记忆能力差异,研究追踪了497条配对记忆:同一段历史既被L1直接询问,也被某项L2服务真实依赖。这样就能观察“已经回忆得出”的记忆,到了服务环节究竟发生了什么。
在所分析的外部记忆系统中,对于L1已召回但L2未被判定有效使用的记忆,约36%没有进入L2模型输入,其余约64%虽进入输入,却未在回答中被判定有效应用。这些百分比只描述该类配对记忆的去向,并非全部L2任务的失败率。
前一种情况与请求缺少明确检索线索有关:用户说“帮大家安排一下”,并不会逐一指出需要检索哪些历史偏好。后一种则表明,证据已经给到模型,并不自动意味着模型知道它应该怎样约束当前回复。
497条配对记忆的去向:比较L1召回成功的记忆,在L2中是否被应用、虽进入输入却未被判定应用,或未进入输入。
两种干预:把零散证据串起来,把历史要求变成约束
根据上述现象,团队探索了两个轻量干预方向。RER(Relational Evidence Refinement)在检索后梳理人物、事件、时间及决定之间的关系,并在需要时补充相关候选证据;ACB(Assistance Constraint Binding)则把已获得的事实整理为具有主体、范围和当前有效状态的回复约束。
实验中,RER让LightMem的L2平均分提高6.28个百分点;ACB让xMemory与EverMemOS分别提高3.94和3.16个百分点。两者组合后,LightMem、xMemory和EverMemOS的L2分数相对各自基线分别提高7.03、4.64和4.43个百分点。
这些结果显示,通过证据整理和约束显式化,有望改善记忆驱动的服务表现。两种机制各自的独立贡献仍需要进一步细分,不能简单把所有提升都归因于“多找回了几条记忆”。
RER与ACB干预效果:对比关系证据整理、服务约束绑定及二者组合在不同记忆系统上的表现提升。
从记住历史,到在正确的时候使用历史
真实群聊是Personal Agent和多用户助手的一块试验场。随着智能体开始承担更多长期服务,记忆系统的价值不只是“存了多少、搜得多快”,还取决于它能否理解何时使用、对谁适用、哪些信息已失效。GroupAssistBench试图让这种差异可被观察、分析和比较。
论文链接:https://arxiv.org/abs/2611.04867
Hugging Face论文:https://huggingface.co/papers/2611.04867
代码:https://github.com/Tencent/GroupAssistBench
数据集:https://huggingface.co/datasets/tencent/GroupAssistBench
项目主页:https://zhanghao-groupassisbench.github.io/
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
【学术投稿】请在工作日发送邮件至:ai@qbitai.com,标题注明【投稿】,并告诉我们:你是谁,从哪来,投稿内容附上项目/主页链接,以及联系方式。
🎓
我们会 (尽量) 及时回复你 :)
🌟 点亮星标 🌟
科技前沿进展每日见