据量子位报道,华为诺亚方舟实验室联合UCL等团队提出名为Memento 3的AI智能体系统,在ARC-AGI-3公开集的25款游戏、183个关卡中全部通关,取得满分100的RHAE(Relative Human Action Efficiency,相对人类行动效率)成绩,总操作次数为7518次。作为对照,人类完成同一套关卡需要17135次操作,Memento 3的操作次数比人类少约56%。
该系统的底模为Claude Opus 5,但全程没有更新模型权重,也没有针对游戏进行微调。据量子位报道,Claude Opus 5在ARC Prize官方标准测试框架下的平均RHAE约为40.7分;换成Memento 3的智能体系统后,成绩提升59.3分。此前,独立开发者Sergey Rodionov的baseline1已通关全部25款游戏,得到99分,操作次数为8347次;Memento 3将分数补到100分,并把操作次数减少829次。
ARC-AGI-3是ARC Prize推出的新评测集。与以往出题解题的形式不同,这一代把AI放入陌生游戏世界,规则需要AI自己猜,目标需要AI自己找,操作效果也需要AI自己试。25款公开游戏共183个关卡,画面多由像素、方块、颜色和图形组成,但后续关卡可能引入新规则,推翻此前经验。ARC Prize测试数据显示,在益智游戏r11l中,10名参与者全部通关;在符号破译解谜游戏tr87中,12人挑战只有6人成功。在Memento 3之前,普林斯顿大学的Continual Harness通关3款游戏,得分20.5;英伟达研究人员参与开发的DreamTeam通关6款,得分38.1;独立研究者David Courtis的OPINE-World和英伟达团队的NOOA分别得到78.4分和85.1分。
Memento 3的核心方法称为Code as Model,即代码即模型。它让AI在游戏过程中维护一份Markdown格式的规则手册,记录操作会触发什么效果、怎样通关以及哪些规则尚未搞明白;同时维护一个可执行世界模型,把总结出的规则写成能够运行的Python代码,相当于自己搭建简化版游戏模拟器。AI可以先在模拟器中推演不同路线,再决定下一步操作。如果规则理解有误,系统会修改规则手册,并同步更新代码。论文展示的一个例子中,AI起初认为角色踩上特殊地板后,携带图案会根据进入方向发生镜像翻转,实际测试后发现图案是顺时针旋转90度,且与进入方向无关。系统随后重新模拟此前操作,逐格对比64×64的游戏画面,确认代码能复现真实结果。整场游戏下来,同一份规则手册迭代了11个版本,研究团队还引入Git版本管理以便回溯。
研究团队在三款游戏中做了对照实验:保留规则手册时,AI总共使用617次操作;去掉规则手册、只保留代码世界模型,则需要677次,操作次数减少约9%,智能体执行轮次减少约18%。团队还尝试让AI同时维护两套世界模型,共享游戏操作记录,但各自推演不同规则假设。在游戏wa30中,单世界模型需要899次操作通关,双世界模型降到597次,操作次数减少约34%。这一提升目前只在wa30上得到验证。
除解谜游戏外,Memento 3还被用于挑战Atari经典游戏Pong。AI最初以为球拍可以分成四个区域,小球打在不同位置会朝对应方向弹出,后来出现一次水平反弹,与已有规则不符,AI重新分析碰撞位置并修改反弹公式,逐渐总结出运动规律。控制策略成熟后,研究团队让程序独立上场,不再调用Claude Opus 5,也不更新规则,结果三次不同开局均打出21:0。若不使用世界模型,只让大模型根据眼前画面决定下一步操作,最终得分为-19,与随机乱按的-20.7接近。论文数据显示,Memento 3约用9500帧游戏画面学出控制策略,而部分传统强化学习方法往往需要数十万甚至上亿帧训练数据。
这套系统仍有成本。它背后使用开启Extra-High推理强度的Claude Opus 5,探索、生成代码和验证过程需要消耗Token和算力。目前实验主要针对规则相对明确的游戏环境,若换成更复杂、多变的现实世界,方法是否有效仍待验证。