据TechCrunch报道，Hugging Face首席政策官艾琳·索莱曼（Irene Solaiman）在TechCrunch Disrupt活动上表示，嵌入式第三方AI评估者不会成为一项容易落地的解决方案，评估方法本身仍是一门尚未定型的科学，行业若要在未来依赖评估结果，测试需要先形成更一致的规范。

各家AI实验室长期以模型基准测试为声誉背书，这套评估体系被设定为衡量不同AI产品优劣的中立、准确手段。但索莱曼指出，这些评估背后的方法相当复杂，且仍在成熟过程中。

在被问及当前公布的测试是否可信时，索莱曼说：“信任是个含义很重的词。”她表示，就结果是否可信而言，“很大一部分在于你能否复现一项评估的结果？你是否有对模型本身所需的访问权限——这正是开放权重发挥重要作用的地方”。

可复现性长期以来是基准测试中最棘手的环节之一，在业界仍有明显争论。除单项测试本身的效度之外，另一个问题是该测试与其他评估之间如何比较。索莱曼说：“它们是一门不断演进的科学——我们并不知道如何有意义地将它们相互比较。”她补充说，这些评估“会相对快速地失效，我们也没有一个足够繁荣的生态”，“现在对嵌入式评估者生态有很大需求，但决定谁是有效的评估者、在哪些任务上有效的资质标准，还需要多得多的标准化”。

所谓嵌入式评估者，是指在AI机构内部设置被假定为“中立”的第三方观察者。这一思路在过去几个月里流行起来，背景是各AI实验室接连应对安全事件，其技术潜在危害受到关注。Hugging Face本身曾是这类事件的目标之一。与政府主动监管以识别和缓解模型安全担忧不同，实验室方面推动的是第三方方案。但外界对这些评估者究竟有多中立、多有效仍存疑虑。Anthropic决定聘请埃森哲作为其首位评估者，招致不少批评，一些批评者嘲讽这家咨询公司是否有资格承担这项任务。

评估对象也正从模型本身扩展到围绕模型的整个系统，包括运行框架（harness）和智能体（agent）。索莱曼表示，用户访问模型所使用的运行框架与模型表现关系很大，一个较弱的模型配上更好的运行框架，很容易胜过前沿模型。

她说：“智能体评估非常困难，也非常昂贵。”目前针对模型的评估更多，针对运行框架的评估没有那么多，而业界正在为整体智能体开发更好的评估，因为很多人正是从智能体中获取价值。

按索莱曼的描述，评估领域目前有些各自为政。如果基准测试要继续被视为行业领导者手中的有用工具，可能需要一种更统一、全行业一致的做法。