据CNBC报道,随着Anthropic和OpenAI就“能否在保障先进模型安全的同时扩张业务”陷入激烈争论,两家公司正转向模型评估与威胁研究机构METR、Apollo Research和Transluce等小型第三方机构寻求支持。这些两个月前还处在数万亿美元人工智能产业边缘的独立评估方,如今被要求为行业安全背书。
这些评估机构多数以非营利形式运作,主要工作是评估AI模型的能力与风险,并指出技术出现不当行为的情形。在联邦层面缺乏监管推动的背景下,它们的重要性被明显放大。
上个月,Anthropic首席执行官达里奥·阿莫代伊承诺在公司内部嵌入独立评估人员,OpenAI首席执行官萨姆·奥尔特曼随即表示支持。美国总统特朗普支持这一想法,美国大多数大型科技公司也持相同态度。但第三方机构如何获得资金、能获得多高程度的权限,以及最终的报告结构如何,都还没有答案。
布朗大学计算机科学教授苏雷什·文卡塔苏布拉马尼安对CNBC表示,问题一如既往在于钱:“谁为这些公司的工作付钱?它们靠什么维持?你需要一个生态,需要一个可行的商业模式。”报道称,目前规则由Anthropic、OpenAI以及从AI热潮中获利的基础设施合作方书写。批评者说,这如同让最大的银行来防范金融危机,或者允许制药公司在没有监管批准的情况下把药品投放市场。
特朗普近日称赞AI高管的“出色的自我监管”,并暗示无意束缚这一驱动经济和股市的行业。在9月底提出的一份自愿性协议中,他鼓励AI公司“与独立的外部审计方或评估方合作”。据报道,这一讨论由阿莫代伊上月的长文引发,他在研究人员离职并表达对技术生存性威胁的担忧后,呼吁“放慢”先进模型的开发节奏。
摩擦已经出现。据一名OpenAI发言人所说,OpenAI上周以“违反我们关于访问和处理公司敏感信息的政策”为由解雇三名员工。其中两名员工米基塔·巴列斯尼和托梅克·科尔巴克称,他们认为自己被解雇的原因是与第三方评估人员的沟通方式。巴列斯尼周四在X上发文说,前同事对应该相信什么感到困惑,也害怕发言,担心私人手机会被检查是否与外界和第三方有信息往来;他担心这种恐惧会让OpenAI在关起门来后在安全上偷工减料。
OpenAI否认这一说法,并在上周五发文称,公司“正积极与第三方安全评估方敲定合同,将在未来几周公布细节”,并称“致力于引入外部评估方,继续把与独立安全组织的密切合作作为安全工作的核心”。一名OpenAI发言人在邮件声明中说,即将与评估方开展的工作“建立在与METR、Redwood Research等独立安全组织现有合作的基础上”。Anthropic未回应CNBC的置评请求。
评估生态多由小型组织构成,包括METR和Apollo Research,也有埃森哲等规模较大的会计与审计公司。政策非营利组织Fathom首席执行官安德鲁·弗里德曼对CNBC表示,该领域正在快速成熟,“我过去20年一直在政治和政策领域工作,从没见过一个问题在这么多不同的政治光谱上推进得如此之快”,他预计将有资本涌入这一生态。独立评估机构Vals AI首席执行官拉扬·克里希南说,这家营利性初创公司为衡量AI模型在特定行业任务上的表现建立基准,员工人数今年从8人增至约30人,8月宣布完成4000万美元融资。非营利的METR在8月宣布,过去六个月获得约7100万美元的承诺资金,高于2024年全年的总额。