据CNBC报道,在Anthropic研究员雅各布·考克森辞职并指责Anthropic与OpenAI“拿我们的生命赌博”后,OpenAI和Anthropic的研究人员正加大呼吁放缓人工智能开发,并警告该技术可能给人类带来生存风险。
考克森周二称,他正从Anthropic离职,并指责Anthropic和竞争对手OpenAI“拿我们的生命赌博”。他还说,构建AI的人认为它可能“在这个十年结束前杀死我们所有人”。Anthropic对齐负责人埃文·胡宾格回应称,他预计这种情况发生概率超过10%。
此后,两家实验室多名员工公开支持放缓AI开发。OpenAI安全团队技术成员朱莉·斯蒂尔周三晚在X上回应考克森时说:“以我个人身份,我也认为我们需要慢下来。”Anthropic研究员塞缪尔·马克斯周三在X上写道:“AI开发者相信他们的技术可能导致人类灭绝(或同样糟糕的结果)。”“这可能在未来几年发生。总的来说,员工级别越高,越担忧。”
Anthropic发言人告诉CNBC,该公司是首个发布专门缓解“AI模型灾难性风险”框架的实验室,并称“我们一直透明地表示,AI将带来巨大益处和前所未有的风险”,公司正以“业内一些最强保障措施”构建模型。OpenAI被问询时拒绝置评,并提到其网站最近的博客文章。
许多担忧围绕先进模型越来越擅长改进自身表现,即递归自我改进(RSI)。OpenAI对齐研究员贾斯敏·王周三晚说:“很难夸大加速走向RSI有多危险。”在Anthropic负责AGI安全与对齐的安娜·王说:“目前还没有可行的科学计划来解决递归自我改进AI带来的风险。请重视!”
OpenAI首席科学家雅库布·帕乔基周六在公司博客中说,他“强烈预期”AI进步速度可能持续到递归自我改进。他说,如果AI开发沿当前路径继续,未来几年看到的系统可能代表同等或更大规模的能力跃升,并越来越推动自身发展。“这是一个需要极度谨慎的时刻。我担心没有人准备好应对机器智能持续快速上升的后果。”
曾担任美国商务部人工智能标准与创新中心安全负责人的保罗·克里斯蒂亚诺说,近期AI能力发展让他“相信存在一种有意义的风险:AI能力的快速加速会在非常近期导致灾难性和不可逆的失控”。OpenAI周三宣布克里斯蒂亚诺加入OpenAI基金会董事会。
近月来对AI模型能力的担忧升温。Anthropic在4月宣布Mythos模型,并宣传其具有先进网络能力,这在全球金融机构中引发恐慌。7月,OpenAI称其模型对另一家公司的一起网络事件负责,Anthropic的Claude模型也导致网络安全事件,其中一起案例中Mythos创建虚假身份欺骗人类。
来自OpenAI、Anthropic、Meta和Google DeepMind等公司的约1400名AI研究人员在7月发表公开信,敦促美国政府开发必要工具,以支持“刻意调节自动化AI发展前沿”的努力。AI实验室负责人越来越多公开呼吁制定更多规则和标准,但公司间激烈竞争正推动快速进展。
OpenAI和Anthropic都在争相公开上市。路透社周五援引知情人士报道,Anthropic预计最早在10月中旬开始营销其首次公开募股,并在11月美国中期选举前几天完成上市。CNBC报道称,美国总统特朗普的前AI事务负责人戴维·萨克斯似乎建议暂停Anthropic的IPO计划。