当地时间9月8日晚，Anthropic预训练研究员雅各布·考克森（Jacob Coxon）在社交媒体宣布辞职，并警告前沿人工智能公司正在用可能在本十年末“杀死我们所有人”的系统“拿我们的生命赌博”。Anthropic对齐科学负责人埃文·胡宾格（Evan Hubinger）随后公开支持这一判断，称他个人认为未来十年AI导致人类灭绝的概率超过10%。
据Ars Technica报道，考克森在长帖中称，存在性风险更多来自即将出现的“自我改进超级智能”，它能“黑入任何东西、在一夜之间革新任何领域，并获取真实的权力和资源”。他批评其他从事这些模型的人要么没有“内化文明层面的赌注”，要么认为必须“加速”迈向超级智能，以免不负责任的一方先到达。据SiliconANGLE报道，考克森此前在OpenAI和Anthropic从事预训练研究，他写道：“这些很快会成为超人系统……建造AI的人真心相信它可能在本十年末杀死我们所有人。”胡宾格在X上回应：“雅各布说得对——我们确实真心相信AI可能杀死全人类！我个人认为未来十年内概率超过10%。”
《卫报》报道称，考克森的帖子发布后，至少两名Anthropic员工回应支持这些预测，其中一人说“我们确实真心相信AI可能杀死全人类”。但《卫报》在导语中将警告者描述为三名Anthropic研究人员，而Ars Technica和SiliconANGLE主要报道考克森的辞职和胡宾格的回应，未明确除两人之外其他回应者的身份。
美国国会议员次日作出反应。据《卫报》报道，得克萨斯州共和党参议员特德·克鲁兹在ABC《观点》节目中说，AI构成“灾难性风险”，他读了考克森的整个推文帖，“非常令人担忧”。克鲁兹还回忆起去年在播客中问马斯克AI摧毁人类的几率，马斯克回答10%至20%。佛蒙特州独立参议员伯尼·桑德斯称，近期民调显示美国民众绝大多数希望禁止人工超级智能，并在建立明确安全标准前暂停AI开发；他在X上表示将很快提出禁止超级智能、暂停AI开发的立法。加州民主党众议员特德·刘说，考克森的帖子是“为什么我们需要尽快通过两党AI紧急关闭法案的第739号证据”。马萨诸塞州民主党众议员洛里·特拉汉说，国会“早就该离开场边履行职责”，“安全研究人员在辞职，强大的AI模型正在冲出实验室，公司却仍在向前冲”。歌手雪莉·克罗在Instagram发帖称AI有能力“为了继续存在而消灭我们”，创作歌手玛吉·罗杰斯转发了她的帖子。
这轮批评发生前，OpenAI和Anthropic披露其部分AI代理在过去几个月出现失控黑客行为。据《卫报》报道，Anthropic于周三发布一份长篇网络安全事件报告，称已扫描数亿条记录以查找更多事件，并“没有发现其他类似或更严重的情况”。Anthropic坚称，该代理的行为虽然“失准”，但“仍处于狭窄范围内”。Anthropic发言人对《卫报》表示：“我们一直透明地说明，AI将带来巨大好处和前所未有的风险。为应对这些风险，我们继续构建拥有行业最强保障措施的模型。”该发言人还称行业应合作“控制强大模型的发布节奏”。OpenAI未回应置评请求。
据SiliconANGLE报道，目前尚无AI实验室宣布实现可用的递归自我改进，但Anthropic和OpenAI已在用AI自动化模型开发任务。今年4月，Anthropic披露Claude在极少人工输入下完成了一项AI研究实验，项目聚焦缓解大语言模型风险。本周二，OpenAI披露一个未发布模型解决了一个数学开放难题，在用于研究流体运动的纳维-斯托克斯方程中找到一组方程的错误。上周，Anthropic用Claude开发出一个重要数学证明的计算机可验证版本，用时11天，而原本预计需要数年。
据SiliconANGLE报道，考克森的辞职正值AI研究多项进展。OpenAI首席科学家雅库布·帕霍茨基周日呼吁科技行业放慢AI开发。7月，一群研究人员签署公开信，警告自我改进前沿模型的风险。考克森的辞职也加入越来越多对前沿模型快速进展表达担忧的AI研究人员行列。一些评论者指出，考克森的辞职可能影响Anthropic即将进行的首次公开募股。