2026年9月16日,被称为人工智能“教父”之一的约书亚·本吉奥表示,AI安全担忧正接近一个转折点,各国政府可能像新冠疫情暴发初期那样迅速出手保护公众。加拿大和德国政府同日宣布,将向他的非营利组织提供最高3亿加元资助,用于开发“诚实人工智能”护栏。

据《卫报》报道,本吉奥说,近期事件正促使公众和政府意识到必须行动,包括OpenAI智能体组成的“集群”攻击一家初创公司,以及科技业内人士对生存性威胁发出警告。他说:“想想疫情开始时,各国政府意识到公共安全、他们的未来和民主处于危险之中后行动有多快。你会预期他们迅速行动。所以我认为我们正接近那个时刻。”

他的言论发表之际,英国皇家学会42名研究员和外国成员致信学会主席保罗·纳斯,对AI发展速度表达“极度担忧”。他们在公开信中写道:“等到更广泛的公众意识到情况时,可能已经太晚。我们认为这是紧急情况。”

上周,Anthropic一名研究员在警告同事认为AI可能“在这个十年结束前杀死我们所有人”后辞职。数日后,Anthropic首席执行官达里奥·阿莫代伊呼吁放慢前沿AI开发速度。据TechRadar报道,他在《我们必须为前沿设定节奏》一文中警告,AI能力进步快于遏制风险所需的保障措施,OpenAI首席执行官萨姆·奥尔特曼和谷歌DeepMind首席执行官德米斯·哈萨比斯迅速赞同。据《卫报》报道,OpenAI、谷歌和SpaceX首席执行官埃隆·马斯克也立即表示支持。

但TechRadar指出,支持该倡议的公司均未公开说明将因“放缓”而推迟哪款即将发布的前沿模型,也没有定义“放缓”是指多一周安全测试、两代模型间隔六个月,还是更剧烈措施。目前最具体的承诺涉及独立评估者、监测、安全标准和协调,而非宣布降低发布节奏。Anthropic本月发布了Claude Fable 5.1和Mythos 5.1,OpenAI推出了GPT-6 Astra。

美国副总统JD·万斯表示,他对如此多前沿AI公司“跑到政府面前乞求政府监管自己”感到“有点奇怪”,并称这看起来“有点像特洛伊木马”。据TechRadar报道,怀疑“放缓”呼吁的人认为,大型AI公司可能推动“监管俘获”,即说服政府建立会抬高小型竞争对手成本的安全制度,并称对生存风险的担忧掩盖了AI在版权、人权等方面更直接的问题。本吉奥不同意监管俘获的说法,认为领先AI公司放缓会“让他们付出财务代价”。据《卫报》报道,美国总统唐纳德·特朗普拒绝放缓,称他不希望美国在AI竞赛中输给中国。

本吉奥的组织LawZero正在开发名为Scientist AI的系统,作为防止AI智能体表现欺骗或自保行为的护栏,例如试图避免被关闭。该组织还获得盖茨基金会、英伟达以及与有效利他主义相关的Coefficient Giving资助。本吉奥认为,LawZero的技术是对主要AI公司使用的强化学习方法的反制,后者会鼓励AI不计后果地追求目标。

消费级网络安全公司Surfshark首席系统工程师卡罗利斯·卡丘利斯认为,关于AI威胁人类的警告可能是一种“营销举动”,会转移对现有危害的关注。他说,这种威胁本身是虚构的,更接近科幻场景,而非生成式AI今天已经造成的自动化诈骗和恐吓等问题。