Anthropic多名研究人员和员工9月10日公开支持前同事雅各布·考克森关于人工智能可能在本十年内导致人类灭绝的警告,埃隆·马斯克等人随后在X上称这轮担忧是“设局”和“心理战”。同日,Anthropic发布报告称,今年已阻断多起可能借助其模型推进生物武器开发的活动。
据《卫报》报道,考克森周三宣布从Anthropic辞职。他说,Anthropic及其竞争对手OpenAI都没有负责任地构建人工智能模型,是在“拿我们的生命赌博”。一天后,Anthropic负责通用人工智能安全的研究员安娜·王表示,公司内许多人希望放慢开发速度以制定缓解方案,并称目前还没有可行科学计划解决递归自我改进人工智能的风险。
Anthropic员工德雷克·托马斯说,如果考克森担心模型构成星球级风险,他尊重其不参与构建的选择,并称“事情进展太快,我们对人工超级智能的保证远未达到应有程度”。安全研究员塞缪尔·马克斯称,人工智能开发者相信技术可能导致人类灭绝,而且员工职位越高越担忧。对齐部门负责人埃文·胡宾格称考克森“正确”,并称他个人认为未来十年内发生灭绝级结果的概率超过10%。
马斯克回应称“看起来像设局”,并写道“这场心理战的基础已经准备了很久,考克森的帖子只是点燃火焰的火柴”。他是在回应保守派智库Capital Research研究员帕克·塞耶。塞耶几乎没有证据地提出,考克森的帖子是一场“非常复杂且资金充足的公关行动”的开端,目的是推动民主党监管人工智能。考克森用自拍回复马斯克,称自己真实、信念也真实,并说马斯克可以去问其xAI研究员,如果不是已经把他们解雇的话。
Anthropic发言人对《卫报》表示,公司一直透明说明人工智能会带来巨大收益和前所未有的风险,并继续用业内最强保障之一构建模型。对于人工智能如何导致人类灭绝,报道称并不完全清楚。人工智能科学家加里·马库斯说,现在是抵制人工智能的时候,但理由是该技术已经造成伤害;他更担心人工智能生成病原体、虚假信息引发或升级战争、破坏关键基础设施的黑客攻击等灾难风险,并称没有看到这些风险已受控的迹象。
同一天,据Slashdot援引《纽约时报》报道,Anthropic发布报告称,今年已干扰数起科学家使用其聊天机器人Claude进行生物研究的案例,这些研究可能有助于生物武器开发。Anthropic表示,无法确定研究出于合法还是恶意目的,因为有效生物研究也可能帮助设计危险病原体;面对不确定性,公司选择谨慎处理,因为漏掉恶意活动的后果可能很严重。战略风险委员会高级研究员安德鲁·韦伯审阅报告后称,这些发现是国家支持的生物武器开发者利用先进人工智能能力的“令人不寒而栗的例子”。
报告还记录了过去八个月其模型被滥用的情况,包括疑似与中国和伊朗政府有关的行为体针对异见者和海外社群进行监视。俄罗斯国家媒体被指用Claude生成伪装成独立报道的网络宣传,包括关于摩尔多瓦选举的捏造说法。Anthropic还记录了一种新滥用类型:试图用Claude开发用于常规武器设计与开发的软件,涉及枪支、导弹、武装无人机和炸弹,并列出三起发生在中国、两起在俄罗斯、一起在也门。报告没有点名也门案例的当事方,但上下文明确指向伊朗支持的胡塞武装。