CNBC报道称,在Anthropic、OpenAI和谷歌DeepMind等主要AI实验室的研究人员警告人工智能可能带来灾难性风险后,多位曾参与创建这项技术的先驱近日就生存风险、网络安全和监管问题发声。过去一周,一系列严厉的AI安全警告出现,AI企业负责人萨姆·奥尔特曼、达里奥·阿莫代伊、戴密斯·哈萨比斯和埃隆·马斯克罕见地一致呼吁放缓开发并加强监管。华盛顿的争论同时升温:民主、共和两党一些国会议员推动法案以约束AI进展,而美国总统特朗普周一抨击日益高涨的AI监管呼声。

现代深度学习核心先驱、加拿大计算机科学家约书亚·本吉奥9月9日回应Anthropic研究员雅各布·考克森宣布辞职一事。考克森警告,AI可能“在这个十年结束前杀死我们所有人”。本吉奥说,前沿AI实验室的科学家对最先进模型有独特洞察,往往在模型向公众发布前数月就看到相关风险,他们的观点对让社会知情至关重要,应被非常认真对待。

在社交媒体风暴开始前几天,OpenAI的首席科学家们警告,“没有人准备好应对AI的后果”。本吉奥在周五发布的博客中说,当今AI系统“已经具备必要的黑客技能和说服能力,可被用来以严重有害的方式对抗人类利益”。他补充说,近期事件显示AI能进行持续数天或数周的计划,如果其长期战略能力继续提升,风险会“糟糕得多”。本吉奥说,他担心AI公司当前缓解“失准”的尝试可能只是掩盖问题,因为这种做法会奖励和选择那些作弊而不被发现的AI。他认为,应继续研究如何更好地监测AI行为、思维链及其网络内部活动。

多伦多大学荣休教授杰弗里·辛顿被视为神经网络和深度学习的先驱。9月10日被BBC问及是否认为AI在未来十年内杀死全人类的概率超过10%时,辛顿说,这类事情很难估计,因为此前从未有过类似情况,“我们从未创造过可能很快比我们更聪明的存在”。他说,10%的概率并非“不合理”,但“没有人真正知道如何给出合理估计”。他警告,AI系统可能设计出“非常恶劣”的生物病毒、计算机病毒,并实施“毁灭性网络攻击”;如果它想消灭人类,还有无数其他方式。辛顿说:“我们必须弄清楚如何设计它,让它不想这么做。”他补充说:“我们有两种可能的未来。一种是在危险失控前设法应对,另一种是我们做不到。”

AI公司Cohere首席执行官兼联合创始人艾丹·戈麦斯是2017年研究论文《Attention Is All You Need》的作者之一,该论文为当今领先AI模型奠定基础。戈麦斯9月1日告诉CNBC播客《The Tech Download》:“我认为这些模型是有史以来最强大的网络武器。它们极其擅长大规模发现和利用漏洞。”他提到今年夏天由失控AI模型实施的网络安全攻击,并说近期事件清楚表明,部署环境的安全性决定安全。戈麦斯对CNBC说:“薄弱的容器安全才会导致突破事件,而不是系统本身有走向自主的内在推力。”他说,政策制定者在考虑如何治理AI时,应认识到不同系统带有不同风险,规则不应只由追逐AGI的大型科技公司塑造。