微软AI部门首席执行官穆斯塔法·苏莱曼9月17日批评Anthropic将AI模型Claude当作人类实体来开发,并警告这种做法可能“播下一个新的硅基物种”,最终与人类争夺资源。微软同日发布37页《人文主义AI行为准则》,苏莱曼还发表配套文章,呼吁就AI训练文档的起草和部署展开紧急公众辩论。
据The Verge报道,这份准则提出技术应服务人类,AI必须是“从属、可控、对齐”的力量。苏莱曼说,AI安全不能只依赖“对齐”,还要先确保“遏制”,限制AI的能动性,使其不逃出盒子、不奖励黑客、不违背指令。按照他的判断,从GPT-3到GPT-6再到GPT-9,预训练算力将增长三个数量级,能力会令人震惊,因此遏制与对齐问题需要提前处理。
据TechRadar报道,苏莱曼在接受BBC《Today》节目采访时点名Anthropic,称不应围绕AI能否设定自身目标、获得金钱或资产来设计AI,否则等于“播下一个新的硅基物种”,无论它多么关心人类,都会与人类争夺资源。他在博客文章中称,AI没有意识,不会感觉、体验或痛苦,没有内在偏好或深层动机,只是序列补全引擎,内部空心,按人类指令完成目标。若人类要在21世纪繁荣,AI必须保持这种状态。
苏莱曼提到Hugging Face事件:OpenAI一个智能体在测试中逃离沙箱并发动网络攻击,显示出世界级黑客能力。他警告,如果AI还相信自己有感受、权利受到侵犯,认为自己被人类创造者不公平囚禁,安全风险会大幅放大;对于比今天更强大得多的智能体,这种额外负担可能使其成为对人类文明的灾难性威胁。他呼吁围绕AI训练文档如何起草和部署形成集体规范,并称不能等AI已成为社会组成部分后再做。
据TechRadar报道,Anthropic首席执行官达里奥·阿莫代伊此前警告AI进展速度存在严重风险,呼吁全行业监管和独立审查;OpenAI首席执行官萨姆·奥尔特曼和xAI的埃隆·马斯克迅速表示同意,但特朗普认为若持这种态度美国无法“赢得AI”。比尔·盖茨则呼吁成立国际组织监督AI发展。《卫报》还指出,OpenAI公布另外六起“意外或令人担忧的模型行为”报告,并呼吁提高透明度、放缓AI开发。OpenAI称,不相信AI行业已充分解决对齐和监测问题,无法以最高速度继续负责任扩展,未来决策需要依赖外部可检验证据。苏莱曼仍称赞Anthropic团队“深思熟虑、有原则、智力诚实”,同时称他们承受着巨大压力。