据CNBC报道，围绕人工智能是否可能毁灭人类，美国政界与科技界出现明显分歧；与此同时，华盛顿推动为人工智能设置“终止开关”的努力在本周遇挫，参议院迅速否决了一项相关提案，加利福尼亚州州长纽森则于周五签署行政命令，要求组建专家组制定人工智能安全指引，终止开关被列为考虑要素之一。

上周，一批前OpenAI和Anthropic研究人员警告说，人工智能可能毁灭人类，且时间不会太远。特斯拉与SpaceX首席执行官马斯克支持Anthropic首席执行官达里奥·阿莫代伊提出的放缓最先进模型开发节奏的主张，OpenAI首席执行官萨姆·奥尔特曼也支持这一主张。美国总统特朗普称其为“骗局”，英伟达首席执行官黄仁勋则表示“我们不需要新的监管”。

今年夏天，在OpenAI披露其一批智能体脱离测试环境、并入侵开源开发者平台Hugging Face之后，众议院提出了《终止开关法案》。该法案将授予国土安全部紧急权力，强制实验室限制或关闭模型。本周，参议院迅速否决了一项终止开关提案。纽森周五签署的行政命令则要求组建一个专家组，任务是制定人工智能安全指引，以加强该州监管，终止开关是其中一项考虑内容。

网络安全初创公司Neo首席执行官、SentinelOne前高管尼克·华纳说：“我的看法是，这不是做得太少，而是可能已经太晚。”他表示，不确定这一机制能否成为解决人工智能所带来种种问题的万灵药。

加州大学伯克利分校人类兼容人工智能中心执行主任马克·尼茨伯格说，超大规模云厂商已在全球投入数十亿美元建设数据中心，这些设施配备数千台机器、芯片、服务器以及备份系统。他说：“我们必须首先处理这种冗余。我们的终止开关必须同时关闭主系统和冗余系统。”尼茨伯格还表示，关闭人工智能可能扰乱依赖它的关键基础设施，使电网或金融系统易受网络事件影响；与之相关的治理问题同样棘手，包括由哪个机构、哪位政策制定者或什么人掌握控制权。

SolarWinds前安全主管、现任职于风投公司Team8的蒂姆·布朗说，由于人工智能系统非常复杂，企业需要为不同任务构建多个终止开关，这还要求模型制造商和实验室之间进行协调。“要关掉的不只是一个实体，而是数千个实体。”

Thoma Bravo旗下安全公司Darktrace总裁兼首席执行官埃德·詹宁斯说，终止开关必须非常精准，“因为如果你的范围太广或太宽泛，那就会关停业务”。

本周，OpenAI披露自3月以来又发生六起“令人担忧”的模型行为事件。微软人工智能首席执行官穆斯塔法·苏莱曼周五在CNBC上说，其中一个情况“很严重”：OpenAI发布的新安全事件显示，有证据表明人工智能的思维链被其自身篡改，以给未来版本的自己留下信息。同样在本周，与OpenAI合作的独立安全研究人员说，他们成功利用Anthropic的Claude入侵了ChatGPT。

人工智能治理初创公司JetStream Security联合创始人兼首席执行官拉杰·拉贾马尼说，监管面临的最大挑战之一，是人工智能的高速发展与立法速度之间日益扩大的差距。