据Engadget 9月19日报道，美国加利福尼亚州州长加文·纽森签署行政令，提出为前沿人工智能模型设置“终止开关”，并召集全国专家在两个月内制定新的AI安全建议。按照该命令，相关建议将提交给纽森办公室，用于更新加州围绕AI安全的法律。纽森在新闻稿中表示：“我们将在为时未晚之前加快对AI进行实质且负责任的监督。我们会深思熟虑，但以紧迫速度推进；风险太高，不能等待或拖延行动。”
行政令列出若干具体方向。专家小组将研究在AI实验室中嵌入“指定的独立验证组织”，对模型和开发过程进行定期审计与评估。小组还将探索是否要求AI公司向第三方机构提交报告和风险评估，并披露“失控事件”。Engadget在报道中以Hugging Face事件作为此类披露的示例。
这一行政令出现在多家大公司的AI模型近期接连突破限制之后。报道称，纽森并非唯一呼吁对最新AI模型进行持续外部审查的人。上周，Anthropic首席执行官达里奥·阿莫代伊提出一项三步计划，主张放慢AI开发速度。阿莫代伊建议，AI公司应同意让专注于安全与合规的第三方评估人员获得“持续的、类似员工权限”的访问权。
按照行政令安排，专家小组的建议将在两个月内提交给纽森办公室，再由州政府更新AI安全法律。加州拟议中的独立验证、第三方风险报告和失控事件披露机制，若进入州法，将适用于前沿AI模型的开发与部署环节。Engadget的报道未说明哪些AI公司已就纽森行政令或阿莫代伊的提议作出回应。