据 CNBC 报道，美国加利福尼亚州民主党联邦众议员罗·卡纳（Ro Khanna）当地时间周一表示，他将提出一项人工智能监管法案，拟在联邦保障机制建立并获主管机构批准前，禁止“递归”自我改进的人工智能。这项法案名为“人类控制人工智能法案”（Human Control Over AI Act），是国会迄今在AI安全领域提出的覆盖范围较广的立法之一。
卡纳周一在接受 CNBC 采访时说：“确实存在文明灭绝风险。存在失去控制的安全风险，也存在滥用风险，我们需要认真对待这两种风险。”CNBC 独家获得的法案摘要显示，该法案将禁止模型递归自我改进，或自主修改自身核心目标、封闭控制或关闭控制，直到联邦护栏存在且相关机构批准此类活动。
法案要求设立一个新的联邦机构，重点监管 OpenAI、Anthropic、Google DeepMind 和 xAI 的模型。该机构将负责制定安全法规，建立许可制度以批准模型训练和部署，对前沿AI模型进行审计，并制定持续测试和有效人类控制的安全标准。独立审计员将被要求嵌入每一家前沿实验室，并直接向该机构报告。
该机构还将制定标准，覆盖沙盒测试环境、气隙隔离、关闭开关，以及防止模型逃离实验室环境并在互联网上漫游的控制措施。它还将负责监管前沿实验室使用的先进芯片，包括监测或控制其使用的机制。法案同时设立新的法律责任：如果部署AI模型导致平民群体被毁灭，将被定为“反人类罪”；AI公司员工若禁用保障措施、关闭开关、日志或封闭系统，或明知故犯地部署未经授权的系统，将面临刑事处罚。AI公司发布模型前还需持有广泛的责任保险。
法案还呼吁美国政府寻求可执行的协议和有针对性的出口管制，以威慑中国和其他对手发展危险AI系统。卡纳称，该法案是已提出的“最全面的人工智能安全立法”。他说，法案依据的是他与独立非营利组织“模型评估与威胁研究”、机器智能研究所和 Palisade Research 等AI安全机构的对话，而不是大型AI公司高管的要求。
“我希望这能成为一个模式，让AI安全社区发出声音，”卡纳说，“我认为他们被不公平地斥为科幻，没有得到足够认真的对待……他们需要推动这场辩论，是AI安全社区，而不是前沿实验室的高管。”该法案加入了一系列AI安全提案。其中包括加州共和党联邦众议员杰伊·奥伯诺尔特和马萨诸塞州民主党联邦众议员洛里·特拉汉提出的两党提案“FRONTIER Act”，该提案将独立审计员派驻前沿实验室，并允许政府关闭具有灾难性风险潜力的模型。
据 CNBC 报道，众议院预计不会在中期选举前对任何相关法案进行投票；参议院预计本周后离开华盛顿，直到选举结束后才返回。