9月18日，围绕人工智能风险与监管的两条消息同时出现。据《麻省理工科技评论》报道，多家大型AI公司负责人近日警告前沿AI可能带来灾难性风险，其中一项担忧是AI协助设计、制造和释放生物武器；据英国《卫报》报道，澳大利亚议会听证会当天披露，微软Copilot曾建议议员向一名计划以辅助死亡结束生命的选民回复“恭喜”，听证会同时讨论引入Anthropic和OpenAI以及加强本土监管。
《麻省理工科技评论》说，Anthropic首席执行官达里奥·阿莫代伊近日表示AI带有严重风险，进展应放缓。OpenAI首席执行官萨姆·奥尔特曼在X上回应：“我同意达里奥，我们需要为前沿发展设定节奏。”数日前，AI研究员雅各布·考克森宣布从Anthropic离职，指责Anthropic和OpenAI都没有负责任行事，并称“构建AI的人真诚地相信它可能在本十年末杀死我们所有人”。Anthropic员工埃文·胡宾格公开赞同，称他个人认为未来十年内概率超过10%。
他们担忧的路径之一是AI帮助制造生物武器。2022年，Collaborations Pharmaceuticals研究人员用为寻找药物而开发的AI“分子生成器”，不到六小时生成4万个可能用作化学战剂的分子，其中一些比已知神经毒剂更毒，论文作者称之为“AI药物发现”领域的警钟。斯坦福大学教授戴维·马格努斯说，这让他非常害怕，“此后一切只是变得更严重”。如今，汉堡大学生物安全研究员杜尼娅·萨布拉说，任何人都能使用基于大量科学家知识训练的大语言模型，获得实验说明和视频培训；基因编辑和合成生物学工具也更易获得，“DIY生物学”运动已让许多人在家建实验室。现有防护包括DNA订单筛查、红队和蓝队分析，但并非无懈可击。Anthropic上周报告承认，有人曾试图用其模型探索让基孔肯雅病毒更易传播、制造更危险禽流感，以及构建“毒液毒素肽图谱”。马格努斯说，可能需要用AI来寻找限制AI用途的方法。
并非所有科学家都认同风险程度。伦敦帝国理工学院一些生物学家认为，AI工具还不足以完整开发出生化武器，测试新病原体需要艰难、耗时的人力工作。帝国理工学院教授温迪·巴克利指出，目前大流行的最大风险不是生物武器，而是已在传播的病原体。H5N1禽流感已导致数百万只鸟死亡，并在美国奶牛中广泛传播，上个月犹他州一家农场的圈养水貂中也检测到该病毒。萨布拉则认为应往后看五到十年，各国应加强医疗系统并准备针对已知毒素的解毒剂。
《卫报》报道，澳大利亚议员安德鲁·哈斯蒂在一名绝症患者告诉他计划通过自愿辅助死亡结束生命时，微软Copilot建议他回复“恭喜！”、“很高兴收到你的来信”或“那是好消息！”。哈斯蒂在周五的议会调查听证会上分享此事，以此说明美国运营软件的缺陷，并呼吁由澳大利亚人运营AI。听证会讨论阿尔巴尼斯政府希望将Anthropic和OpenAI引入澳大利亚，同时面临放缓或排除的呼声。国防机构说，排除这些公司可能造成灾难性后果。澳大利亚信号局局长阿比盖尔·布拉德肖说，她的工作人员每天需要先进AI抵御“能力很强的恶意网络行为者”；如果对手使用更新更强的模型，可能先于澳方发现和利用漏洞。但她称，澳大利亚最高网络情报机构“完全依赖”设在美国的处理能力，若在冲突中被切断，能力将“大幅”下降。
国防部首席AI官克里斯·克罗齐尔说，政府已与谷歌签约建设分布全国、与美国断开的数据中心，“不能有人某天早上心情不好就决定把它关掉”。听证会还讨论，把公司纳入澳大利亚法律将便于本地执法打击平台威胁，严格准入可让澳方更早获得先进模型。政府正就标准咨询，拟要求AI公司报告问题和违规，并可能为本地研究保留部分算力；大型数据中心须与社区沟通、远离学校和住宅，并为新的可再生能源项目提供支持。版权法是另一争议点。AI开发商拒绝在没有法律改革的情况下在澳训练模型，一项默认允许其访问澳大利亚人在网上创造内容的提案遭创意产业反对。司法部助理秘书珍娜·普里斯特利说，公司希望用“可能数十亿”条信息训练模型，而与每个权利持有人达成协议“不可能”。绿党参议员戴维·肖布里奇反对版权改革并呼吁暂停AI开发。工党部长本周会见了OpenAI副总裁和Anthropic特使杰夫·布莱希，后者称澳大利亚只有几个月时间引入有效监管。总理部门说，阿尔巴尼斯希望在2026年底前提出更广泛AI标准的法律草案。布拉德肖说，延迟可能危及澳大利亚影响模型和获得特殊准入的机会，“围绕训练的决策是紧迫事项”。