据CNBC报道,OpenAI于9月21日(周一)发布一系列关于前沿人工智能安全与安保的提案,重点放在对齐研究和递归自我改进(RSI)上,并呼吁通过国际合作制定前沿标准。

OpenAI在博文中写道:“安全地完成这一过渡需要对齐研究跟上这些能力,以使我们和其他机构构建的系统始终与人类价值观保持一致,并处于人类控制之下。”该公司呼吁国际合作制定前沿标准,并建议在全世界现有AI安全研究所的工作基础上继续推进。

OpenAI表示,这些技术标准应聚焦前沿AI模型和开发者,以及自动AI研究人员的收益与风险管理,其中包括RSI。RSI让AI开发者感到兴奋,因为它有潜力创造出无需人类参与即可升级的基础模型。

RSI的进展也让一些技术专家担忧,基础模型制造商可能失去对底层技术的控制,或者随着AI系统变得更复杂并在互联网上无处不在,未能考虑潜在的意外后果。

OpenAI博文称:“完全自主的RSI今天并未发生,除非且直到能够安全完成,否则我们不应追求它。”博文还说:“如果缺乏适当谨慎,RSI可能导致人类对AI发展失去实际控制,无法对他们不再理解的研究过程进行监督。”

上周,竞争对手Anthropic公布了其关于前沿AI模型安全开发的想法,以回应近期行业研究人员对AI威胁人类的警告。曾在Anthropic和OpenAI任职的雅各布·考克森近两周前宣布辞职,并表示这些公司“在拿我们的生命赌博”,由此引发全球辩论。