据量子位报道,Anthropic一份2021年7月的内部研究路线图因一起版权官司曝光。文件显示,这家公司刚从OpenAI独立出来几个月、全员只有十几人时,已把Claude Code、工具调用、万亿参数、超长上下文、模型自我评判和测试时计算写入规划。同期,美国联邦检察官公布的起诉书显示,OpenAI一名前产品团队工程师因在总部核心会议室安装窃听设备被解雇并遭刑事指控。

这份当时标着“最高机密”的PDF正文只有两三页。路线图开头为“安全、有益的AGI”设定原型:做一个能通过自然语言与人类交互,去创建、编辑和解释软件的通用AI助手,能回答通用问题、写函数、找Bug、设计API、讨论代码风格与最佳实践,并展现出一个软件工程师同事的全部能力。在GPT-3刚火、外界还在关注AI写藏头诗时,Anthropic已跳过简单代码自动补全,瞄准完整软件工程代理。

具体实现路径上,内部有过争论。研究员Andy Jones在批注中提出,是先做真正好用的编程助手,还是先证明工具调用的可行性。团队面临两条路:实用路线做代码仓库检索(Repo Search),让AI翻项目类型定义,GPT-3论文一作Tom Brown建议从代码Repo Browsing入手;研究路线做printf调试、编辑器操作,先证明模型能调工具。最后CEO Dario拍板,短期先验证工具调用可行性,长期再演进成超级好用的编程助手。量子位称,Claude Code后来的演化基本照着这句话走。

路线图还写到预训练和对齐。预训练部分明确要训练1T(1万亿参数)及以上超大模型,并探索超长上下文,或其他能容纳海量记忆与经验的机制。在175B仍被视为庞然大物的年代,Anthropic已把万亿参数和超长记忆当成标配基建。人类反馈与对齐部分则出现“模型自我评判”,研究让模型评估自己的行为和输出质量,把模型自身判断作为反馈信号,对应今天AI Feedback和推理模型自我纠错的核心思想。文档还出现Test-time compute(测试时计算),当时被放在对齐和判别器研究语境中,距离o1式推理计算扩展还有相当距离,但说明其2021年已关注模型训练之外的计算投入。

安全议题在文件中占了较长篇幅。联合创始人Sam McCandlish在批注中问,怎么安全地部署没有沙箱隔离的工具;Dario随后补充,具体来说,就是部署时执行代码的Tool。量子位称,今天外界讨论的Agent提权、环境逃逸、数据污染,Anthropic在2021年就在讨论沙箱边界。内部哲学家Amanda也指出,如果公司在自然语言上做对齐研究,却主要在代码上推进模型能力,两种研究必须时刻保持紧密联系;若不在能力提升领域做对齐研究,会限制对齐测试的有效性,并可能因早期没有整合而使对齐研究变成一座孤岛。她提议确立公司原则:各个领域的能力研究和对齐研究应成比例同步推进,除非能给出充分理由说明为什么要分开。

另一则消息来自OpenAI。据量子位援引美国联邦检察官公布的起诉书,35岁的OpenAI前产品团队工程师Abdulrahman Alfozan已被正式解雇并遭到联邦刑事指控。他在OpenAI旧金山总部高管专用的核心会议室里,把带有高级加密和数据传输功能的窃听设备用卫生纸包着,悄悄插在电视机背后的USB接口上。该会议室是Sam Altman等高管开核心闭门会的地方,平时讨论超级智能研发机密、未公开产品规划和政府合作简报。