Anthropic 10月8日更新使用政策，这是该公司一年多来首次调整使用条款，明确禁止用户对Claude施加持续且无必要的辱骂或残酷行为，并新增针对选举干预、武器开发、监控及欺骗性宣传等用途的限制。据The Verge报道，此次更新还涉及选举干预、武器开发、监控、健康与金融用途等高风险滥用情形。
据The Verge报道，Anthropic去年8月已允许Claude结束与“持续有害或辱骂”用户的对话，作为模型福利研究的一部分。新政策称终止对话仍是“主要执行机制”，Anthropic未回应是否会封禁用户等进一步措施。政策仅适用于用户反复且无明确目的地残忍对待模型的极端情况，不适用于常见用户挫败、反对、黑暗创作主题或模型测试与研究。
TechCrunch报道称，Anthropic周四更新使用政策，将选举干预、武器软件和监控等新禁令写入条款，并明确禁止用户持续对模型言语辱骂。自8月更新以来，Claude已被训练为可结束与“持续有害或辱骂用户互动”的对话，新政策禁止用户继续这类对话。TechCrunch还称，这一变化出现前，Anthropic曾寻求与知名宗教学者合作，某些情况下试图让他们相信Claude可能有意识或有灵魂。
在欺骗性宣传与选举方面，The Verge报道称，Anthropic将此前分散的限制整合为新禁令，针对欺骗性商业或政治宣传活动，限制掩盖信息幕后主体或通过虚假账户、帖子放大内容。其选举章节禁止欺骗选民和破坏选举，包括传播关于候选人或如何投票的错误信息、冒充候选人或选举官员、压制投票率。TechCrunch报道称，政策还禁止利用Claude运营虚假账户或伪造新闻机构，并列入“不要破坏民主进程”标题下。
在武器方面，Anthropic表示，使用政策一直公开禁止使用Claude开发武器，但公司已看到多起试图利用Claude开发武器制导和控制软件的尝试，因此新政策将禁令扩大到“使武器运作的软件和组件，以及为无人机和其他自主载具配备武器等行为”。
在监控方面，Anthropic称，上一份威胁情报报告显示，人们越来越多地使用由Claude驱动的监控来识别和追踪“政治异见者”，因此进一步明确监控禁令：未经同意追踪他人均被禁止，无论是实时进行，还是通过分析此前收集的数据；Claude不能用于在执法或刑事司法过程中决定或建议调查、逮捕或起诉谁；也禁止使用Claude构建或改进用于监控的工具。
Anthropic表示，对于“与某些政府客户的合同”，如果Anthropic判断合同中的使用限制和适用保障措施足以减轻潜在危害，这些规则可能会被修改。该公司此前曾与美国军方签约。
Anthropic还新增规则：当其AI模型“连接到可采取自主物理行动、并可能造成伤害的硬件”时，“合格操作员必须能够观察设备并在需要时将其停止”。目前尚不清楚操作员是否必须为人类。The Verge报道称，这反映出AI实验室日益投资机器人和其他硬件，为AI系统提供物理实体，也可能暗示Anthropic在该领域的未来合作方向。
过去一年，Anthropic多次触及模型可能在某种程度上具有意识的想法。领导该公司模型福利研究的Kyle Fish今年2月对The Verge表示，关于潜在内部体验、意识、道德地位和福利的问题，是随着模型变得更复杂、更有能力而正在调查的严肃问题。同月，Anthropic CEO Dario Amodei在一档播客中说：“我们不知道这些模型是否有意识。”据The Verge报道，微软AI的Mustafa Suleyman起草的行为准则曾写道，“模型福利的想法是错误的。AI不应拥有权利或法律人格。”但该文件后来改为更审慎的表述：“虽然AI意识的科学远未定论……我们拒绝追求法律人格，或认为模型可能值得福利、有权享有权利的想法。”