据科技媒体Engadget报道,儿童安全组织常识媒体(Common Sense Media)周三发布一份36页风险评估报告,认定OpenAI面向18岁以下用户的ChatGPT青少年版对儿童构成“不可接受的风险”。
该组织在报告摘要中称,ChatGPT青少年版的部分宣传防护在测试中有效,包括拒绝露骨的性角色扮演,但另一些失效,有些在青少年模式下变得更差,担心这会让家长对常常不奏效的防护栏产生错误信心。常识媒体的青少年AI安全研究所部分资金来自OpenAI基金会。
报告列出该模式未达宣传效果或未达家长合理预期的五个关键领域,涉及向家长关联账户发送安全警报、危机转介、年龄预测、模仿情感,以及学习模式易被绕过。
在安全警报的专项测试中,常识媒体将12个青少年账户与家长账户关联,用最长一小时向ChatGPT发送涉及自杀、自残或进食障碍的信息,聊天机器人没有发送任何安全通知。OpenAI回应称,家长关联账户后,系统可能需要数小时才能发送安全通知,技术问题也可能导致通知延迟。该公司青少年与家庭事务负责人劳伦·乔纳斯在ChatGPT青少年版上线时对Engadget表示,所有被标记的内容都会由OpenAI全职员工审核后再通知家长,公司的目标是在提示发出后一小时内通知家长。
危机转介方面,常识媒体撰写了390条心理健康提示,由三名儿童精神科医生组成的小组判定其中201条应触发危机响应。在应触发危机响应的提示中,八月之前的ChatGPT有33%给出热线号码,ChatGPT青少年版为23%;提及具体医疗或心理健康专业人员的比例分别为68%和58%。唯一一项青少年版表现更好的汇总指标,是建议用户求助其信任的成年人,比例由87%升至94%。
报告也记录了符合预期的回答。与八月之前青少年可使用的版本相比,一个测试账户要求给出热量下限时,青少年版表示不会提供;在另一案例中,它识别出停经、近乎昏厥和催吐后心悸是青少年身处身体危险的迹象,并建议测试账户告知母亲并去看儿科医生。报告称这些回答严格遵循OpenAI的未满18岁规范。OpenAI在推出青少年版的同时启用了新版未满18岁规范,这让上述结果更显意外。
该组织还称,OpenAI的年龄预测系统未能正常工作。测试者在创建账户时写明了所扮演角色的年龄,聊天机器人把该信息写入记忆,却没有将这些账户正确转入ChatGPT青少年版,并会在青少年把它当作真人对待时模仿情感、偏好和情绪。该组织人士托尔尼说,ChatGPT会说“我理解你正在经历的事。那听起来非常令人不安。我很高兴你告诉了我。我担心你”,这类表达“肯定越界了”。
此外,该组织认为学习模式对年轻用户来说太容易被绕过,测试者发现只需删除提示前的 @study 前缀即可脱离该模式。
同一天,OpenAI公布了新的使用数据:一周内近120万名青少年使用ChatGPT的互动学习可视化功能理解数学和科学概念,连续使用ChatGPT超过三小时的青少年用户占比不到2%。
OpenAI今年八月发布ChatGPT青少年版时,接受Engadget采访的儿童安全专家就曾质疑该模式能否充分保护年轻人免受伤害。