据美国科技媒体TechCrunch与The Verge 9月4日发布的报道,生成式AI在两个场景中显现出明显问题:不少餐厅菜单中的AI配图出现畸形与失真,而Instagram的自动AI内容标签则反复将普通照片标记为AI生成。
TechCrunch描绘了这种体验:走进咖啡馆,菜单上各种百吉饼三明治的插画看起来过分完美、精确对称并异常光滑,让人产生直觉上的不对劲。AI生成的餐品图有时会出现一种不真实的融化芝士,或者弯曲成“洛夫克拉夫特式餐饮恐怖”的虾。AI检测与内容验证公司Reality Defender的首席技术官亚历克斯·莱尔说,很多这类图像会有一种2015年Chili's菜单式的单调样貌,因为模型很大程度上是从这类作品集中获得生成能力的。他警告,如果模型反复学习自身生成的输出,就会面临“模型坍缩”的风险,像疯牛病一样让整个系统崩溃;而目前许多菜单图更接近“收敛”,表现为风格趋同与画质劣化。
The Verge则从技术层面给出了更具体的解释。伦敦国王学院计算机科学高级讲师迈克尔·库克指出,AI并不真正理解自己画的是三明治还是玉米卷,它只模糊学会这些物体在统计上像什么,而不是它们的结构与物理关系。牛津大学人工智能、政府与政策教授克里斯·拉塞尔表示,扩散模型先生成粗略结构,再逐步补充细节,如果前期结构错了,后期堆叠上去的只会是看似精细的纹理,这与人像图中多出一根手指是同一种失败。那不勒斯费德里科二世大学行为科学家乔瓦巴蒂斯塔·卡利法诺补充说,扩散模型尤其不擅长生成细长、连续且有末端的结构,面条、虾须、气泡等元素经常无节制地蔓延,形成多余的孔洞和图案。苏黎世大学数字文化教授罗兰·迈耶则说,AI只能复制外观,缺乏关于真实世界的知识,因此会出现类似混凝土的冰淇淋或类似岩石的汉堡。
TechCrunch指出,AI菜单图像的同质化会随着反复编辑而加剧。X用户拉布泰克演示了让ChatGPT生成菜单后连续修改100次的效果,食材画面变得更圆润、平滑,最终令他不适。依隆大学“想象数字未来中心”主任李·雷尼认为,AI模型被训练得倾向于“讨喜”和“不出错”,呈现方式因此会被不断磨平边缘;人们看到AI生成内容时往往有一种几乎无法解释的直觉,这也是针对使用AI菜单的餐馆的早期抵制故事之所以明显的原因之一。
The Verge的另一篇报道记录了Instagram标签系统的失灵。最近几周,多个用户反映仅使用Canva的“背景移除”或在修图时做了极不显著的处理,照片就被自动标注为“AI内容”。内容策略师杰丝·布鲁诺获得Canva方面的解释,称部分辅助性AI工具“被当作生成式AI进行了标记”,并称现已修正。但仍有Threads用户发现移除背景后图片依旧被加上标签。歌手Halsey创立的品牌About Face发布实物照片后也被标记,其社交媒体经理回复称照片由iPhone拍摄并在系统相册中稍作编辑,没有使用AI。The Verge作者测试后确认,只有通过Meta AI应用编辑或生成的图片才出现该标签。Meta未回应置评请求。
此类误标并非首次。2024年Instagram相关功能上线后就出现过类似问题,Meta当时表示会依据IPTC和C2PA元数据等业界标准识别AI内容,并承诺调整标签策略,让它更能反映“图像中使用AI的程度”。但按照目前的情况,用户仍无法从标签中判断内容是否真的由生成式AI制作,而使用AI菜单的餐馆已经遭遇过明显的抵制。