据雷峰网报道,清华大学与智谱AI联合完成的一篇论文披露了智谱内部模型GLM-Omni,唐杰担任通讯作者。论文给出了该模型的技术底座及统一视觉理解与图像生成的实验结果,但没有披露其与GLM-5.5的版本对应关系;模型名称出现后,社交平台上有用户将其与GLM-5.5联系起来。

论文最受关注的一组结果是“会画却难说”。在数字任务中,GLM-Omni把指定号码正确画在球衣上的比例为72%,研究人员拿走图片、改用文字询问球衣号码,正确率只有2%。在更系统的测试中,GLM-Omni平均视觉正确率为54.00%,文字回答为14.57%;BAGEL分别为31.43%和8.86%,SenseNova-U1为61.14%和20.00%。SenseNova-U1在号码任务中的视觉正确率达到88%,纯文字回答为0%。

为排除模型已有记忆的干扰,研究团队搭建了虚构世界MagicWorld,设置颜色、数量、形状、空间排列、相对大小、数字和文字7类任务,每类50条知识,共350条,筛选后留下8552组训练样本。训练文本经过检查,以尽量排除答案泄漏和属性分布不均。测试分为两条路径:一条让模型重新生成目标图片并检查属性,另一条不提供图片、只用文字提问,以区分模型没有学会属性,还是学会后无法从文字端调用。

研究团队随后尝试Textual Alignment,为部分实体补充文字问答示例。BAGEL平均文字正确率从8.86%升至15.43%,SenseNova-U1从20.00%升至28.00%,GLM-Omni却从14.57%降至12.57%。三种模型在测试实体的数字与书籍标题任务中正确率仍为0%。在Interleaved Image–Text Alignment中,图像生成和文字回答被放进同一条训练序列,GLM-Omni平均文字正确率从12.57%提高到26.86%,形状任务从12%升至64%,空间排列从0%升至40%。消融实验屏蔽交错样本中的图像损失后,GLM-Omni平均文字正确率从26.86%跌至13.71%。

团队还测试了Visual Chain-of-Thought,即允许模型在推理中先生成目标图像,再从图像识别属性并回答文字问题。GLM-Omni平均正确率从26.86%升至41.14%,BAGEL从17.14%升至20.57%,SenseNova-U1从28.57%升至34.86%。数字任务中,三种模型原先直接文字回答正确率均为0%,使用该方法后分别达到4%、36%和20%。论文案例显示,SenseNova-U1直接回答球衣号码时给出错误的69,生成球衣图像再读取后答出正确的31。论文同时指出,生成图像会增加计算,图像出错可能带偏答案,书籍标题任务在Visual CoT下仍未改善,且实验知识来自受控虚构世界,真实场景效果有待检验。