据雷峰网报道,10月21日,在CNCC 2026首日Tutorial环节,天津大学人工智能学院英才教授、国家级青年人才张长青作了题为《广义多模态融合技术》的报告,介绍团队在多模态表征、动态可信融合和通用多模态预测基座方面的研究,试图应对模态缺失、噪声干扰和新任务适配成本高等问题。
张长青首先比较了联合表征与协同表征两种思路。他表示,过度强调不同模态之间的共享信息,可能削弱模态特有信息;医学诊断中病原学检测与CT影像提供的信息相互补充,却不能相互替代。团队尝试通过重构不同模态的观测来学习潜在表征,使模型在模态缺失条件下利用现有可观测数据建模,而不必对每一种缺失情况都进行人工补全。
在动态融合方面,团队提出可信多视图分类方法TMC,利用变分狄利克雷分布刻画类别概率分布,并结合Dempster–Shafer证据理论融合不同视图提供的证据,以估计预测的不确定性。报告介绍了该方法在晶体结构识别中的应用:实验结果显示,分类准确率由约58%至59%提高到93.9%左右。张长青同时表示,具体结果应结合对应论文的实验设置理解,不能据此推断所有多模态任务都能取得相同幅度提升。
张长青还介绍了通用多模态预测基座Fusion Anything Model(FAM)。相关论文提出,能否训练一个不局限于预先指定模态组合和单一任务的模型,利用上下文样例适应不同多模态预测任务。FAM在推理阶段采用上下文学习,不需要针对新任务更新模型参数,但仍需带标签样例提供任务信息。团队采用结构多模态因果模型生成合成多模态预测任务,并在模型中设置模态内注意力、跨模态注意力和样本级注意力。
论文报告的评估中,FAM在18个真实数据集、12种模态和11类预测任务上测试,平均准确率较所比较的专用融合基线提高约6.9个百分点。不过,不同数据集上的表现并不完全一致,模型并非在所有测试中都优于其他方法。张长青还展示了团队在视触觉抓取成功率预测、强化学习评分、与湘雅医院皮肤科开展的多模态皮肤病诊断测试以及历史手稿识别等任务上的初步结果,并提到模型后训练、垂域适配、模态编码器选择和真实机器人系统应用等问题仍需继续研究。