让机器人像GPT-3学会“看几个示例就会新任务”一样,仅通过观察一次演示即可执行未训练过的新任务,这一被称为具身上下文学习(ICL)的路径正在机器人领域兴起,并吸引了新的创业玩家。
8月中旬,Skild AI发布机器人基础模型S1。该模型只需给机器人看一遍任务演示视频,无需微调或额外后训练,即可尝试完成此前未训练过的新任务,任务时长可达10分钟,包含几十个操作步骤。据量子位报道,Skild在已见和未见任务上对比了ICL视频提示与传统语言提示VLA,结果显示,当训练数据只有1000小时时,语言提示效果更好,但随着数据规模增加,ICL开始反超;对于未见任务,加入视频上下文后,模型表现相比只用语言指令提升约7倍。
在S1发布的一周前,Generalist AI发布GEN-1.5,也以One-Shot学习为核心能力,机器人仅看一个示范就能在数秒内学习新任务,无需梯度更新或微调,并支持人类示范到机器人执行、组合泛化和Sim-to-Real迁移。量子位指出,这两项进展都在尝试让机器人学会利用更长的多模态上下文。
ICL这一概念由OpenAI在2020年GPT-3论文中提出,指不给模型做任何参数更新,仅在输入提示中提供若干任务示例,模型在单次前向推理中就能识别并执行新任务。过去三年,大语言模型的上下文窗口从4K扩展到1M,主要引擎正是ICL。但与语言模型不同,具身模型面对的是视觉观测、语言指令与动作序列交织的复合上下文,真实任务并非马尔可夫过程,每秒几十帧的视觉观测叠加本体状态与动作序列,信息量比纯语言高出几个数量级。
直至今年7月16日,李飞飞、Jim Fan、Yuke Zhu等人合著论文RoboTTT,首次系统地将“上下文缩放”路线应用于机器人视觉运动策略。8月,Generalist AI和Skild AI相继发布成果,尽管技术细节未完整公开,但已引发行业对具身ICL的讨论。
在此背景下,国内创业公司可可矩阵(COCO Matrix)于2026年4月成立,致力于把上下文学习做成具身智能的底层范式。创始人兼CEO高宇翔现年30岁,西安交大少年班出身,曾在美国约翰斯·霍普金斯大学攻读人机交互博士并中途辍学。他告诉量子位,今年1月与联合创始人讨论创业时就决定押注ICL。此前,高宇翔在傅利叶带队打通了全尺寸人形机器人从遥操作、数据采集到模型部署的完整链路,并于2025年5至8月用一百多万元成本在全尺寸双足人形上训练出具备一定泛化能力的世界模型。
高宇翔认为,过去行业沿袭大语言模型的成功逻辑,持续扩充数据以期涌现通用能力,但针对单一任务,采集两百条左右数据即可拟合,继续增加数据却未出现预期的通用泛化能力。同时,具身数据本身难以规模化,遥操作数据质量不统一,物品与场景多样性有限。早期许多VLA沿用LLM、VLM预训练体系,面向物理世界时原有视觉表征难以同时覆盖不同层级信息,需拼接多种视觉模块,继续叠数据、叠模块已越来越困难。
他表示,现在行业开始关注机器人在新环境、新任务中能否利用当前上下文快速学习,这构成了新的缩放维度。具身ICL的难度主要体现在视觉理解、多模态融合和长上下文记忆三个核心技术难点。机器人在不同任务阶段既需要高层语义理解,也需要位置、深度等精细空间信息,单一视觉编码器难以覆盖;视觉、语言已有海量数据做预训练对齐,但触觉、听觉和本体感知的数据规模远未达到同等程度;机器人执行连续任务,需要历史信息的压缩、筛选和长期保留,这些支撑技术最近半年才出现较明显进展。
对于Skild S1支持10分钟长任务示范,高宇翔认为关键不是时长而是信息密度,包含完整新任务逻辑、动作和场景信息的一段演示才是高质量上下文。他理解的Long Context更接近流式机制,模型能持续筛选和压缩历史信息,而不是简单扩大固定窗口。解决长期记忆需要提升模型理解能力,并对长时序KV Cache做压缩,可借鉴大语言模型的Linear Attention、Sparse Attention等技术。最终目标是让机器人在有限容量下持续保留和调用真正有用的历史经验。
在数据方面,高宇翔强调ICL并不降低对基础数据数量和多样性的需求,只是让机器人不必为每个新任务都采集大量专项数据。当前最明显的缺口是人机教学、实时纠偏和协同作业数据,行业对此类数据尚无成熟定义和采集体系,可可矩阵后续将重点定义这类交互数据。