据雷峰网报道,10月14日,破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub。该系统由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,可同步采集第一视角视觉、手部全模态数据与全身运动信息,并把人类数据转化为面向机器人学习的多模态训练数据。
SeePhys Hub 的采集范围包括360°环视覆盖的第一视角视觉、手部位姿追踪、高密度触觉以及全身位姿与受力信息。破晓智能称,这套系统在保留Ego便携性的同时,补回身体与接触数据。SeePhys Hub 是团队沿着EgoTouch、TouchAnything、TouchWorld技术路线推出的首款工程化产品。
据雷峰网报道,机器人数据采集此前经历从遥操作到UMI再到Ego的演进,设备越来越轻、采集行为越来越简单,但部分关键交互信息也在简化中流失。Ego能记录双手在做什么,却难以完整捕捉全身运动,也感知不到手接触物体时的压力变化。破晓智能希望验证,在视觉之外同步记录全身运动与触觉,能否提高每小时数据的学习价值,让百万小时量级的全模态数据支撑预期的泛化能力。
在触觉研究方面,破晓智能此前的Touch系列围绕触觉数据“怎么采、怎么扩展、怎么用”展开。EgoTouch同步采集第一视角画面、双手姿态与压力分布;TouchAnything学习从视觉中估计接触位置与压力分布;TouchWorld让触觉参与机器人行动,操作前预测接触目标,执行中根据真实反馈修正动作。SeePhys Hub将这些研究积累转化为可穿戴的全身采集系统。
SeePhys Hub头环重量不超过220克,单个腕部手环不超过75克,两类设备均支持连续24小时不间断采集。头环内相机、IMU与UWB的同步误差不超过0.5毫秒。配套自研平台负责数据解析、清洗,将连续操作切分成动作片段并添加语义标注,同时衔接场景重建、全身姿态估计、手部动作追踪等流程;动作重定向则把人的动作映射到机器人本体,为后续策略训练与本体适配提供支持。
据雷峰网了解,破晓智能(PHANES AI)由哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博士生导师杨朔创办,致力于构建面向人形机器人全身移动灵巧操作的世界模型。团队90%以上核心成员毕业于清华大学、北京大学、香港大学、哈尔滨工业大学等高校,研究与实践覆盖全模态大模型、世界模型、大规模数据处理与硬件。SeePhys Hub的发布,是破晓智能将这一方向从研究推向产品的起点。