据Hacker News消息，Y Combinator孵化项目Hebbian Robotics于8月31日发布开源SDK HFlow，旨在帮助机器人团队构建可扩展的数据处理管道。HFlow能够将来自机器人和人类操作员的多模态记录——包括同步视频、关节状态、动作、时间戳和元数据——转化为标准化、经过质量检查的片段，并生成可查询的数据清单。

机器人数据管道通常以脚本起步：一个脚本转码视频，另一个检查时间戳，还有一个添加标签。当语料库增长后，团队往往难以追踪哪些代码运行过、某个片段为何被排除，以及数据集能否复现。质量控制是首要痛点，冻结的摄像头、缺失的话题、时间戳漂移和重复录制都可能悄然进入训练数据。创始人Brandon在训练双臂工业清洁机器人的具身AI模型时首次遇到这一问题，另一位创始人Kingston曾在Jane Street构建高吞吐基础设施时遭遇相关问题。他们与机器人数据供应商交流时发现，许多团队都在重复构建类似的加工与质量控制基础设施。

HFlow管道由转换、检查、标签和富集步骤组成，SDK将这些步骤开放为普通Python函数。开发阶段函数可在进程内运行；在计划好的语料处理中，HFlow将相同的注册步骤打包为Airflow 3 DAG，团队可检查任务状态、日志、重试和重新运行。

HFlow目前接受每个片段一个MCAP文件。MCAP是Foxglove提出的开源容器格式，用于带时间戳的多模态记录，与ROS bag类似，可使视频、机器人状态、动作和其他传感器流在单个文件中保持同步。HFlow会将输出写入规范的MCAP，包含带内H.264视频、分组摄像头和状态块，以及描述输出产生过程的来源信息。每个步骤都有显式的行为版本，目录记录将测量结果和产物与源片段及管道运行关联起来。

质量检查存储可复用的证据，而非施加单一通用的好数据定义。黑帧、视频冻结、缺失话题、时间戳漂移和不可能发生的关节运动等失败可在不训练模型的情况下确定性测量；其他问题可能借助VLM和MediaPipe Hands等模型检测。但其意义取决于任务：一条平滑轨迹在一种场景下可能代表成功演示，在另一种场景下则可能代表机器人卡住。

HFlow将测量结果、元数据、版本戳和工件位置写入追加式Parquet目录。团队用DuckDB SQL查询目录，无需重新打开录制文件即可生成版本固定的清单。关键检查可将片段隔离，但HFlow不会删除数据，从而将证据与用于组装特定数据集的策略分开。

HFlow不取代现有工具，而是连接MCAP、Airflow、Parquet和DuckDB。与通用工作流编排器相比，它为机器人片段、处理来源、质量证据、隔离和数据集清单增加了协议；与训练数据集格式相比，它更早介入，止步于经过筛选的片段加清单。示例使用场景包括数据供应商用其检测黑帧、重复录制和手物交互；机器人团队用其标准化遥操作演示并生成可复现的训练清单；现场机器人团队用其处理日志、隔离不完整或损坏的片段，并按机器人版本、环境或故障条件查询目录。

HFlow目前为预1.0版本，核心生命周期已端到端可用。用户无需账户、Docker或机器人硬件即可通过克隆仓库并按快速入门指南体验。HFlow以Apache-2.0许可证免费提供，开源部署目前为单租户工作区，托管的多租户控制平面尚未构建。