据MarkTechPost报道,NVIDIA IsaacTeleop框架核心的重定向引擎能够把XR手部追踪和运动控制器输入,转换为仿真机器人及真实机器人可执行的命令。该媒体在2026年10月4日发布的教程中,没有接入头显,也没有使用OpenXR运行时或模拟器,而是用NumPy自行构建所有输入,使每个步骤都能在普通Colab CPU上运行并打印计算结果。

教程首先安装来自PyPI的isaacteleop[retargeters-lite]==1.4.145,该版本仅额外引入SciPy,并输出包版本、Python解释器和NumPy构建信息。据文章介绍,该包分为三部分:封装OpenXR和CloudXR的设备I/O模块、保存所有追踪器发出的FlatBuffer消息类型的schema模块,以及教程实际使用的纯Python重定向引擎。

在类型契约部分,引擎使用TensorGroupType和TensorGroup。TensorGroupType是有序、带类型的槽位列表,TensorGroup是运行时容器,每个槽位保存一个值,并在写入时进行校验。HandInput包含四个NumPy数组,用于26个OpenXR手部关节;ControllerInput有十四个槽位,用于姿态、按钮和轴,通过生成的IntEnum索引访问,而不是使用魔法数字。

教程说明了写入校验行为:在声明为float32的槽位写入float64数组会在写入时失败;读取无人写入的槽位会抛出异常,而不是返回过期数据。OptionalType用于标记追踪器可能无法提供的输入,对应的OptionalTensorGroup初始处于缺席状态,首次写入后变为存在,下游节点据此了解输入是否可用。

随后,教程生成合成的手部和控制器数据,编写带实时可调参数的自定义重定向器,并用它驱动内置的夹爪和SE(3)重定向器。文章还构建完整图,使每一步输出一个动作向量,应用世界坐标系变换,逐步运行,暂停并终止状态机,最后完成控制器到灵巧手的映射,以及可在重启后保留的参数调优。