TwinDEX 把机器人操作的数据难题挪到硬件设计阶段解决

教机器人做精细操作，根本障碍从来不是缺少人类的手上功夫 —— 而是把那份功夫转成机器人能用的形式的成本。总部位于深圳的具身智能公司 X Square Robot 于 2026 年 9 月 2 日发布了 TwinDEX：一套协同设计的三指操作系统，它完成了一段 24 步的化学实验室演示 —— 试剂瓶盖、移液管、注射器、玻璃棒 —— 而在后训练阶段没有用到任何真机遥操作数据。

这个主张之所以要紧，是因为「精细的、富接触的操作」长期以来正是无机器人数据采集失灵的那一类任务。2026 年 5 月，英伟达的 Jim Fan 在红杉资本的 AI Ascent 大会上宣称，真机遥操作正在变得过时，并预测可穿戴传感器与第一人称人类视频会取代它成为机器人训练数据的主要来源。TwinDEX 是第一个专门针对灵巧多指操作演示这一转变的系统 —— 移液管和螺旋瓶盖，正是无机器人方案最久攻不下的那些。

为什么在灵巧任务上遥操作曾经无可替代

要理解 TwinDEX 押的那一注，先要理解真机遥操作的价值从何而来。当人直接控制机器人的手臂和手时，这些示范天然与机器人自身的运动学、传感器布置和相机视角对齐。在这种数据上训练出来的策略，不必去弥合采集硬件与部署硬件之间的任何落差。

无机器人方案牺牲了这份对齐，换来可规模化。2024 年发表于 RSS 的通用操作接口（UMI）表明，带腕部相机的手持夹爪可以在完全没有机器人硬件在场的情况下采集可迁移的示范 —— 但仅限于平行两指末端执行器。而拧开瓶盖或推动注射器活塞，需要的手指协同是平行两指夹爪演示不出来的。

DexUMI在 CoRL 2025 的一个 workshop 上被提出，它用一套可穿戴外骨骼加上视觉修补 —— 在训练视频里把人手替换成机器人手的渲染图 —— 把这套方法扩展到了灵巧手。这部分弥合了运动学落差，但引入了一个软件侧的对齐步骤，而它必须足够准确，才能避免策略学到风格化的伪影上去。

TwinDEX 的架构赌注是：在硬件里解决对齐，而不是在软件里。具身落差仍是机器人学习中的核心开放问题之一 —— TwinDEX 提出的是，弥合它的正确位置在第一个数据点被采集之前。

同构硬件作为核心技术机制

这套系统把两台匹配的设备配成一对 —— 一副可穿戴外骨骼和一个机器人末端执行器 —— 它们共享同一套三指、九自由度架构（七个主动、两个被动自由度），以及相同的运动链几何、关节轴、连杆比例、指尖接触几何、表面材料和传感器布置。

因为采集硬件和部署硬件共享这套机械结构，可穿戴采集时记录的手指状态可以直接映射到机器人的关节空间，不需要重定向计算。数据一开始就在正确的坐标系里。这条设计原则 —— 同构遥操作 —— 已出现在若干学术工作中，包括卡内基梅隆大学为 DeltaHand 做的 Tilde 系统，以及同期的RealDexUMI 框架（arXiv，2026 年 6 月）。TwinDEX 在从两指夹爪到多指设计的各种配置之间做过消融之后，把它应用到了一套专门打造的三指系统上。

同步流水线并行采集多视角 RGB 相机、六自由度腕部位姿、手指关节状态和指尖触觉信号，并对通道间的时序做显式标定。训练流程包含容噪措施，以适应不同采集者和不同场地之间操作者层面的抖动与漂移。

选三指反映的是一次刻意的设计取舍。五指拟人手原则上可以复现任何人类操作 —— 但每多一根手指，就多一批关节、驱动器、标定要求和失效模式，可穿戴采集的形态也更难在规模上舒适佩戴。X Square Robot 的消融实验覆盖了基本抓取、原位旋转、工具使用和手内调整，发现九自由度的三指能覆盖当前大多数任务需求 —— 力抓、精密捏取、工具使用、手内旋转 —— 而不必承担完整拟人设计的开销。那两个被动自由度使用欠驱动的耦合关节，在减少电机数量的同时保留自然的闭合几何，这是柔顺机器手设计中的标准做法。

延伸阅读：机器人在商业任务上同场竞技，北京设下自主部署的标尺

那场化学演示证明了什么 —— 以及独立证据缺在哪里

标志性的那次演示，是一段化学工作流中的 24 个子动作 —— 打开容器、拿取一把细药匙、使用带橡胶球的移液管、转移液体和固体、引导倾倒、更换工具、双手协同 —— 在一次未经剪辑的自主运行中完成。X Square Robot 表示，这个策略是在几百次可穿戴示范上训练的，没有任何额外的真机遥操作数据。

该公司还报告，其有效示范吞吐量是常规真机遥操作的 5.3 倍，原因是采集流程中去掉了机器人搭建、工作区准备和熟练操作员这几道瓶颈。

这些是出自一场公司自制演示的公司自报数据。那场化学实验是长程灵巧能力的一次令人印象深刻的展示，但它是在一个准备好的工位上、一镜到底的摆拍式运行，不是一个带明确任务变体、逐次成功率和对照条件的基准。学界尚未用那种能与Physical Intelligence 的 π0.7 或标准化任务上的遥操作基线做精确比较的方法，评测过 TwinDEX。

如果吞吐量的主张成立，经济上意味着什么

当前的操作训练流水线把机器人机队规模当作约束条件：一台机器人在实践中每天只能产出几个小时的示范，因此数据吞吐随部署并维护的机器人数量线性增长。可穿戴采集系统打破了这个约束 —— 多个操作者可以在不同地点、只用外骨骼硬件并行采集。

X Square Robot 声称，在同等数据量下可穿戴数据与遥操作数据能达到等效的训练表现；若这一点得到验证，瓶颈就会从机器人机队规模转移到人类操作者的吞吐量。那是一个易处理得多、也便宜得多的约束：可穿戴外骨骼比整套机器人系统更容易规模化部署，而采集可以在任何地方进行，不必在专用的机器人工位上。

这个领域对 TwinDEX 的下一个里程碑要求，是一篇同行评议论文或一次独立基准，把任务级成功率、多操作者规模化结果和对照条件记录在案。三指同构硬件这套理念动机充分；吞吐量主张若被验证，会重塑构建操作训练数据集的经济学；而那场化学演示，是迄今关于「灵巧操作的后训练可以在完全没有真机数据的情况下进行」最完整的公开证据。一次一镜到底的实验室演示无法确立的是：这套系统的性能天花板在哪里，以及那个天花板是否高到足以支撑「精细灵巧操作最迫切需要改进」的工业与实验室部署场景。