NeuralActuator：低成本伺服平台无传感器力感知与动力学建模

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

NeuralActuator：用于机器人动力学与外力感知的神经执行器建模

杜志扬1，John U. Onyemelukwe1*，张航兴1*，张恒1，郭明浩1，田云生1， Michal Piotr Lipiec1，Joshua Jacob1，刘超1，Peter Yichen Chen1，Yuri Ivanov2，† 和 Wojciech Matusik1

1麻省理工学院 2亚马逊机器人

摘要—可微分仿真器已推动跨多种机器人任务的政策学习与基于模型的控制在不同机器人任务中的发展。 迄今为止，执行器动力学仍未得到充分探索，且可能是仿真到现实迁移误差的主要来源，尤其是在低成本 平台上，由于摩擦、滞后、背隙和热效应，在指令目标跟踪过程中，线性电流到关节扭矩的近似 τ = KtI 变得不可靠。 除了正向动力学外，准确的执行器模型还支持操作任务中的力感知以及集成力/位置控制。我们提出了 NeuralActuator， 这是一种神经执行器模型，联合预测 (i) 用于在低成本伺服平台上进行轨迹传播的仿真器等效广义努力代理，(ii) 外力以及用于无传感器力感知的接触概率门，以及 (iii) 用于监督区分的电机状态评分，以区分正常操作与机械受限操作。我们引入了一种双臂遥操作系 统，该系统收集机器人状态和 执行器遥测数据以及外力标签，从而生成神经执行器数据集 (NAD)。扭矩代理头 通过从姿态轨迹进行的可微分仿真进行训练，无需直接的广义努力标签；力、门 和电机状态头则使用来自各自标签的直接监督。基于 Transformer 的架构捕捉时间依赖性的同时，实现了高效的实时推理。我们在三个平台上验证了 NeuralActuator——5- 自由度的 OpenManipulator-X、LeRobot 的 6-自由度 SO-101 以及 7-自由度的 Franka Emika Panda——涵盖了三种执行器家族 和从约 500 美元到超过 30,000 美元的成本范围。低 成本平台支持动力学和力评估，而离线的 Franka 实验提供了额外的负载 力估计基准；实验还展示了其作为预训练模块使用时，在电机状态估计和行为克隆性能提升方面的应用。项目页面：https://frank-zy-dou.github. io/projects/NeuralActuator/index.html.

I. 引言 可微分仿真器 [24, 36, 13, 22, 15] 使得基于梯度的优化在机器人控制中变得高效，在刚体动力学建模方面取得了重大进展，并最近扩展到软体和流体。然而，执行器动力学相比之下仍未得到充分探索。一种常见的控制近似假设关节扭矩与电流成线性比例，例如 τ = KtI。尽管这对于校准良好的工业执行器是合理的，但这种近似在具有成本效益的伺服驱动平台上 [4, 40, 35, 41] 变得不可靠。这些平台通常使用机械换向执行器（例如无芯有刷直流伺服模块），其硬件简单性伴随着显著的非理想特性：齿轮箱 摩擦、滞后、背隙、电流饱和和热 漂移影响关节侧的努力。由于相关的内部 ∗这些作者贡献相同。两人均为 MIT CDFG 的研究助理 †这项工作与作者在亚马逊的职位无关。 摩擦和传动状态不可访问，这些时变效应难以进行解析建模，导致效果不佳

第 2 页

努力跟踪、阻抗行为不稳定以及仿真到现实（Sim-to-Real）迁移性能下降。

除了精确建模外，可靠的执行器模型还支持力感知，无需在推理时使用专用的力/扭矩传感器。最近的研究展示了基于扭矩的传感用于类电子皮肤（e-skin）的接触感知 [26]、足式机器人的本体感觉估计 [14]，以及操作中的力估计与控制 [29, 19, 9, 52]。然而，此类基于扭矩的方法通常依赖于高质量的努力（effort）反馈；当低成本平台上不可用时，不可靠的电流-扭矩映射会破坏类似的力推断。由于物理交互是通过力介导的，接触力预测可以在没有任意或可变形物体精确几何模型的情况下支持操作。

我们引入了 NeuralActuator，这是一种针对低成本机器人平台的数据驱动执行器建模方法，能够捕捉执行器行为及其与机器人动力学的耦合。NeuralActuator 可与可微分仿真器集成，通过基于梯度的监督从真实机器人轨迹中进行端到端训练。NeuralActuator 学习从命令和历史状态历史到仿真器等效广义努力代理（下文称为扭矩代理）、外力、接触概率以及区分受监督关节正常操作与机械受限操作的电机状态分数的历史依赖映射。先前的执行器模型使用从关节扭矩传感 [25] 或校准的电机电流估计 [42] 获得的扭矩目标；这两种形式的监督在许多低成本伺服电机上都难以可靠获取。相反，我们使用位姿轨迹对扭矩代理头进行监督：通过我们的可微分动力学映射，将预测的广义输入积分到未来配置，使位姿成为有效的代理信号。力、接触门控和电机状态头使用直接监督。为了捕捉非线性、时变的执行器效应，NeuralActuator 采用 Transformer 架构，通过多头自注意力处理最近的状态和命令序列，建模时间依赖性和关节间耦合。它以多任务方式输出每个执行器的广义努力代理、外力、接触概率和电机状态分数。

为了训练和基准测试 NeuralActuator，我们引入了一个捕捉执行、运动和力信号的真实机器人数据集。我们构建了一个双臂主从遥操作（leader-follower teleoperation）系统，操作员通过力觉驱动主臂以生成多样化的轨迹，而从臂在闭环控制下执行关节空间命令。对于每条轨迹，我们记录 (i) 机器人状态（关节位置、速度、命令目标），(ii) 执行器遥测数据（电机电流、温度、供电电压），以及 (iii) 外力标签。该数据集涵盖了自由空间运动和富含接触的操纵（推、拉、提、已知重量负载），涵盖了由摩擦、负载变化和间歇性接触引起的执行器效应。我们将其作为神经执行器数据集（NAD）发布，为模型训练和基准测试提供同步的监督数据。

我们在三个平台上进行了多项实验——一个具有成本效益、伺服驱动的 5-自由度 OpenManipulator-X（四个旋转关节和一个 1-自由度夹爪）1，一个基于 LeRobot 堆栈 [4] 构建的 6-自由度 SO-101 低成本机械臂，以及一个 7-自由度 Franka Emika Panda 工业机械臂（第 IV-F 节）——涵盖了三种执行器家族，成本从约 500 美元到超过 30,000 美元。我们在低成本机械臂上评估建模保真度，包括离线 Franka 基准测试、在线适应、吞吐量以及下游真实机器人控制。在保留的轨迹中，NeuralActuator 产生了低轨迹误差（第 IV-A 节）、准确的外力估计（第 IV-B 节）和高 Joint 3 条件分类准确率（第 IV-G 节）。所评估的实现以 60 Hz 的控制速率提供亚毫秒级 GPU 推理，且参数规模适中（第 IV-H 节）。我们还使用 12 条新收集的轨迹评估了在线适应（第 IV-E 节）。对于下游真实机器人控制，NeuralActuator 为用于物体操纵的行为克隆策略提供在线力反馈。我们表明，将执行器行为学习与外力感知相结合可以提高任务成功率（第 IV-I 节）。最后，我们证明了将可微分仿真与基于轮廓的图像空间监督相结合，为 NeuralActuator 提供了视觉训练信号（第 IV-J 节）。我们在下面总结我们的贡献：

• 一种名为 NeuralActuator 的数据驱动、可微分执行器模型，通过神经扭矩代理预测捕捉执行器行为及其与机器人动力学的耦合，并额外输出外力预测、接触检测和电机状态估计——从而在推理时无需专用力/扭矩传感器即可实现力感知——以及一种利用可微分物理而非直接广义努力标签的训练方案。
• 一种用于低成本机械臂高效数据收集的双臂遥操作系统，时间同步机器人本体感觉、命令目标和执行器侧遥测数据。
• 神经执行器数据集（NAD）：一个真实机器人数据集，包含时间对齐的机器人状态、执行器遥测数据和末端执行器外力标签，用于低成本执行器建模的训练和基准测试。
• 跨三个平台的实验评估了执行器动力学建模、无传感器力估计、Joint 3 状态估计、下游操纵和计算效率。

II. 相关工作

A. 学习神经增强仿真

为了缩小仿真到现实的差距，先前的工作通过学习的残差模型增强了分析仿真器；例如，[1] 中的方法使用随机 RNN 来捕捉

第 3 页

残差动力学，并使仿真与现实对齐。Jiang 等人 [27] 通过数据驱动的接触模型增强刚体仿真器，该模型预测聚合的 3D 接触冲量，同时保留解析接触约束。TossingBot [51] 进一步将解析弹道先验与从视觉特征中学习到的神经残差相结合。NeuralSim [20] 在可微分仿真器中嵌入神经模块以捕捉未建模动力学，并在真实数据上与其物理参数进行联合优化；在组件层面，Serifi 等人 [43] 使用 Transformer 从仿真状态和相互作用力中预测执行器和刚体的残差状态修正量。最近，Xu 等人 [49] 提出了 NeRD，它为预测接触约束下关节刚体未来状态而学习机器人特定的动力学模型。Hwangbo 等人 [25] 从物理系统数据中训练监督式执行器网络，并将其用于 ANYmal 每个关节的仿真循环中；该网络将状态历史和位置目标映射为仿真所需的关节扭矩。Schwendeman 等人 [42] 引入了一种系统辨识方法，该方法将物理模型与神经网络相结合以学习残差动力学，从而实现域一致的动力学建模。在他们的设置中，关节扭矩是从电机电流测量值中估计的。因此，这些方法使用的扭矩目标要么来自关节扭矩传感 [25]，要么来自校准后的电流-扭矩估计 [42]；这两种形式的监督在许多低成本伺服平台上都难以可靠获取。相比之下，NeuralActuator 中的扭矩代理（Torque Surrogate）头不需要直接的广义努力标签：它通过可微分仿真使用位姿轨迹进行监督，而无需假设可靠的电流-扭矩校准。与此同时，Fey 等人 [12] 通过强化学习从跟踪误差中学习残差修正扭矩；NeuralActuator 则预测仿真器等效广义努力代理，而不假设固定的电流-扭矩转换，而其独立的力头则接收来自接触力标签的直接监督。

(a) 学习执行器模型：现有工作主要针对永磁电机，使用神经网络从电气状态或仿真衍生特征中估计、控制或模拟电磁扭矩 [50, 32, 47, 44]。这些方法关注的是电子换向电机模型，而非本文研究的低成本集成无芯直流伺服动力学。先前的工作也涵盖了液压执行器 [28] 和扭曲弦线执行器 [30]。与这些努力不同，NeuralActuator 针对的是低成本无芯直流伺服执行器，其中的摩擦、背隙、饱和和热漂移可能导致有效的电流-扭矩关系呈现非线性和历史依赖性。

(b) 外力估计与本体感知：对于机械臂，互补的研究领域通过显式建模机器人动力学并将残差项归因于相互作用力 wrench，来估计外力和接触点。代表性例子包括沿机器人结构的虚拟力传感和接触定位 [37, 38]，以及提高在摩擦和模型不确定性下鲁棒性的观察器和滤波公式 [23, 33, 18, 31]。最近，学习也被用于直接在静态或准静态状态下将来自传感器的关节级本体感觉和测量的关节扭矩映射到末端执行器力 wrench [39]。Chen 等人 [7] 利用可微分仿真仅从本体感觉信号推断外部物体属性。尽管取得了这些进展，大多数本体感知力估计方法仍假设扭矩反馈准确，而低成本伺服驱动机械臂的设置在很大程度上仍未被探索。附录中的表 A20 提供了总结。

III. 方法

A. 问题表述

考虑一个具有 $n_a$ 个机械臂关节和 $n_m$ 个建模执行器通道（包括适用的夹爪通道）的机器人机械臂。对于 OpenManipulator-X，$n_a = 4$ 且 $n_m = 5$。令 $\tau_j^{\text{real}}$ 表示执行器通道 $j$ 的物理关节侧努力（对于旋转关节为扭矩）。它取决于 commanded 位置、与努力相关的执行器遥测数据、状态和操作历史：

$$ \tau_j^{\text{real}}(t) = f_\tau(q_j^{\text{cmd}}(t), u_j(t), q_j(t), \dot{q}_j(t), V_j(t), T_j(t), H_t) \quad (1) $$

第 4 页

图 3：NeuralActuator 流程。在每个时间步 $t$，NeuralActuator 接收指令位姿 $q_{cmd}(t)$、与努力相关的执行器信号 $u(t)$、执行器端遥测数据以及跟踪反馈 $e(t)$，并结合一个历史缓冲区 $H_t$，该缓冲区总结了最近的指令、状态和遥测数据（例如关节位姿和速度）。Transformer 编码器（$N$ 个块）将序列映射到四个任务头：(i) 仿真器等效广义努力代理 $\tau$，下文称为扭矩代理；(ii) 原始外力估计 $\hat{f}_{raw}$；(iii) 接触概率门控 $g$；以及 (iv) 每个电机的状态向量 $c$。门控后的力为 $\hat{f} = g\hat{f}_{raw}$。仅将裁剪后的预测代理 $\bar{\tau}$ 作为广义控制输入提供给可微分仿真器；仿真器随后将状态推进至时间 $t+1$ 并更新历史缓冲区。力、门控和状态预测是监督输出，不进入仿真器状态更新。通过 Diff Sim 的梯度从真实机器人状态转移中监督扭矩代理头，而其他头使用其直接损失。右侧：Transformer 和输出头的高级示意图。实现使用了文中指定的预归一化门控注意力块和 GELU 编码器块；状态分支代表每个电机的状态评分，为了视觉清晰起见，省略了单独实现的接触门控。

其中 $q_{cmd,j}(t)$ 是指令（目标）位置，$q_j(t)$ 和 $\dot{q}_j(t)$ 是关节位置和速度，$V_j(t)$ 和 $T_j(t)$ 分别表示供电电压和热状态。平台特定信号 $u_j$ 在 OpenManipulator-X 上是电机电流，在 SO-101 上是带符号的负载寄存器，在 Franka 上是指令关节扭矩。令 $x_t$ 收集时间 $t$ 的指令、本体感知状态和执行器遥测数据。我们实验中使用的模型取前八个特征向量 $H_t = \{x_{t-8}, \dots, x_{t-1}\}$ 并附加当前向量 $x_t$，从而得到九个 token 的序列 $X_t = (x_{t-8}, \dots, x_t)$。

与学习的扭矩代理输出并行，我们从相同的输入特征预测外力和电机状态评分：

$$ \hat{f}_{ext}(t) = f_{force}(q_{cmd}(t), u(t), q(t), \dot{q}(t), V(t), T(t), H_t) \in \mathbb{R}^3 \quad (2) $$

$$ c(t) = f_{cond}(X_t) \in [0, 1]^{n_m} \quad (3) $$

其中 $\hat{f}_{ext}(t)$ 是预测的末端执行器外力。架构为每个执行器通道输出一个状态评分 $c_j(t)$。在 OpenManipulator-X 状态基准测试中，仅监督并评估 Joint 3 分量：$c_3$ 估计正常运行概率，而 $c_3 = 0$ 表示机械受限状态。我们不对该实验中未监督的分量赋予校准的概率解释。

B. 通过操作器动力学的物理解释

操作器方程激发了独立的驱动和交互输出，但我们的实现并未将其作为分解约束。我们将 $f^{ext}$ 定义为环境作用于机器人的力，其符号与记录的外力标签一致，并写出

$$ \tau_{ID} = M(q)\ddot{q} + C(q, \dot{q})\dot{q} + g(q) = \tau_{act} + \tau_{ext}, \quad (4) $$

$$ \tau_{ext} = J_v(q)^\top f^{ext}. $$

这里，$q \in \mathbb{R}^{n_a}$ 包含手臂坐标。$M(q)$、$C(q, \dot{q})\dot{q}$ 和 $g(q)$ 是由仿真器编码的分析刚体项，$\tau_{act}$ 表示物理关节侧的执行器扭矩。平移雅可比矩阵 $J_v(q)$ 在力参考点处求值；使用三维力而非六维力楔形假设该点处的残余力矩可忽略不计。夹爪几何形状在第三节 E 部分单独描述。这种惯例给出 $\tau_{ext} = \tau_{ID} – \tau_{act}$，这是经典力估计基线所使用的残差。那些方法通过线性电流-扭矩模型近似执行器项，即 $\tau_{act} = K_t i + b$，其中 $K_t = \text{diag}(K_{t,1}, \dots, K_{t,n_a})$，并将所得残差映射到笛卡尔力。然而，在齿轮减速的低成本伺服电机中，摩擦、背隙、饱和和热漂移使得这种线性映射不可靠；因此其误差会污染推断出的接触力。NeuralActuator 相反预测一个仿真器等效广义努力代理 $\tau_{pred}$（下文称为扭矩代理）和一个外力估计 $\hat{f}_{ext}$，并配有专用头。在 rollout 期间，仅裁剪后的代理 $\bar{\tau} = \text{clip}(\tau_{pred})$ 驱动仿真器；力头直接进行监督，且不通过 $J_v(q)^\top$ 映射到状态更新中。因此，在位姿监督平台上，$\bar{\tau}$ 被训练为代表广义

第 5 页

需要复现观察到的运动；$\tau_{pred}$ 是其裁剪前的网络输出。对于旋转关节通道，仅当不存在外部负载或在前向模型中表示了外部负载，且其余动力学被准确建模时，应用的代理（surrogate）才与物理关节侧执行器扭矩一致；否则，未建模的接触、负载效应和动力学失配可能会被吸收进其中。在报告的 OpenManipulator-X 接触和负载实验中，训练和评估均使用相同的无负载机器人模型，并禁用了 MuJoCo/MJX 接触动力学；没有向该前向模型提供测量的或预测的外部力、负载体或连杆质量变化。因此，在这些实验中，应用的代理是一个集成的仿真器等效广义输入，而非可识别的执行器扭矩估计。因此，公式 4 提供了物理背景，而非对执行器和力输出的强制、可识别分解。公式 3 中的条件头从共享命令、状态和遥测历史中提供辅助架构级评分；在报告的基准测试中，仅使用监督式关节 3 评分作为诊断指标。

C. 神经执行器数据集 (NAD)

为了学习执行器模型，我们首先使用基于两台相同 OpenManipulator-X 机器人 [41] 构建的双臂遥操作收集同步的机器人状态、执行器遥测和力数据。该系统由一个由人类演示者运动学操作的领导臂和一个镜像领导臂运动并与环境交互的从动臂组成（图 2）。发送给从动执行器的 commanded 目标关节位置设置为领导臂的瞬时关节状态。两个手臂均配备 DYNAMIXEL XM430-W350 伺服电机，提供同步的执行器级测量，包括：

• 关节位置 $q_j(t)$ 和速度 $\dot{q}_j(t)$
• 电机电流 $i_j(t)$、PWM 信号和总线电压
• 线圈温度 $T_j(t)$

对于一部分交互轨迹，使用夹具安装的六轴力/扭矩传感器测量交互力。我们使用其三个力通道作为末端执行器接触力测量的真实值 $f^{gt}(t) \in \mathbb{R}^3$；三个力矩通道不用于监督。在训练之前，力标签被转换到机器人基坐标系，并保留公式 4 中使用的“环境对机器人”的符号约定。

所有数据流在时间上同步并按轨迹记录。对于长度为 $T$ 的每条轨迹，我们记录时间对齐的元组，包含 (i) 机器人状态（例如，关节位置、速度和 commanded 目标），(ii) 电机电流和执行器侧遥测，以及 (iii) 末端执行器外力。这些流共同支持基于位姿的代理学习和直接力监督。实验中使用的 OpenManipulator-X 模型开发和评估子集包含以下三个组成部分：

自由运动（无外力）。该子集表征固有执行器动力学并提供无力基线。我们记录了一组多样化的轨迹（119,933 帧，平均 20.49 秒），包括 (a) 顺时针和逆时针圆形末端执行器运动，(b) 覆盖约 90% 可行范围的单个关节扫描，以及 (c) 如倾斜和伸展等全臂基元。这些轨迹不包含故意的外部接触。

力标注交互。该子集通过两种模态提供明确的力监督。(a) 已知重量负载。实验子集使用质量为 $m \in \{200, 300, 400, 500\}$ g 的负载；完整的 NAD 数据集还包含 100 g 负载轨迹。在加载/抓取期间，我们指定名义基坐标系负载 $f_{grav} = m g_{base} = [0, 0, -mg]^\top$。对于静态或准静态保持，该参考是精确的；在运动期间，它提供名义监督，但不考虑物体惯性或抓取摩擦。任务包括“上升并保持静止”（持续负载）和“抓取和放置”（抓取期间的间歇负载），总计 88,611 帧，平均持续时间为 21.63 秒。(b) 轴对齐传感器交互。操作员沿力传感器主轴（±X, ±Y, ±Z）施加受控的推力和拉力。对于每个力的方向，我们还记录匹配的无交互轨迹，这些轨迹遵循相同的运动模式，但在没有物理接触的情况下执行。测量的 wrench 被转换到机器人基坐标系，以捕获由主导轴交互和运动学耦合引起的全部 3D 力分量（74,020 帧，平均 10.50 秒）。

我们还收集了用于第 IV-F 节跨平台评估的数据，使用通过 LeRobot 堆栈 [4] 记录的 SO-101 手臂和 7 自由度 Franka Emika Panda 工业手臂。Franka 在报告的结果中提供了额外的离线负载力估计基准。

机械受限电机操作。在此任务中，我们使用橡皮筋限制关节 3 以引入额外的机械阻力；参见插图。在这种非对称限制下，我们收集了带有和不带 200 g 负载的抓取和放置轨迹（49,898 帧，平均 21.20 秒），从而能够解耦由接触引起的偏差和由条件引起的偏差。

我们将数据集按 8:1:1 的比例划分为训练集、验证集和测试集。NAD 中的所有数据均已校准并经过人工…

第 6 页

表 I：OpenManipulator-X 模型开发与评估子集。报告的 94.52 分钟汇总了实验中使用的任务分配持续时间；用于电机状态比较的标称轨迹也出现在自由运动和力标注类别中。有关详细的任务级分解，请参阅附录 A。

| 组件 | 描述 | 持续时间 (分钟) | | :— | :— | :— | | 自由运动 | 无外力 | ~34.15 | | 力标注 | 已知负载或测量力 | ~46.24 | | 电机状态 | 机械受限 | ~14.13 | | 总计 | | ~94.52 |

如 Fig. 4 所示已验证。有关更多详细信息，请参阅附录 A。

D. NeuralActuator

单个 MLP 头联合预测代理值、近期命令、状态和遥测数据，以产生多任务执行器交互估计。在 NeuralActuator 中，输入序列 $X_t \in \mathbb{R}^{L \times n_f}$ 堆叠了每个时间步的特征向量 $x_t \in \mathbb{R}^{n_f}$。它由 $H_{hist} = 8$ 个历史帧和当前帧组成，因此 $L = H_{hist} + 1 = 9$。在主要低成本配置中，每个 $x_t$ 聚合了三类信号——(i) 命令目标 $(q_{cmd}, q_{cmdg})$，(ii) 本体感知 $(q, \dot{q}, q_g)$，以及 (iii) 执行器遥测 $(u, V, T)$——以及跟踪误差特征 $(e = q_{cmd} – q, e_g = q_{cmdg} – q_g)$。所有特征在输入网络之前均经过归一化。Franka 实验使用附录 B 中描述的特定平台特征向量。在仿真中，夹爪特征 $q_g$ 是单指棱柱关节坐标；它与第 III-E 节中的总物理夹爪开口 $a(\alpha)$ 不同。

输入投影和可学习的位置嵌入初始化 $H^{(0)}_{enc} = X_t W_{in} + P$，其中 $W_{in} \in \mathbb{R}^{n_f \times d}$ 且 $P \in \mathbb{R}^{L \times d}$。

我们使用预归一化的残差块，并在注意力输出上使用查询依赖的逐元素门控。对于层 $l$，

$$ U^{(l)} = \text{LayerNorm } H^{(l-1)}_{enc}, \quad (5) $$

$$ A^{(l)} = \left[ h \text{MHA } U^{(l)} \odot \sigma U^{(l)} W^{(l)}_g \right] W^{(l)}_o, \quad (6) $$

$$ Z^{(l)} = H^{(l-1)}_{enc} + A^{(l)}, \quad (7) $$

$$ H^{(l)}_{enc} = Z^{(l)} + \text{FFN}^{(l)}_{\text{GELU}} \text{LayerNorm } Z^{(l)}. \quad (8) $$

这里，$W^{(l)}_g, W^{(l)}_o \in \mathbb{R}^{d \times d}$，$U^{(l)} W^{(l)}_g$ 与查询投影一起产生，MHA 表示输出投影之前拼接的逐头注意力值，$\odot$ 表示逐元素乘法。在最终编码器层和层归一化之后，时间平均池化产生 $h_{pool} \in \mathbb{R}^d$。该配置使用四层编码器，隐藏维度 $d = 192$，四个注意力头，以及前馈维度 $d_{ff} = 384$。四个带有 SiLU 隐藏激活的输出头预测广义努力代理、原始力、接触概率和每电机状态分数。

1. 扭矩代理预测。NeuralActuator 预测仿真器等效的广义努力代理：

$$ \tau_{pred}(t) = g_\theta(X_t), \quad (9) $$

其中 $\tau_{pred}(t) \in \mathbb{R}^{n_m}$ 表示裁剪前的网络输出，且 $X_t = (x_{t-8}, \dots, x_t)$ 包含本体感知、命令和执行器遥测。对于主要的扭矩驱动仿真器，我们使用“扭矩代理”作为该广义努力的简称：它在旋转通道上取扭矩值，在棱柱夹爪通道上取力值。Franka 配置则保留机器人模型的原始仿射 PD 位置执行器；在该平台上，相应的头部提供仿真器控制代理，而不是直接取扭矩值的输入。这种设计适应了执行器遥测与仿真器所需的有效广义输入之间非线性、历史依赖的关系。因此，代理避免了依赖固定的线性电流-扭矩先验。

为了捕捉时间依赖性和非线性执行器动力学，我们采用 Transformer 编码器，该编码器处理所有 $n_m$ 个执行器通道的近期命令、状态和遥测数据，以产生多任务执行器交互估计：$\tau_{pred} = \text{MLP}_\tau(h_{pool}) \in \mathbb{R}^{n_m}$，其中 $\text{MLP}_\tau$ 使用 SiLU 隐藏激活。

2. 外力预测。我们使用一种两阶段方法预测末端执行器外力，该方法将力回归与接触检测解耦。首先从共享的 Transformer 表示中计算特定的力隐藏特征。从该特征分离出的线性读出预测原始 3D 力 $\hat{f}_{raw} \in \mathbb{R}^3$ 和接触门 $g \in [0, 1]$。推理时不需要专用的力传感器。该门代表物理接触的概率，最终力输出为 $\hat{f} = g \hat{f}_{raw}$。在训练期间，门目标为 $g_{gt} = \mathbb{I}[\|f_{gt}\|_2 > \epsilon]$。我们将 $\epsilon = 0.01$ N 仅用于区分零和非零监督标签。

3. 电机状态估计。一个单独的头部预测每电机状态向量 $c = \sigma(\text{MLP}_{cond}(h_{pool})) \in [0, 1]^{n_m}$。OpenManipulator-X 基准测试仅监督并评估共享命令、状态和遥测历史中的关节 3 分量：接近 1 的值表示正常运行，而接近 0 的值表示机械受限状态。在此实验中，其余输出分量不被解释为校准的状态概率。

可微分仿真集成。NeuralActuator 与可微分物理仿真器集成。我们将模型嵌入仿真循环中，以通过系统动力学实现基于梯度的优化。当启用可微渲染时，图像空间监督遵循相同的计算路径：轮廓损失反向传播通过渲染器、仿真配置和可微动力学，直至 NeuralActuator 的参数。

正向动力学。对于扭矩驱动的 OpenManipulator-X 和 SO-101 仿真器，扭矩代理头在时间步 $t$ 评估 $\tau_{pred}^t = g_\theta(X_t)$。在训练期间，在仿真之前应用平台特定的广义努力边界，$\bar{\tau}^t = \text{clip}(\tau_{pred}^t; \tau_{min}, \tau_{max})$，且有界代理推进 $s_{t+1} = F_t(s_t, \bar{\tau}^t) = \text{DiffSim}(s_t, \bar{\tau}^t)$。 (10)

第 7 页

图 5：带有外力估计的机械臂仿真测试集结果。(a) NeuralActuator 沿六个方向（±X, ±Y, ±Z）估计末端执行器的外力；红色箭头可视化了仿真中的估计力矢量（与相应的真实机器人执行配对）。(b) 力感知操作期间的力估计：提升并持握 200 克和 300 克负载（顶部）以及 200 克和 300 克负载的抓取与放置（底部）。更多示例请参见随附视频。

此处，$s_t = [q_t, \dot{q}_t]$ 为模拟关节状态。Franka 配置改为向仿真器控制代理提供其仿射 PD 位置执行器，如上所述。力、门控和条件输出在每个训练 rollout 步骤接收其配对的直接标签，但不进入 $F_t$ 或施加基于动力学的分解于 $\tau_{pred}$。离线训练和评估使用与每个轨迹记录的完整时间对齐的努力遥测序列；因此，生成的多步评估是记录遥测条件化的 rollout，而非对反事实未来命令的执行器响应的预测。对于在线 OpenManipulator-X 部署，预测是严格因果的。在每个控制周期，机器人读取当前状态和可用的执行器遥测，包括实时测量的电流 $i_t$；NeuralActuator 随后估计电流代理、力和条件得分，反馈控制器可以使用 $\hat{f}_t$ 生成下一个命令。推理后，$x_t$ 被追加到下一个控制周期使用的历史中；$x_{t+1}$ 仅在下一个遥测数据包到达后进入。因此，在线预测不使用未来的电流测量值。对反事实未来命令的规划还需要相应努力信号的模型。

梯度计算。对于 $L = \sum_{k=1}^T \ell_k(s_k)$，自动微分考虑了 $\tau_{pred_t}$ 对 $s_{t+1}$ 的影响，并根据以下公式进行时间反向传播：

$$ \frac{dL}{d\theta} = \sum_{k=1}^T \frac{\partial \ell_k}{\partial s_k} \frac{ds_k}{d\theta} = \frac{ds_{t+1}}{d\theta} \frac{\partial F_t}{\partial s_t} \frac{ds_t}{d\theta} + \frac{\partial F_t}{\partial \bar{\tau}_t} \frac{d \text{clip}(g_\theta(X_t))}{d\theta} \quad . \quad (12) $$

总导数包括 $X_t$ 中模拟状态分量对先前预测的依赖性；因此，后续步骤的损失反向传播到前面的扭矩代理预测，只要裁剪和仿真器灵敏度非零。等价地，该马尔可夫状态为增强状态 $(s_t, H_t)$；为了可读性，公式 (12) 抑制了显式历史缓冲区分量。

模型训练。由于低成本平台上缺乏直接广义努力标签，扭矩代理头通过位姿轨迹进行监督：前向积分将预测的广义输入转换为未来配置，使得测量的位姿成为有效的代理目标。力、门控和电机条件头在标签可用的情况下，从与每个训练 rollout 输入配对的标签接收直接监督。我们使用 Smooth L1 (Huber) 回归损失。以下方程描述了主要的 OpenManipulator-X 配置。令 $\text{Huber}_\beta$ 表示具有过渡参数 $\beta$ 的元素级 Huber 惩罚，并令 $v_{t,k} \in \{0, 1\}$ 为力通道 $k$ 的可选有效性掩码。集合 $T_f$ 和 $T_c$ 索引由训练 rollout 构建的用于直接监督头的输入-标签对。回归项为

$$ L_{\text{joint}} = \frac{1}{|T|} \sum_{t \in T} \sum_{j=1}^{n_a} \text{Huber}_1(q_{\text{sim}_{t,j}} – q_{\text{real}_{t,j}}) \quad , \quad (13) $$

$$ L_{\text{grip}} = \frac{1}{|T|} \sum_{t \in T} \text{Huber}_1(\kappa_g(q_{\text{sim}_{g,t}} – q_{\text{real}_{g,t}})) \quad , \quad (14) $$

$$ L_{\text{force}} = \frac{1}{3|T_f|} \sum_{t \in T_f} \sum_{k=1}^3 w_t v_{t,k} \text{Huber}_\beta(\hat{f}_{t,k} – f_{t,k}) \quad . \quad (15) $$

对于 OpenManipulator-X 棱柱形夹爪，$\kappa_g = 1000$ 在应用损失之前将单指滑动坐标残差从米转换为毫米。力损失在力传感器运行和最终已知权重微调阶段使用 $\beta_f = 0.15$，否则使用 $\beta_f = 1$。Franka 仅通过 $L_{\text{Franka force}} = \frac{1}{|T_f|-1} \sum_{t \in T_f} w_t \text{Huber}_{0.15}(\hat{f}_{t,z} – f_{t,z})$ 监督垂直分量，其中 $f_{t,z} = -mg$ 为已知负载标签。样本权重 $w_t$ 实现固定的非零力样本重加权。默认情况下 $v_{t,k} = 1$，包括转换为零的缺失值哨兵；启用无效通道掩码的配置将相应的 $v_{t,k}$ 设置为 0。分类项为

$$ L_{\text{gate}} = \frac{1}{|T_f|} \sum_{t \in T_f} \text{BCE}(g_t, \hat{g}_t) \quad , \quad (16) $$

$$ L_{\text{cond}} = \frac{1}{|T_c|} \sum_{t \in T_c} \text{BCE}(c_{t,3}, m_{t,3}) \quad , \quad (17) $$

第 8 页

面部。对称的颚部开口为

$$ a(\alpha) = 2|AO| – 2\delta = 2\sqrt{l^2 – r^2 \sin^2 \alpha} + r \cos \alpha – 2\delta. \quad (19) $$

公式 19 提供了物理机制的理想电机角度到颚部开口的关系；仿真器使用经过校准的单指棱柱坐标来表示夹爪。对于准静态对称抓取，连杆作为承受轴向力 $T$ 的二力杆。如果 $\beta$ 是连杆与滑块轴之间的夹角，则每个颚部施加的闭合力为 $F = T \cos \beta$；关于电机轴的力矩平衡给出 $\tau = 2Tr \sin \gamma$，其中 $\gamma = \angle OBA = \angle OB'A'$。因此，夹爪的力传递取决于电机扭矩和机构构型。

图 6：对称夹爪的运动学和力传递。顶部 (a) 和侧面 (b) 视图显示了旋转电机驱动两个对称的棱柱颚部。每个连杆传递轴向力 $T$，其沿闭合方向的分量给出每个颚部的力 $F = T \cos \beta$。

IV. 实验

A. rollout 精度

我们通过将预测轨迹与保留测试集上的真实值进行比较，来评估我们可微分仿真器的保真度。对于视界 $T$ 内的每个关节 $j$，我们计算 $N$ 条测试轨迹上的平均绝对误差 (MAE)：

$$ \text{MAE}_j(T) = \frac{1}{N} \sum_{n=1}^{N} \frac{1}{T} \sum_{t=1}^{T} |q_{j,t}^{(n)} – \hat{q}_{j,t}^{(n)}|, $$

其中 $q_{j,t}^{(n)}$ 和 $\hat{q}_{j,t}^{(n)}$ 分别表示真实值和预测位置。表 III 报告了不同视界下的 rollout 误差。模型在短视界下对于旋转关节和棱柱关节均保持准确，且在评估的较长视界下误差保持在中等水平。由于这些实验重放了记录的电流序列，它们评估的是记录电流条件下的轨迹传播，而非反事实规划；模型预测控制还需要一个关于电流对候选命令响应的模型。跨关节的一致趋势表明，循环内的物理学习捕捉到了有效的历史依赖输入-输出行为，同时保留了可微分刚体动力学的结构。力 MAE 是评估轨迹、时间步和三个笛卡尔输出通道上的分量均值：$\text{MAE}_F(T) = (3NT)^{-1} \sum_{n,t,k} |f_{t,k}^{(n)} – \hat{f}_{t,k}^{(n)}|$。对于基于负载的基准测试，名义参考值为 $f^{gt} = [0, 0, -mg]^\top$，因此该指标将横向预测与零进行比较，将垂直预测与 $-mg$ 进行比较。方向力传感器基准测试提供了测量的三轴力参考。对于仪表推压，标量仪表读数被分配给已知的接触轴，正交参考分量为零；表中列出的 $F$ 值保留相同的三通道约定，而图 1 中的轨迹级值使用接触轴力幅值。对于 OpenManipulator-X，Grip 表示单指滑动坐标的毫米级 MAE，而非总颚部开口 $a(\alpha)$。

其中 $m_{t,3} = 1$ 表示关节 3 正常运行，$m_{t,3} = 0$ 表示机械受限条件。对于选定的 SO-101 和 Franka 运行，从记录姿态计算的有限差分速度提供了辅助 Smooth L1 rollout 损失 $L_{vel}$。完整的目标函数为

$$ L = \lambda_{joint}L_{joint} + \lambda_{grip}L_{grip} + \lambda_{force}L_{force} + \lambda_{gate}L_{gate} + \lambda_{cond}L_{cond} + \lambda_{vel}L_{vel}. \quad (18) $$

对于速度监督的 SO-101 运行，我们使用 $\lambda_{vel} = 5$；对于 Franka 训练阶段，使用 5 或 10；其他情况下为零。不可用的任务损失同样被赋予零权重。对于视觉监督实验，轮廓目标被添加到公式 18 中，并通过上述路径进行反向传播。我们使用 AdamW [34] 进行训练，最多 100,000 个 epoch；实际上，最佳检查点在 30,000 个 epoch 内出现。除非另有说明，实验均在标准工作站上进行，配备 Intel Core Ultra 7 265K 处理器（20 核，5.0 GHz）、32 GB 内存和 NVIDIA GeForce RTX 5080 GPU（16 GB VRAM）；附录 B 中的空载基准测试使用 RTX 4090，附录 C 中的手动校准测量使用 A6000。网络训练和推理使用 JAX 实现，包括 JIT 编译 [3] 和 GPU 加速，刚体动力学的可微分仿真基于 MuJoCo 引擎及其 MJX JAX 实现 [45, 16]。其他实现细节见附录。

E. 夹爪运动学

由于夹爪由旋转电机驱动，而其手指沿棱柱关节平移，将电机命令与颚部位置联系起来需要运动学映射。我们接下来描述该机制。

图 6 定义了物理夹爪的几何形状。令 $B$ 和 $B'$ 表示两个曲柄销，$r = |OB| = |OB'|$ 为曲柄半径，$l = |AB| = |A'B'|$ 为连杆长度，$\alpha$ 为任一曲柄半径与滑块轴之间的锐角，$\delta$ 为每个滑块销（$A$ 或 $A'$）到相应内侧颚部的偏移量。

在 rollout 视界 $H \in \{64, 128, 256, 320, 500\}$（表 II）上，仿真器输入梯度范数保持在 $O(10^{-2})$，参数梯度余弦相似度相对于 $H=128$ 至少为 0.96；$\|\nabla_\theta L\|$ 在 $H=256–320$ 附近趋于平稳，这证明了训练中使用的课程学习方法的合理性。

第 9 页

表 II：不同 rollout 视界 $H$ 下的梯度行为。此处，input-grad 表示在仿真器有界广义努力输入处的损失梯度范数；cos 表示相对于 $H = 128$ 的参数梯度余弦相似度。

| H | input-grad | $\|\nabla_\theta L\|$ | cos | |—|—|—|—| | 64 | $2.73 \times 10^{-2}$ | 8.77 | 0.96 | | 128 | $2.59 \times 10^{-2}$ | 17.33 | 1.00 | | 256 | $1.72 \times 10^{-2}$ | 22.35 | 0.99 | | 320 | $1.45 \times 10^{-2}$ | 22.91 | 0.99 | | 500 | $9.37 \times 10^{-3}$ | 20.29 | 0.98 |

表 IV：力传感器测试集上的仿真和力预测精度。J1–J4：关节角 MAE（度）。Grip：单指滑动坐标 MAE（毫米）。F：力 MAE（牛顿）。

| Task | @100 steps | | | | | | @300 steps | | | | | | @500 steps | | | | | | |—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—| | | J1 | J2 | J3 | J4 | Grip | F | J1 | J2 | J3 | J4 | Grip | F | J1 | J2 | J3 | J4 | Grip | F | | 有外力接触 | | | | | | | | | | | | | | | | | | | | force X+ | 0.9 | 2.3 | 0.9 | 1.6 | 1.0 | 0.36 | 1.1 | 1.8 | 2.4 | 1.3 | 1.0 | 0.46 | 0.9 | 1.9 | 2.7 | 1.7 | 1.0 | 0.50 | | force X- | 1.4 | 2.3 | 1.1 | 5.7 | 0.8 | 2.8 | 1.1 | 0.6 | 1.0 | 0.1 | 0.39 | 0.36 | 1.6 | 2.1 | 2.3 | 4.5 | 1.3 | 2.6 | 2.3 | 0.9 | 1.0 | 0.2 | 0.42 | 0.38 | 2.0 | 2.7 | 2.9 | 4.8 | 1.5 | 2.1 | 3.0 | 0.9 | 1.0 | 0.3 | 0.44 | 0.44 | | force Y- | 1.4 | 1.6 | 3.1 | 0.5 | 0.1 | 0.38 | 1.5 | 3.0 | 3.1 | 1.3 | 0.1 | 0.36 | 1.4 | 3.6 | 3.1 | 1.5 | 0.2 | 0.38 | | force Z+ | 3.3 | 6.2 | 3.3 | 0.8 | 0.1 | 0.39 | 2.3 | 5.6 | 2.5 | 1.9 | 0.2 | 0.43 | 2.5 | 4.4 | 2.2 | 2.3 | 0.3 | 0.46 | | force Z- | 1.0 | 5.9 | 0.6 | 0.6 | 1.0 | 0.36 | 2.9 | 6.6 | 2.8 | 2.5 | 1.0 | 0.64 | 3.8 | 6.4 | 3.5 | 2.0 | 1.0 | 0.57 | | 参考（无外力） | | | | | | | | | | | | | | | | | | | | force X+ | 0.6 | 2.0 | 1.5 | 1.2 | 1.0 | 0.01 | 0.8 | 1.8 | 1.0 | 1.1 | 1.0 | 0.02 | 1.0 | 1.6 | 1.1 | 1.1 | 1.0 | 0.01 | | force X- | 2.0 | 2.0 | 2.5 | 1.0 | 0.5 | 2.0 | 1.1 | 0.6 | 1.0 | 0.1 | 0.00 | 0.00 | 1.4 | 2.1 | 2.3 | 3.3 | 0.5 | 2.1 | 1.0 | 1.1 | 1.0 | 0.2 | 0.00 | 0.00 | 1.5 | 1.9 | 2.2 | 3.7 | 0.8 | 1.7 | 1.3 | 1.1 | 1.0 | 0.4 | 0.00 | 0.00 | | force Y- | 1.0 | 1.2 | 1.8 | 1.7 | 1.2 | 2.1 | 1.3 | 0.5 | 0.1 | 0.1 | 0.00 | 0.00 | 1.6 | 1.6 | 4.5 | 3.8 | 2.0 | 2.2 | 2.2 | 1.2 | 0.1 | 0.2 | 0.00 | 0.00 | 1.2 | 1.5 | 4.0 | 2.9 | 2.4 | 2.0 | 1.6 | 1.3 | 0.3 | 0.3 | 0.00 | 0.00 | | force Z- | 0.6 | 2.3 | 0.9 | 0.9 | 1.0 | 0.02 | 0.7 | 1.6 | 1.1 | 1.1 | 1.0 | 0.01 | 0.9 | 1.3 | 1.0 | 1.1 | 1.0 | 0.01 | | Avg | 1.48 | 2.84 | 1.64 | 0.90 | 0.55 | 0.19 | 1.64 | 3.43 | 1.97 | 1.49 | 0.58 | 0.23 | 1.78 | 3.31 | 2.01 | 1.58 | 0.65 | 0.23 |

表 III：测试集上的仿真精度。J1–J4：关节角 MAE（度）。Grip：单指滑动坐标 MAE（毫米）。600 步的 rollout 在平台采样率下跨度约为 10 秒。

| Task | @100 steps | | | | | @300 steps | | | | | @600 steps | | | | | |—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—| | | J1 | J2 | J3 | J4 | Grip | J1 | J2 | J3 | J4 | Grip | J1 | J2 | J3 | J4 | Grip | | backward | 2.4 | 4.3 | 4.4 | 4.2 | 0 | 2.3 | 5.9 | 3.9 | 4.2 | 0 | 3.1 | 4.8 | 4.9 | 4.5 | 0 | | circular ccw | | | | | | 1.7 | 5.2 | 2.2 | 2.6 | 0 | 1.5 | 3.1 | 2.0 | 3.4 | 0 | | circular cw | | | | | | 3.6 | 3.2 | 1.4 | 2.2 | 0 | 3.1 | 1.9 | 1.2 | 2.6 | 0 | | go up stay still | 2.5 | 1.8 | 2.3 | 1.2 | 0 | 3.1 | 2.1 | 3.1 | 2.5 | 0 | 3.1 | 1.5 | 3.5 | 2.7 | 0 | | joint sweep 1 | 2.3 | 2.5 | 1.8 | 1.4 | 0 | 1.9 | 1.0 | 2.6 | 1.8 | 0 | 2.9 | 1.9 | 2.0 | 1.6 | 0 | | joint sweep 2 | 2.1 | 4.3 | 4.6 | 1.2 | 0 | 1.8 | 6.7 | 8.4 | 1.1 | 0 | 2.4 | 4.6 | 5.2 | 1.7 | 0 | | joint sweep 3 | 3.7 | 4.5 | 3.1 | 1.9 | 0 | 3.4 | 2.6 | 2.8 | 2.8 | 0 | 3.1 | 2.6 | 2.5 | 3.4 | 0 | | joint sweep 4 | 2.6 | 4.8 | 2.5 | 3.4 | 0 | 2.9 | 3.3 | 2.4 | 3.2 | 0 | 2.4 | 2.9 | 2.2 | 4.6 | 0 | | joint sweep 5 | 1.7 | 3.0 | 1.7 | 3.1 | 0.4 | 2.6 | 3.9 | 2.3 | 2.7 | 0.5 | 5.5 | 3.3 | 5.1 | 3.0 | 0.7 | | pick place empty | 2.6 | 2.5 | 2.2 | 3.5 | 1.1 | 1.9 | 3.6 | 2.7 | 3.2 | 1.1 | 3.1 | 2.7 | 2.0 | 3.9 | 1.0 | | Average | 2.5 | 3.6 | 2.6 | 2.5 | 0.2 | 2.5 | 3.4 | 3.1 | 2.8 | 0.2 | 3.1 | 2.8 | 3.2 | 3.1 | 0.2 |

表 V：基于负载的测试集上的仿真和力预测精度。J1–J4：关节角 MAE（度）。Grip：单指滑动坐标 MAE（毫米）。F：力 MAE（牛顿）。

| Task | Weight | @100 steps | | | | | | @300 steps | | | | | | @600 steps | | | | | | |—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—|—| | | | J1 | J2 | J3 | J4 | Grip | F | J1 | J2 | J3 | J4 | Grip | F | J1 | J2 | J3 | J4 | Grip | F | | go up and stay | 200 g | 1.3 | 5.0 | 2.6 | 2.4 | 0.1 | 0.12 | 3.4 | 3.9 | 4.2 | 2.3 | 0.1 | 0.10 | 3.1 | 3.3 | 4.3 | 2.9 | 0.1 | 0.16 | | | 300 g | 2.6 | 5.3 | 5.7 | 3.7 | 0.1 | 0.20 | 1.8 | 3.4 | 5.7 | 5.4 | 0.0 | 0.17 | 3.5 | 2.5 | 3.4 | 4.6 | 0.0 | 0.20 | | | 400 g | 2.2 | 4.1 | 1.4 | 5.0 | 0.1 | 0.07 | 2.9 | 2.1 | 2.1 | 6.1 | 0.1 | 0.12 | 2.0 | 1.4 | 3.0 | 7.1 | 0.2 | 0.11 | | pick and place | 200 g | 0.7 | 3.1 | 4.3 | 3.4 | 1.1 | 0.24 | 2.7 | 3.9 | 4.0 | 4.0 | 1.1 | 0.08 | 2.9 | 5.1 | 2.9 | 3.0 | 1.0 | 0.11 | | | 300 g | 0.5 | 4.5 | 3.7 | 0.9 | 0.3 | 0.00 | 1.2 | 5.1 | 4.8 | 1.5 | 0.2 | 0.00 | 2.7 | 7.8 | 4.9 | 3.2 | 0.3 | 0.09 | | | 400 g | 0.8 | 2.1 | 2.8 | 2.9 | 1.1 | 0.19 | 2.8 | 1.4 | 3.4 | 3.6 | 1.1 | 0.06 | 2.4 | 2.0 | 3.8 | 3.3 | 1.0 | 0.03 | | | 500 g | 2.7 | 1.8 | 1.7 | 3.3 | 1.1 | 0.05 | 4.8 | 2.8 | 1.7 | 2.3 | 1.1 | 0.02 | 4.2 | 6.3 | 2.3 | 2.3 | 0.9 | 0.04 | | Avg | | 1.54 | 3.70 | 3.17 | 3.09 | 0.56 | 0.12 | 2.80 | 3.23 | 3.70 | 3.60 | 0.53 | 0.08 | 2.97 | 4.06 | 3.51 | 3.77 | 0.50 | 0.11 |

B. 力估计精度

我们在三个互补的基准上评估力预测：(i) 通过校准的六维力/力矩传感器测量的方向性接触，(ii) 其重力载荷定义力标签的已知负载，以及 (iii) 跨多个方向和高度的力规接触。实验设置如图 5 所示。

外力传感。 表 IV 报告了六个方向（±X, ±Y, ±Z）上的 3D 外力预测，末端执行器施加的力高达 9 N。在接触轨迹上，100 步时的力 MAE 为 0.36–0.39 N，500 步时为 0.38–0.57 N。在没有接触的参考轨迹上，NeuralActuator 预测接近零的力（0.00–0.02 N）。

负载基准。 表 V 总结了跨负载和 rollout 视界的力预测精度。NeuralActuator 在任务和视界上实现了 0.08–0.12 N 的平均力 MAE，单任务误差最多为 0.24 N。在持续静态负载下，“上升并保持”任务表现出相对较大的每行误差（高达 0.20 N）。

未见接触几何形状。 力头从共享遥测表示中预测基座末端执行器力，并不将显式物体几何形状作为输入。因此，我们在两个未见物体（插图所示）上评估预训练模型，其形状和表面特性未在训练中体现：一个 261 g 的负载和一个 226 g 的负载。我们测量了静止保持阶段的力。预测的力为 2.80 N（GT：2.56 N）和 2.40 N（GT：2.21 N），表明在此受限设置下，该模型对未见接触几何形状具有一定的泛化能力。

量规推压。 我们进一步测试了来自前方（水平推压）和顶部（垂直按压）的力规接触，分别在低、中、高末端执行器位置进行。表 VI 报告了 100、300 和 600 步 rollout 上的状态和力误差。平均力 MAE 从 100 步时的 0.08 N 增加到 600 步时的 0.10 N，并且在每种设置下最多保持为 0.12 N。关节误差随视界适度增长，而单指滑动坐标 MAE 保持在约 0.21 mm。图 9 显示，预测的力也跟踪了代表性前推的接触 onset、持续负载和释放。

负载在或低于 ~50 g（~0.5 N）时接近该低成本平台的噪声底限；在此范围内的可靠检测仍是未来的工作。图 7 和 8 显示了两个基于负载的操作任务的硬件执行和模拟 rollout 配对。力叠加捕捉了抓取和放置期间的接触转换，以及提升和保持期间的持续负载，补充了表 V 中的聚合误差。

C. 学习的扭矩代理

图 10 比较了 OpenManipulator-X 的四个旋转关节随时间变化的原始、预裁剪扭矩代理输出与测量的电机电流。由于该平台缺乏关节力矩传感，这些曲线作为多变量、历史条件网络的诊断工具，而非校准的电流-力矩关系。裁剪也使得

第 10 页

图 7：力感知的抓取与放置轨迹。从上到下：200 克、300 克、400 克和 500 克负载。每一行将真实执行与仿真轨迹配对，并叠加预测的末端执行器外力。

表 VI：量规推压任务上的仿真与力预测精度。末端执行器从正面或顶部在三个位置接触量规。J1–J4：关节角度 MAE（度）。Grip：单指滑动坐标 MAE（毫米）。F：力 MAE（牛顿）。前两种方法是简化版的基准适配，与 Ma-grini 等人 [37] 的相机辅助接触定位方法以及 Linderoth 等人 [31] 基于测量电机扭矩的凸摩擦不确定性估计器不同。所有三个基线都通过线性电流-扭矩映射将电机扭矩转换为扭矩，并在每个高步长步骤中消耗真实机器人状态，从而恢复末端执行器力 $\hat{f} = (J^\top v)^\dagger \hat{\tau}_{ext}$；而 NeuralActuator 则从其自身的仿真轨迹中预测力。首先，在 OpenManipulator-X 上对每个关节拟合 $K_t$ 揭示了线性假设的局限性：两个关节在钳位前出现负斜率，这与高减速比齿轮箱掩盖了潜在的电流-扭矩关系一致。其次，即使经过 Stribeck 摩擦和齿隙补偿，最佳适配经典基线（GMO）的平均力 MAE 仍是 NeuralActuator 的 5.5 倍（0.66 N 对比 0.12 N）。在无接触状态下，经典方法产生 33–59% 的误触率，而 NeuralActuator 保持在接近零的水平。在线性基线上添加 Stribeck 摩擦仅带来适度的改进（1.23 对比 1.41 N），表明这些固定参数模型未能捕捉该平台齿轮伺服的主导非线性特性。

D. 与基线的比较

为了在共同的低成本伺服输入协议下将 NeuralActuator 与基于模型的替代方案进行比较，我们在负载基准上实现了三种适配的基线：(i) ID-Linear，基于加速度的逆动力学残差 $\hat{\tau}_{ext} = \tau_{ID}(q, \dot{q}, \ddot{q}) – (K_t i + b)$，其中每个关节的 $K_{t,j}$ 在自由运动期间校准；(ii) ID-Friction，在 (i) 的基础上增加了 Stribeck 摩擦和齿隙项；以及 (iii) 广义动量观测器（GMO）[10]，它通过具有自动调整增益的动量积分避免使用 $\ddot{q}$。

E. 在线适配

当执行器特性在硬件实例或操作条件之间发生变化时，预训练模型可能需要本地重新校准。因此，我们从预训练的检查点开始，在 12 个…

第 11 页

图 8：力感知提升与保持轨迹。从上到下：200 g、300 g 和 400 g 负载。每一行将真实执行与仿真轨迹配对，并叠加预测的末端执行器外力。

图 9：前向推压的力预测。对于高、中、低接触位置，我们展示了物理设置和仿真场景，以及测量的和预测的带符号接触轴力。底部面板显示了相应的二元接触区间。

表 VII：在负载基准上针对基于模型的无传感器基线的力 MAE (N)（越低越好）。基线在每个步骤都使用真实状态；NeuralActuator 使用仿真轨迹状态。在力传感器基准上，适应减少了所有三个轨迹时间步长范围内的聚合位置跟踪误差，而力 MAE 保持相当，并在更长的时间步长范围内略有改善。图 11 报告了在用于该进度图的曲线级聚合下，经过 70 个 epoch 后平均跟踪误差减少了约 44%；该统计量与表 VIII 中按时间步长划分的 Avg 行不同。在此设置中，重新校准需要 12 条轨迹和 356 秒，而非完全重新训练。

F. 跨平台验证

为了清晰起见，OpenManipulator-X 有四个机械臂关节加一个夹爪执行器，SO-101 有五个机械臂关节加一个夹爪执行器，而 Franka 有七个机械臂关节。下面的 Franka 结果仅报告外力；SO-101 表格报告其机械臂关节，并将夹爪驱动单独处理。

第 12 页

表 VIII：在线适应前（B）和适应后（A）的仿真与力预测精度。J1–J4：关节角度 MAE（度）。Grip：单指滑动坐标 MAE（毫米）。F：力 MAE（牛顿）。

@100 步 @300 步 @500 步 J1 J2 J3 J4 Grip F J1 J2 J3 J4 Grip F J1 J2 J3 J4 Grip F 任务 B A B A B A B A B A B A B A B A B A B A B A B A B A B A B A B A B A B A

带外力接触

force X+ 0.9 0.3 2.1 0.7 1.0 0.8 0.8 0.8 1.0 1.0 0.36 0.37 2.1 1.2 2.3 1.0 0.7 1.5 0.9 0.8 1.0 1.0 0.46 0.41 2.7 1.6 4.0 1.3 0.6 1.9 0.9 0.8 1.0 1.0 0.52 0.41 force X−0.2 0.5 1.1 1.7 0.9 1.2 0.7 1.3 1.0 1.0 0.39 0.39 1.7 0.7 1.6 1.6 1.4 0.7 0.8 1.2 1.0 1.0 0.41 0.40 2.5 0.9 1.9 1.6 2.0 0.8 0.9 1.2 1.0 1.0 0.42 0.41 force Y+ 2.1 1.8 5.4 3.4 0.8 1.1 1.2 1.3 0.0 0.1 0.37 0.37 2.3 1.5 4.5 3.2 1.1 1.1 1.6 1.0 0.1 0.1 0.39 0.37 3.0 1.2 3.7 2.3 2.5 1.2 3.1 1.7 0.3 0.3 0.45 0.39 force Y−1.1 1.2 0.6 1.3 1.1 1.8 1.8 1.8 0.1 0.1 0.38 0.38 1.6 1.0 3.1 2.6 1.2 1.4 2.1 2.0 0.1 0.1 0.36 0.36 1.7 1.0 2.3 2.0 2.5 1.1 2.1 1.6 0.2 0.2 0.38 0.37 force Z+ 2.9 4.0 5.2 3.6 1.3 3.1 0.6 0.5 0.1 0.1 0.39 0.39 2.7 2.1 4.0 2.7 1.4 1.5 0.7 0.9 0.2 0.1 0.44 0.42 5.0 1.8 3.2 2.0 1.7 1.5 1.4 1.5 0.3 0.2 0.46 0.45 force Z−0.7 0.9 6.2 3.5 2.0 0.6 1.0 0.7 1.0 1.0 0.36 0.36 2.0 0.7 7.1 2.3 1.8 0.8 3.3 1.2 1.0 1.0 0.61 0.38 2.6 1.0 7.2 1.6 2.0 0.8 3.0 1.1 1.0 1.0 0.54 0.40

参考（无外力）

force X+ 1.4 0.4 1.6 0.4 1.0 1.0 0.8 0.8 1.0 1.0 0.01 0.08 1.5 0.5 1.3 0.6 0.8 0.8 1.0 1.2 1.0 1.0 0.02 0.08 1.3 0.5 1.1 0.6 0.6 1.0 1.4 1.9 1.0 1.0 0.01 0.05 force X−0.4 0.7 3.2 0.6 2.4 0.5 0.7 1.0 1.0 1.0 0.00 0.00 0.7 0.6 2.4 1.2 1.9 0.5 0.9 0.9 1.0 1.0 0.00 0.04 0.8 0.6 2.2 1.0 2.2 0.7 1.1 0.8 1.0 1.0 0.00 0.05 force Y+ 1.4 1.8 1.0 2.8 1.4 1.4 1.3 1.9 0.1 0.1 0.00 0.00 2.2 1.7 3.3 3.3 1.0 1.2 1.8 1.4 0.2 0.2 0.00 0.01 2.2 1.2 4.4 2.4 1.0 1.1 1.3 1.3 0.4 0.3 0.00 0.01 force Y−2.0 1.2 2.2 1.9 0.8 0.4 2.7 1.3 0.0 0.1 0.00 0.01 2.5 1.5 4.8 2.7 0.7 0.8 3.2 1.8 0.1 0.1 0.00 0.01 2.0 1.2 4.9 2.1 0.7 1.3 2.7 2.0 0.3 0.2 0.00 0.01 force Z+ 0.6 0.9 1.3 0.8 0.4 1.3 1.4 1.3 0.1 0.1 0.00 0.00 1.3 1.2 3.4 1.6 0.4 1.0 1.2 1.0 0.2 0.2 0.00 0.00 1.0 1.1 3.4 1.5 0.5 1.2 0.9 1.3 0.3 0.3 0.00 0.00 force Z−1.8 0.5 1.9 0.8 1.1 0.9 0.5 0.7 1.0 1.0 0.03 0.14 1.7 0.6 0.9 0.7 1.1 0.8 0.8 0.8 1.0 1.0 0.02 0.11 1.6 0.5 0.8 0.7 1.0 0.7 0.8 1.1 1.0 1.0 0.01 0.08

平均 1.28 1.19 2.65 1.81 1.19 1.17 1.13 1.12 0.55 0.55 0.19 0.21 1.86 1.09 3.22 1.96 1.11 1.02 1.53 1.18 0.59 0.58 0.23 0.22 2.20 1.04 3.25 1.58 1.44 1.10 1.64 1.35 0.66 0.65 0.23 0.22

图 11：在线适应过程。曲线级聚合显示，在使用 12 条轨迹（7,810 帧）进行 70 个 epoch 后，平均跟踪误差减少了约 44%。微调总共耗时 356 秒（每条轨迹约 29.7 秒，每个 epoch 5.1 秒）。 图 10：机械臂关节的实测电机电流和原始扭矩代理输出。两个具有代表性的 rollout 将电流与裁剪前的网络输出进行了比较。公式 10 中的有界代理进入仿真器；原始曲线是诊断输出，而非直接的电机电流测量值。在 500 步 rollout 视界下，平均关节角度和单指滑动坐标的 MAE 分别为 1.26◦和 1 mm。

7-DoF Franka Emika Panda：外力估计。 Franka 模型是命令条件化的：其输入包含目标关节位姿以及当前状态、 commanded 关节扭矩、电机侧状态和夹爪特征。由于记录的命令位置信号是一组稀疏的设定点序列，离线特征构建用平滑代理 $\tilde{q}_{cmd}^t = 1.03 q_{rect}^{t+5}$ 替换了该通道，该代理由记录的关节位置构建而成。由于此代理依赖于未来的记录状态，因此报告的 Franka 力结果构成了一个基于未来状态条件的离线基准，而非在线评估。对于因果硬件部署，该通道应由控制器、遥操作接口或逆运动学模块在时间 $t$ 时已可用的命令位姿来填充；此后不需要任何未来的测量状态。因此，Franka 分析侧重于外力估计。力头由已知的有效载荷垂直负载进行监督，并与共享 Transformer 表示上的仿真器控制头并行运行。在 200–600 克的提升保持轨迹上，报告的三分量力 MAE 范围从 0.26 到

第 13 页

表 IX：Franka Panda 外部力输出 MAE (N) 在 100 步和 500 步未来状态条件离线 rollout 中的结果。 F 针对标称负载参考 $[0, 0, -mg]^\top$ 对三个输出分量进行平均。 与垂直加载协议一致，训练监督应用于 $f_z$，而横向输出通过其零参考值计入报告的指标。

| Payload | F @100 | F @500 | | :— | :— | :— | | 200 g | 0.42 | 0.31 | | 300 g | 0.35 | 0.28 | | 400 g | 0.36 | 0.27 | | 500 g | 0.27 | 0.26 | | 600 g | 0.30 | 0.28 | | Avg | 0.34 | 0.28 |

(a) (b) 图 13：Motor-condition 实验。(a) 橡皮筋机械限制关节 3。(b) 在匹配命令下，无限制和受限试验遵循相似的位置轨迹（顶部），但受限关节消耗更多电流（中部），产生可测量的差异（底部）。

表 X：SO-101 每关节和力 MAE，在 500 步 rollout 中。 关节误差单位为度，力误差 (F) 单位为 N。

| Task | J1 | J2 | J3 | J4 | J5 | F | J1 | J2 | J3 | J4 | J5 | F | | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | | Go Up & Stay | 2.27 | 8.20 | 6.40 | 5.40 | 2.37 | 0.64 | Pick & Place | 3.73 | 5.63 | 4.17 | 6.17 | 2.47 | 0.73 | | 300 g | 2.83 | 9.30 | 9.63 | 4.00 | 5.73 | 0.57 | 3.53 | 6.83 | 2.43 | 5.23 | 5.13 | 0.63 | | 400 g | 2.27 | 7.63 | 9.77 | 7.13 | 2.67 | 0.47 | 3.80 | 5.60 | 1.53 | 6.73 | 3.33 | 0.54 |

0.42 N。表 IX 报告了 100 步和 500 步视界下的负载级结果。 6-DoF 低成本机械臂 (SO-101)。SO-101 使用 STS3215 串行总线伺服，将跨平台评估扩展到 NAD 主要实验中使用的 DYNAMIXEL 系列之外。 其模型使用伺服的带符号负载寄存器作为 effort-related 输入；未使用原始电流寄存器。 完整的 SO-101 语料库包含 65,916 帧（1,037.7 秒，聚合速率约为 63.5 Hz），涵盖两个任务和五种负载条件的十种组合。 为了在非零负载之间进行受控比较，评估子集包含 40,426 帧（649 秒，约为 62.3 Hz），涵盖六种组合：go-up-and-stay 和 pick-and-place，负载分别为 300 g、400 g 和 500 g。 在 500 步视界下，力 MAE 为 0.47–0.73 N，最大关节误差约为关节 3 的 9.8°（表 X）。 与 OpenManipulator-X 相比，较大的关节误差可能反映了执行器和平台动力学的差异，以及每个平台有限的训练集；第四节-E 中的简短校准程序为平台特定的细化提供了实用机制。

G. Motor Condition Estimation 接下来，我们通过用橡皮筋包裹关节 3 来创建受控的机械限制，以引入额外的阻力（图 13(a)）。 在相同的位置命令下，受限关节在遵循相似轨迹的同时消耗更多电流（图 13(b)）。 这种电流偏差使得受限条件的无传感器分类成为可能。 对于评估，受限类得分为 $1 – c_3$。 在每个方法的原始决策粒度下，NeuralActuator 在带有 200 g 物体的 pick-and-place 任务（表 XI）上取得了 91.0% 的准确率、96.2% 的召回率和 0.95 的 AUC-ROC，高于阈值、SVM 和 Random Forest 基线。 报告的区分了无限制操作和机械受限操作的任务，并未涉及电机故障诊断或通用电机健康评估。

表 XI：受控机械限制下的 Motor-condition 分类。 准确率和召回率将机械受限条件视为正类。

| Metric | Thres. | SVM | RF | Ours | | :— | :— | :— | :— | :— | | Accuracy | 58.6% | 59.9% | 67.1% | 91.0% | | Precision | 0.0% | 52.6% | 62.3% | 84.5% | | Recall | 0.0% | 31.7% | 52.4% | 96.2% | | AUC-ROC | 0.45 | 0.62 | 0.72 | 0.95 |

Baseline Protocols。阈值基线使用平均绝对关节 3 电流对窗口进行分类，阈值在训练集上选择。 SVM 使用 RBF 核，Random Forest 使用 200 棵树，最大深度为 15。 两者都使用相同的 20 个手工特征：六个电流统计量（均值、标准差、最大值、最小值、偏度和峰度）；三个跟踪误差统计量（均值、最大值和标准差）；四个时间特征（电流导数的均值和最大值、平均加速度和电流趋势）；三个频谱特征（主导频率功率、低到高频率功率比和频谱熵）；三个受物理启发的特征（运动期间的电流、电流与速度之比和功率估计）；以及一个前半部分与后半部分电流不对称特征。 NeuralActuator 在 32 条轨迹（每个任务-条件组合八条）上进行训练，而三个手工特征

第 14 页

表 XII：模型参数与运行时性能。 表 XIII：使用 NeuralActuator 的行为克隆成功率。结果为 40 次试验的平均值。

| 指标 | 值 | 单位 | 指标 | 值 | 单位 | 任务 | 无 NeuralActuator | 有 NeuralActuator | | :— | :— | :— | :— | :— | :— | :— | :— | :— | | 参数 | 1.44M | – | 平均时间 | 0.25 | ms | 抓取与放置 | 80% | 92.5% | | FLOPs (前向) | 5.46M | – | P95 时间 | 0.31 | ms | 上升并保持 | 85% | 95% | | FP32 参数内存 | 5.50 | MiB | 吞吐量 (b=1) | 4,019 | Hz | | | | | | | | 吞吐量 (b=32) | 10,992 | Hz | | | |

基线模型在 16 条轨迹（每种组合四条）上进行拟合。所有方法均在相同的四条保留轨迹（每种条件两条）上进行评估。它们对具有 50% 重叠的 64 步窗口进行分类，产生 601 个训练窗口和 152 个测试窗口；SVM 和随机森林的特征仅使用训练集统计信息进行标准化。NeuralActuator 则从其原生的九帧输入（八个历史帧加上当前帧）在每个时间步产生预测，并在相同的四条保留测试轨迹上进行评估。因此，指标以每种方法的原生决策粒度报告，相同的四条保留轨迹提供共同的评估集。

H. 运行时性能

表 XII 显示，带有 JIT 编译的 JAX 实现了亚毫秒级的 GPU 推理延迟和超过 60 Hz 控制率的吞吐量。批处理进一步提高了吞吐量，且参数占用空间保持适中。

I. 用于真实机器人控制的力感知模仿学习

为了评估 NeuralActuator 作为下游控制的预训练力感知模块的效用，我们使用冻结的 NeuralActuator 模块训练了一个行为克隆（BC）控制器。遵循 [29] 的做法，我们通过遥操作收集专家演示，并训练一个策略网络来预测 commanded joint positions（详见附录 F）。我们使用 100 g、200 g、300 g 和 500 g 负载的演示来训练策略，并在 400 g 负载下进行物体提升与保持评估，在 500 g 负载下进行抓取与放置评估。预训练的 NeuralActuator 模块是在完整的 100–500 g 负载集上训练的，而 BC 演示包括抓取与放置评估中使用的 500 g 条件。因此，下游协议评估了在预训练期间表示的负载范围内的任务级迁移。

力感知策略输入。BC 策略接收关节位置和夹爪开度的历史序列，并辅以由冻结的 NeuralActuator 模块预测的外部力信号 $\hat{f}_{ext}$。这增强了位置控制，使其在不同负载和间歇性接触下具备力反馈能力。NeuralActuator 模块在策略训练期间保持冻结；它是在遥操作的 NAD 轨迹上预训练的，并未与下游策略联合优化。

仅位置基线。基线在不包含预测力输入的情况下，仅使用位置和夹爪开度历史训练相同的策略架构。表 XIII 显示，在评估的操纵试验中，力感知变体的成功率高于仅位置基线（图 1）。

J. 视觉监督

我们评估了一个图像空间细化管道，该管道组合了神经执行器、可微分动力学、前向运动学和可微分渲染器。几何三点初始化提供了从基座到相机的变换 $T_{cb}$，随后通过轮廓目标细化相机外参和所评估序列的 NeuralActuator 参数。相机内参使用 VGGT [46] 估计并保持固定；SAM3 产生观测到的机器人掩码 [5]。遵循 EasyHeC 公式 [6]，梯度从掩码对齐通过渲染器和模拟状态传播到 NeuralActuator。由此产生的轮廓对齐达到了 0.8515 的平均 IoU（图 14）；该实验评估了对齐质量，并未单独量化执行器或 rollout 准确性的改进。附录 C 给出了完整的目标和优化细节。

图 14：图像空间细化。评估的管道通过模拟机器人状态细化手眼变换和 NeuralActuator 参数；可视化报告了轮廓对齐情况。

K. 网络架构的消融实验

为了隔离网络架构的影响，我们将我们的 Transformer 与三种参数量大致匹配（约 1.4 M）的替代方案进行比较。令 $x_t \in \mathbb{R}^F$ 为包含关节状态、电机电流和目标的特征向量。我们考虑：(i) 一个带有 LayerNorm 的 MLP，它从展平的历史预测扭矩代理，$\tau^t = f_\theta(x_{t-L+1:t})$；(ii) 一个 GRU [8]，$h_t = \text{GRU}_\theta(x_t, h_{t-1})$，具有可学习的初始状态；以及 (iii) 一个 LSTM [21]，$(h_t, c_t) = \text{LSTM}_\theta(x_t, h_{t-1}, c_{t-1})$。在 500 步的视界下，Transformer 在报告的六项指标中的四项中表现最佳或并列最佳，包括力 MAE（表 XIV）。

L. 其他物理后端

学习的执行器也可以耦合到除 MuJoCo 之外的其他可微分刚体仿真器。我们通过轻量级接口将 NeuralActuator 与 NVIDIA Warp [36] 集成。

第 15 页

图 15：基于 NVIDIA Warp 的 NeuralActuator。在不同初始配置和外部推力方向（红色箭头）下，使用 wp.sim.FeatherstoneIntegrator 模拟的代表性关节臂轨迹。

表 XIV：用于执行器建模的神经网络架构比较。我们报告了 500 步预测视界下的轨迹预测和力预测精度。粗体表示每列的最佳结果；并列最佳结果均加粗。

| Model | J1 | J2 | J3 | J4 | Grip | F | | :— | :— | :— | :— | :— | :— | :— | | MLP | 4.55 | 5.81 | 3.48 | 2.16 | 0.91 | 0.47 | | GRU | 1.83 | 2.08 | 1.68 | 1.70 | 0.65 | 0.49 | | LSTM | 2.91 | 7.66 | 3.21 | 3.08 | 0.71 | 0.41 | | Ours | 1.78 | 3.31 | 2.01 | 1.58 | 0.65 | 0.23 |

适配器，用于在执行器模型与 Warp 的关节体模拟器之间映射广义关节状态和控制信号。该实现通过 wp.sim.FeatherstoneIntegrator 推进机器人，并使用 wp.Tape() 记录每次轨迹以进行反向模式微分。我们使用重力加速度 -9.81 m/s²，环境频率 60 Hz，每帧五个仿真子步（内部 300 Hz），以及每个关节的臂杆值 0.01。图 15 展示了在多种初始配置和外部推力下的代表性可微分轨迹。

V. 结论

我们提出了 NeuralActuator，这是一种用于低成本机器人的可微分神经执行器模型，支持扭矩代理预测和接触门控力感知，且在推理时无需专用的力/扭矩传感器。NeuralActuator 不假设固定的线性电流-扭矩关系，而是学习从命令、状态和遥测历史到仿真器等效广义输入的依赖历史的映射，同时联合估计外力和接触。我们提供了一个双臂遥操作管道用于收集带力标签的数据，以及一个多任务 Transformer，用于预测扭矩代理、力、接触概率和电机状态评分；其扭矩代理头通过可微分仿真进行训练，无需直接的广义努力标签。在跨越三个执行器家族、成本从约 500 美元到超过 30,000 美元的三个平台上的实验表明，该模型在负载基准测试上实现了准确的运动预测、力估计、关节 3 状态估计，并提升了 NeuralActuator 的行为克隆性能。

局限性与未来工作。长期记录的遥测条件轨迹传播会累积误差并最终降低跟踪精度；第四节 E 部分中的少轨迹在线适应程序可缓解这种漂移。在姿态监督平台上，学习到的扭矩代理是仿真器等效的：当正向模型中不存在接触或负载时，代理可能会吸收其广义效应以及其他动力学失配，而力头则保持为单独的监督估计器。在线推理还需要实时的努力相关执行器遥测。虽然随着新遥测数据的到来支持因果闭环部署，但当前模型无法预测未执行命令的努力响应，因此在没有额外努力响应模型的情况下，无法对候选未来命令序列进行反事实轨迹模拟。力头估计末端执行器处的单个 3D 合力；它既不定位分布式或多点接触，也不估计完整的力螺旋，并且需要直接的力标签进行监督。未来的工作可以探索多点力预测以及从视觉线索中学习力估计更具可扩展性的方法。

第 16 页

VI. 致谢

本工作是在麻省理工学院–亚马逊科学中心（MIT–Amazon Science Hub）开展的。感谢马宇翔（Yuxiang Ma）和宋雨欣（Yuxin Song）在硬件实验方面提供的协助。感谢匿名审稿人提出的建设性意见。

参考文献

[1] Anurag Ajay, Jiajun Wu, Nima Fazeli, Maria Bauza, Leslie P Kaelbling, Joshua B Tenenbaum, 和 Alberto Rodriguez. Augmenting physical simulators with stochastic neural networks: Case study of planar pushing and bouncing. 在 2018 IEEE/RSJ 智能机器人与系统国际会议 (IROS) 上，第 3066–3073 页。IEEE, 2018.

[2] Seyed Ali Baradaran Birjandi, Johannes Kuhn, 和 Sami Haddadin. Observer-extended direct method for collision monitoring in robot manipulators using proprioception and IMU sensing. IEEE 机器人与自动化快报, 5(2):954–961, 2020.

[3] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne, 和 Qiao Zhang. JAX: composable transformations of Python+NumPy programs, 2018. URL http://github.com/jax-ml/jax.

[4] Remi Cadene, Simon Alibert, Alexander Soare, Quentin Gallouedec, Adil Zouitine, Steven Palma, Pepijn Kooijmans, Michel Aractingi, Mustafa Shukor, Dana Aubakirova, Martino Russi, Francesco Capuano, Caroline Pascal, Jade Choghari, Jess Moss, 和 Thomas Wolf. LeRobot: State-of-the-art machine learning for real-world robotics in PyTorch. https://github.com/huggingface/lerobot, 2024.

[5] Nicolas Carion, Laura Gustafson, Yuan-Ting Hu, Shoubhik Debnath, Ronghang Hu, Didac Suris, Chaitanya Ryali, Kalyan Vasudev Alwala, Haitham Khedr, Andrew Huang, Jie Lei, Tengyu Ma, Baishan Guo, Arpit Kalla, Markus Marks, Joseph Greer, Meng Wang, Peize Sun, Roman Radle, Triantafyllos Afouras, Effrosyni Mavroudi, Katherine Xu, Tsung-Han Wu, Yu Zhou, Liliane Momeni, Rishi Hazra, Shuangrui Ding, Sagar Vaze, Francois Porcher, Feng Li, Siyuan Li, Aishwarya Kamath, Ho Kei Cheng, Piotr Dollár, Nikhila Ravi, Kate Saenko, Pengchuan Zhang, 和 Christoph Feichtenhofer. SAM 3: Segment anything with concepts, 2025. URL https://arxiv.org/abs/2511.16719.

[6] Linghao Chen, Yuzhe Qin, Xiaowei Zhou, 和 Hao Su. EasyHeC: Accurate and automatic hand-eye calibration via differentiable rendering and space exploration. IEEE 机器人与自动化快报, 8(11): 7234–7241, 2023年11月. ISSN 2377-3774. doi: 10.1109/lra.2023.3315551. URL http://dx.doi.org/10.1109/LRA.2023.3315551.

[7] Peter Yichen Chen, Chao Liu, Pingchuan Ma, John Eastman, Daniela Rus, Dylan Randle, Yuri Ivanov, 和 Wojciech Matusik. Learning object properties using robot proprioception via differentiable robot-object interaction. 在 2025 IEEE 机器人与自动化国际会议 (ICRA) 上，第 5997–6004 页。IEEE, 2025.

[8] Junyoung Chung, Caglar Gulcehre, KyungHyun Cho, 和 Yoshua Bengio. Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv 预印本 arXiv:1412.3555, 2014.

[9] Jeremy A Collins, Cody Houff, Patrick Grady, 和 Charles C Kemp. Visual contact pressure estimation for grippers in the wild. 在 2023 IEEE/RSJ 智能机器人与系统国际会议 (IROS) 上，第 10947–10954 页。IEEE, 2023.

[10] Alessandro De Luca 和 Raffaella Mattone. Sensorless robot collision detection and hybrid force/motion control. 在 2005 IEEE 国际机器人与自动化会议论文集上，第 999–1004 页。IEEE, 2005.

[11] Alessandro De Luca, Alin Albu-Schaffer, Sami Haddadin, 和 Gerd Hirzinger. Collision detection and safe reaction with the DLR-III lightweight manipulator arm. 在 2006 IEEE/RSJ 智能机器人与系统国际会议上，第 1623–1630 页。IEEE, 2006.

[12] Nolan Fey, Gabriel B Margolis, Martin Peticco, 和 Pulkit Agrawal. Bridging the sim-to-real gap for athletic loco-manipulation. arXiv 预印本 arXiv:2502.10894, 2025.

[13] C. Daniel Freeman, Erik Frey, Anton Raichuk, Sertan Girgin, Igor Mordatch, 和 Olivier Bachem. Brax – a differentiable physics engine for large scale rigid body simulation, 2021. URL http://github.com/google/brax.

[14] Wanjia Fu, Hongyu Li, Ivy X He, Stefanie Tellex, 和 Srinath Sridhar. UniTac: Whole-robot touch sensing without tactile sensors. 在 IEEE/CVF 计算机视觉与模式识别会议论文集 (Workshops) 上，第 3976–3985 页，2026年6月.

[15] Genesis Authors. Genesis: A generative and universal physics engine for robotics and beyond, 2024年12月. URL https://github.com/Genesis-Embodied-AI/Genesis.

[16] Google DeepMind. MuJoCo XLA (MJX). https://mujoco.readthedocs.io/en/stable/mjx.html, 2026. 官方软件文档，访问于 2026年7月13日.

[17] Sami Haddadin, Alin Albu-Schaffer, Alessandro De Luca, 和 Gerd Hirzinger. Collision detection and reaction: A contribution to safe physical human-robot interaction. 在 2008 IEEE/RSJ 智能机器人与系统国际会议上，第 3356–3363 页。IEEE, 2008.

[18] Linyan Han, Jianliang Mao, Pengfei Cao, Yahui Gan, 和 Shihua Li. Toward sensorless interaction force estimation for industrial robots using high-order finite-time observers. IEEE 工业电子汇刊, 69 (7):7275–7284, 2022. doi: 10.1109/TIE.2021.3095820.

[19] Ryo Hanai, Yukiyasu Domae, Ixchel G Ramirez-Alpizar, Bruno Leme, 和 Tetsuya Ogata. Force map: Learning to predict contact force distribution from vision. 在 2023 IEEE/RSJ 智能机器人与系统国际会议上

第 17 页

and Systems (IROS), pages 3129–3136. IEEE, 2023. torque control for PMSM based on the RBFNN surrogate [20] Eric Heiden, David Millard, Erwin Coumans, Yizhou model of electromagnetic torque and stator flux linkage. Sheng, and Gaurav S Sukhatme. NeuralSim: Augmenting Control Engineering Practice, 148:105943, 2024. doi: differentiable simulators with neural networks. In 2021 10.1016/j.conengprac.2024.105943. IEEE International Conference on Robotics and Automa- [33] Sichao Liu, Lihui Wang, and Xi Vincent Wang. Sensor- tion (ICRA), pages 9474–9481. IEEE, 2021. less force estimation for industrial robots using distur- [21] Sepp Hochreiter and J¨urgen Schmidhuber. Long short- bance observer and neural learning of friction approxima- term memory. Neural computation, 9(8):1735–1780, tion. Robotics and Computer-Integrated Manufacturing, 1997. 71:102168, 2021. [22] Taylor A Howell, Simon Le Cleac’h, Jan Br¨udigam, [34] Ilya Loshchilov and Frank Hutter. Decoupled weight J Zico Kolter, Mac Schwager, and Zachary Manchester. decay regularization. In International Conference on Dojo: A differentiable physics engine for robotics. arXiv Learning Representations, 2019. preprint arXiv:2203.00806, 2022. [35] Tribotix Pty Ltd. PincherX 150 5DOF robot arm. [23] Jin Hu and Rong Xiong. Contact force estimation for https://tribotix.com/product/pincherx-150-robot-arm/, robot manipulator using semiparametric model and dis- 2020. Accessed: 2025-08-12. turbance Kalman filter. IEEE Transactions on Industrial [36] Miles Macklin. Warp: A high-performance Python Electronics, 65(4):3365–3375, 2018. doi: 10.1109/TIE. framework for GPU simulation and graphics. https: 2017.2748056. //github.com/nvidia/warp, March 2022. NVIDIA GPU [24] Yuanming Hu, Luke Anderson, Tzu-Mao Li, Qi Sun, Technology Conference (GTC). Nathan Carr, Jonathan Ragan-Kelley, and Fr´edo Durand. [37] Emanuele Magrini, Fabrizio Flacco, and Alessandro DiffTaichi: Differentiable programming for physical sim- De Luca. Estimation of contact forces using a virtual ulation. ICLR, 2020. force sensor. In 2014 IEEE/RSJ International Conference [25] Jemin Hwangbo, Joonho Lee, Alexey Dosovitskiy, Dario on Intelligent Robots and Systems, pages 2126–2133. Bellicoso, Vassilios Tsounis, Vladlen Koltun, and Marco IEEE, 2014. Hutter. Learning agile and dynamic motor skills for [38] Lucas Manuelli and Russ Tedrake. Localizing external legged robots. Science Robotics, 4(26):eaau5872, 2019. contact using proprioceptive sensors: The contact particle [26] Maged Iskandar, Alin Albu-Sch¨affer, and Alexander Di- filter. In 2016 IEEE/RSJ International Conference on etrich. Intrinsic sense of touch for intuitive physi- Intelligent Robots and Systems (IROS), pages 5062–5069. cal human-robot interaction. Science Robotics, 9(93): IEEE, 2016. eadn4008, 2024. [39] Jonas Osburg, Ivo Kuhlemann, Jannis Hagenah, and [27] Yifeng Jiang, Jiazheng Sun, and C Karen Liu. Data- Floris Ernst. Using deep neural networks to improve augmented contact model for rigid body simulation. In contact wrench estimation of serial robotic manipulators Learning for dynamics and control conference, pages in static tasks. Frontiers in Robotics and AI, 9:892916, 378–390. PMLR, 2022. 2022. [28] Sung-Woo Kim, Buyoun Cho, Seunghoon Shin, Jun-Ho [40] Interbotix (Trossen Robotics). PhantomX reactor Oh, Jemin Hwangbo, and Hae-Won Park. Force control robot arm (AX-12A). https://www.interbotix.com/p/ of a hydraulic actuator with a neural network inverse phantomx-ax-12-reactor-robot-arm.aspx, 2025. Ac- model. IEEE Robotics and Automation Letters, 6(2): cessed: 2025-08-12. 2814–2821, 2021. [41] ROBOTIS Co., Ltd. OpenMANIPULATOR-X: Overview [29] Masato Kobayashi, Thanpimon Buamanee, Yuki Uran- (RM-X52-TNM). https://emanual.robotis.com/docs/en/ ishi, and Haruo Takemura. ILBiT: Imitation learning platform/openmanipulator x/overview/, 2017. Accessed: for robot using position and torque information based 2025-07-12. on bilateral control with transformer. IEEJ Journal of [42] Laura Schwendeman, Andrew SaLoutos, Elijah Stanger- Industry Applications, 14(2):161–168, 2025. Jones, and Sangbae Kim. Improving domain transfer of [30] Hyeokjun Kwon, Sung-Woo Kim, and Hyun-Min Joe. robot dynamics models with geometric system identifi- Learning-based force control of twisted string actuators cation and learned friction compensation. In 2023 IEEE- using a neural network-based inverse model. IEEE RAS 22nd International Conference on Humanoid Robots Robotics and Automation Letters, 9(9):8170–8177, 2024. (Humanoids), pages 1–8. IEEE, 2023. doi: 10.1109/LRA.2024.3428909. [43] Agon Serifi, Espen Knoop, Christian Schumacher, [31] Magnus Linderoth, Andreas Stolt, Anders Robertsson, Naveen Kumar, Markus Gross, and Moritz B¨acher. and Rolf Johansson. Robotic force estimation using Transformer-based neural augmentation of robot simu- motor torques and modeling of low velocity friction dis- lation representations. IEEE Robotics and Automation turbances. In 2013 IEEE/RSJ International Conference Letters, 8(6):3748–3755, 2023. on Intelligent Robots and Systems, pages 3550–3556. [44] Mikko Tahkola, Janne Ker¨anen, Denis Sedov, IEEE, 2013. Mehrnaz Farzam Far, and Juha Kortelainen. Surrogate [32] Hongda Liu, Wentie Niu, and Yonghao Guo. Direct modeling of electrical machine torque using artificial

第 18 页

神经网络. IEEE Access, 8:220027–220045, 2020. doi: 10.1109/ACCESS.2020.3042834. [45] Emanuel Todorov, Tom Erez, 和 Yuval Tassa. MuJoCo: 一种用于基于模型的控制的物理引擎. 在 2012 IEEE/RSJ 智能机器人与系统国际会议, 第 5026–5033 页. IEEE, 2012. doi: 10.1109/IROS.2012.6386109. [46] Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, 和 David Novotny. VGGT: 视觉几何接地 Transformer. 在计算机视觉与模式识别会议论文集, 第 5294–5306 页, 2025. [47] Songyi Wang 和 Xinjian Wang. 基于微分电感理论的 PINN 非线性 PMSM 电磁模型. 应用科学, 15(13):7162, 2025. doi: 10.3390/app15137162. [48] Yufei Wang, David Held, 和 Zackory Erickson. 视觉触觉推理：通过观察可变形物体交互来估计接触力. IEEE 机器人与自动化快报, 7(4):11426–11433, 2022. [49] Jie Xu, Eric Heiden, Iretiayo Akinola, Dieter Fox, Miles Macklin, 和 Yashraj Narang. 神经机器人动力学. 在第 9 届机器人学习会议论文集, 机器学习研究论文集第 305 卷, 第 3915–3935 页. PMLR, 2025. URL https://proceedings.mlr.press/v305/xu25g.html. [50] Yu-Bai Yan, Jia-Ning Liang, Tian-Fu Sun, Jian-Ping Geng, Gang Xie, 和 Dong-Jia Pan. 基于深度学习的 PMSM 扭矩估计与控制. 在 2019 第 22 届国际电机系统与电气会议 (ICEMS). IEEE, 2019. doi: 10.1109/ICEMS.2019.8921886. [51] Andy Zeng, Shuran Song, Johnny Lee, Alberto Rodriguez, 和 Thomas Funkhouser. TossingBot: 学习使用残差物理投掷任意物体. IEEE 机器人学汇刊, 36(4):1307–1319, 2020. [52] Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, 和 Siyuan Huang. 学习腿式移动操作中的位置与力控制统一策略. 在第 9 届机器人学习会议论文集, 机器学习研究论文集第 305 卷, 第 652–669 页. PMLR, 2025.

第 19 页

附录

本附录提供了数据集详情（A节）、实现细节（B节）、视觉监督公式（C节）、架构对比（D节）、力传感分类法（E节）以及模仿学习设置（F节）。

A. 神经执行器数据集（NAD）的补充细节

a) 任务设计：我们使用双臂主从遥操作系统的收集神经执行器数据集（NAD），以捕捉广泛运动、负载和接触力矩下的执行器行为。表A15总结了任务套件，该套件分为三类。(i) 自由运动任务不包含外部接触，用于表征代表性工作空间运动下的标称执行器动力学，包括末端执行器圆形轨迹（顺时针/逆时针）、逐通道扫描（执行器通道1–5）以及脚本化运动基元（后仰/伸展、无负载的抓取放置、上升/保持静止）。(ii) 力标签任务通过两种方式引入受控的外部力矩：(a) 上升/保持静止和抓取放置的负载变体，使用特定的任务负载（100–500克）以诱导可重复的重力负载；(b) 使用配备六轴力/扭矩（F/T）传感器的外部夹具，在±X、±Y和±Z方向上进行交互试验。对于每个方向性试验，我们还记录了一个匹配的无交互对照样本，该样本执行相同的指令运动但不发生物理接触，从而实现对接触诱导效应的成对表征。(iii) 电机条件任务在标称和机械受限操作下复制抓取放置序列。我们将每个任务实例的10条轨迹按8:1:1的比例随机划分为训练集、验证集和测试集。

b) 数据采集设置：图A16说明了收集装置。我们采用主从模式进行遥操作：人类操作员驱动主臂，而从臂跟踪主臂的运动以在物理场景中执行相应的交互（图A16(a)）。为了获得力监督，目标物体安装在一个配备校准过的六轴F/T传感器的刚性夹具上（图A16(b)），该传感器测量交互力矩（Fx, Fy, Fz, τx, τy, τz）。我们仅使用三个平移力通道作为学习目标，并将它们表示在机器人基坐标系中。对于基于负载的试验，我们额外附加标准化配重（100–500克；图A16(d)）以诱导可重复的重力负载。一个固定的外部RGB相机观察工作空间并记录同步的视觉观测。所有数据流（机器人本体感觉、F/T读数、相机帧）均按轨迹进行时间戳标记和时间对齐。为了保证可复现性，我们：(i) 在每次录制会话前以及任何重新安装后对F/T传感器进行归零；(ii) 在整个会话期间保持相机姿态和传感器-物体夹具不变；(iii) 在试验中使用一致的坐标系约定，在F/T传感器框架中定义±X/±Y/±Z交互方向。

c) 机械臂：我们使用两个具有相同运动学结构的OpenManipulator-X机械臂组成主臂和从臂。每个机械臂是一个5自由度的平台（4个旋转关节+1个自由度的平行夹爪），由DYNAMIXEL XM430-W350-T电机驱动2。该电机的减速比为353.5 : 1。系统供电电压为12V，并通过TTL电平多点总线进行通信；机械臂通过OpenCR接口由PC控制。每个机械臂的 reach 为380毫米，负载能力为500克，重复精度低于0.2毫米，最大关节速度为46 RPM，夹爪行程为20–75毫米。使用两个相同的机械臂减少了演示与执行之间的运动学失配，并提高了收集轨迹的重复性。

负载标签操作（SO-101）。表A16总结了SO-101的收集情况。遵循主论文中描述的OpenManipulator-X设置的相同协议，我们在已知的负载条件下（m ∈ {0, 200, 300, 400, 500}克）收集遥操作轨迹，包含两个任务：上升并保持静止，以及抓取放置。对于10个任务-负载组合中的每一个，我们记录10条轨迹：8条用于训练，1条用于验证，1条用于测试。LeRobot日志包含1,037.7秒内的65,916帧，对应的聚合速率约为63.5 Hz。

表A15中的任务分解包含350个跨35行的OpenManipulator-X轨迹分配。两个标称电机条件行复用了已在自由运动和力标签交互下列出的20条轨迹，从而产生330个独特的OpenManipulator-X轨迹。加上跨越10个SO-101的100条轨迹，

2 https://emanual.robotis.com/docs/en/dxl/x/xm430-w350/

第 20 页

表 A15：数据集的任务组成。该数据集由自由运动、力标签和电机条件数据组成。 每个任务实例包含 10 条轨迹，随机划分为 8 条训练轨迹、1 条验证轨迹和 1 条测试轨迹。 两个标称电机条件行复用了自由运动和力标签类别中列出的轨迹。

| 类别 | 任务 | 帧数 | 持续时间 (s) | | :— | :— | :— | :— | | 自由运动<br>(无外力) | 顺时针<br>圆形轨迹 | 8615<br>8428 | 147.06<br>143.90 | | | 逆时针 | | | | | 电机 1 | 22935 | 392.04 | | | 电机 2 | 8688 | 148.47 | | | 关节扫描 | 电机 3 | 11357 | 193.95 | | | | 电机 4 | 15012 | 256.57 | | | | 电机 5 | 7338 | 125.21 | | | 后仰并前伸 | 12261 | 209.35 | | | 抓取与放置（空） | 15288 | 261.08 | | | 上升并保持静止 | 10011 | 171.14 | | 力标签<br>(带重量)<br>上升并保持静止 | 100 g | 10976 | 187.61 | | | 200 g | 10606 | 181.26 | | | 300 g | 11259 | 192.40 | | | 400 g | 11291 | 192.89 | | 力标签<br>(带重量)<br>抓取与放置 | 100 g | 12483 | 213.35 | | | 200 g | 13245 | 226.15 | | | 300 g | 13129 | 224.31 | | | 400 g | 15124 | 258.54 | | | 500 g | 13957 | 238.49 | | 力标签<br>力传感器 | +X | 5005 | 85.17 | | | +X 无交互 | 5005 | 85.21 | | | -X | 5169 | 87.94 | | | -X 无交互 | 5169 | 88.00 | | | +Y | 7444 | 126.74 | | | +Y 无交互 | 7444 | 126.78 | | | -Y | 6921 | 117.88 | | | -Y 无交互 | 6921 | 117.91 | | | +Z | 6906 | 117.59 | | | +Z 无交互 | 6906 | 117.63 | | | -Z | 5565 | 94.69 | | | -Z 无交互 | 5565 | 94.73 | | 电机条件<br>带重量 (200 g)<br>抓取与放置 | 电机受限 | 10113 | 168.26 | | | 标称电机 | 13245 | 226.15 | | 电机条件<br>空载<br>抓取与放置 | 电机受限 | 11252 | 192.41 | | | 标称电机 | 15288 | 261.08 |

表 A16：SO-101 数据集概览。

| 类别 | 任务 | 帧数 | 持续时间 (s) | | :— | :— | :— | :— | | 载荷标签 | 空载 | 6753 | 87.5 | | | 100 g | 7312 | 117.4 | | | 200 g | 7227 | 116.1 | | | 400 g | 7659 | 123.0 | | | 500 g | 7630 | 122.5 | | 载荷标签 | 空载 | 6125 | 98.4 | | | 200 g | 5300 | 85.1 | | | 300 g | 5553 | 89.2 | | | 400 g | 5725 | 92.0 | | | 500 g | 6632 | 106.5 |

101 个任务-载荷组合，完整的 NAD 包含 430 条不同的轨迹。单独的培训和评估协议使用此更广泛集合中的任务特定子集，并且所有 430 条轨迹的集合视频均可用。

B. 实现细节

a) 损失函数：我们对连续目标使用鲁棒回归损失，对分类目标使用二元交叉熵。使用特定实现的权重，公式 18 可以写为

$$ L = w_{pos}L_{pos} + w_{force}L_{force} + w_{gate}L_{gate} + w_{cond}L_{cond} + w_{vel}L_{vel} \quad (20) $$

第 21 页

仅由已知负载标签 $-mg$ 进行监督。非零力样本的权重为零力样本的 $w_{focal}$ 倍。在最终的已知权重微调阶段和 SO-101 运行中，力损失按通道进行掩码处理，以便只有有效标签参与贡献；其他运行在将缺失值哨兵转换为零后，对所有三个通道进行监督。

$L_{gate}$ 是用于接触门控的二元交叉熵损失。对于 OpenManipulator-X 电机状态任务，$L_{cond}$ 是每电机输出中关节 3 分量的二元交叉熵。该状态项仅用于电机状态任务，此时 $w_{cond} = 100$；否则 $w_{cond} = 0$。选定的 SO-101 和 Franka 运行使用有限差分关节速度进行辅助监督，在 SO-101 上 $w_{vel} = 5$，在 Franka 的训练阶段中为 5 或 10；其他情况下为零。

OpenManipulator-X 的默认权重为 $w_{pos} = 100$，$w_{grip} = 0.02$，$w_{force} = 30$，$w_{gate} = 1$，以及 $w_{focal} = 5$（力传感器运行中为 3）。SO-101 则对其五个机械臂关节和旋转夹爪使用一个等权重的六通道位姿损失。Franka 使用七个机械臂关节权重 $[1, 1, 1, 1, 1.5, 2, 1.5]$ 并重放记录的位姿控制夹爪，因此夹爪不参与学习仿真器控制代理。

(a) 自由运动 (b) 已知负载标签 (c) 机械受限 (d) 力传感器交互

图 A17：具有代表性的数据采集配置。从上到下依次展示了自由运动、负载监督、机械受限操作和基于夹具的力传感。

每个训练步骤使用时序 $t$ 的特征将仿真状态推进至 $q_{t+1}$；直接监督的力、门控和状态头与 $t+1$ 时刻的标签配对。离线力评估器则比较由 $t$ 时刻特征计算出的输出与时间戳为 $t$ 的力标签，导致训练和评估之间的标签对齐存在一个样本的差异。状态标签在每个电机状态轨迹内是恒定的。

b) 可微分仿真：训练使用最多 320 步的特定任务截断 rollout。对于主要的 OpenManipulator-X 和 SO-101 320 步运行，我们从 128 步监督开始，并将视界增加到 256，然后增加到 320。无负载运行则分别使用 128、192 和 256 步，电机状态训练保持在 128 步，而 Franka 运行使用固定的 128 步视界。仿真器对 OpenManipulator-X 使用 4 个子步，对 SO-101 使用 5 个子步，对 Franka 使用 8 个子步。对于扭矩驱动的 OpenManipulator-X 和 SO-101 仿真器，我们使用直接扭矩代理预测；在训练期间，网络输出在应用于仿真器之前会被裁剪到特定平台的广义努力边界：$\tau = \text{clip}(\tau_{net}; \tau_{min}, \tau_{max})$，其中 $\tau_{net} = g_\theta(X_t)$。

Franka 仿真器则保留原始的仿射 PD 位置执行器，动力学头提供其控制通道；因此其原始输出被视为仿真器控制代理，而不是以牛顿米 (N m) 为单位的直接扭矩估计。

报告的 OpenManipulator-X 接触和负载 rollout 使用相同的无负载机器人场景，并禁用接触动力学：未对 MJX 状态更新应用任何测量或预测的外部力、负载物体或连杆质量变化。因此，它们的广义效应可以被位姿监督代理吸收，而力标签直接监督单独的力头。

c) 优化计划：学习率遵循余弦退火计划，基础率为 $10^{-4}$（SO-101 上为 $5 \times 10^{-5}$），其衰减视界独立于

第 22 页

epoch 预算，因此扩展运行通过几何三点初始化以较小的下限速率继续，而不是重启衰减。已知权重配置在无夹爪和力细化阶段分别使用 $5 \times 10^{-5}$ 和 $5 \times 10^{-6}$ 的分阶段预热启动；SO-101 扩展配置同样从其初始运行进行微调。三个 Franka 阶段分别使用 $4 \times 10^{-5}$、$1.2 \times 10^{-5}$ 和 $10^{-5}$。训练代码同时维护原始参数和指数移动平均参数轨迹。

d) Franka 特征配置：离线 Franka 力估计实验每帧使用 52 维输入：七个关节的目标位姿；当前机械臂位置和速度；归一化的夹爪宽度和目标宽度；七个 commanded 扭矩；电机侧位置和速度；以及七个机械臂跟踪误差加一个夹爪误差。记录的 commanded 位置信号仅包含稀疏的逐步设定点序列，因此离线特征构建使用平滑的 commanded 位姿代理 $\tilde{q}_{cmd}^t = 1.03 q_{rect+5}$ 来替代目标位置通道。记录的基于位置控制的夹爪在仿真中回放。由于该离线代理是从未来记录的位置构建的，报告的 Franka 力结果构成了基于未来状态的离线基准，而非在线评估。在因果部署中，commanded 位姿通道必须接收来自外部控制器、遥操作接口或逆运动学模块在时间 $t$ 可用的命令。

e) 数据和运行时：对于无负载自由运动基准，我们在 80 条轨迹（每个任务 8 条 $\times$ 10 个任务）上进行训练，分布在无夹爪（8 个任务）和有夹爪（2 个任务）运行中，批量大小为 16（无夹爪微调阶段为 12）。在单个 NVIDIA RTX 4090 GPU 上，训练在约 1.5 小时内收敛。

C. 通过可微分渲染的视觉监督

我们使用可微分轮廓渲染来训练 NeuralActuator 以及从图像空间对齐的手眼变换。手眼校准估计从基座到相机的刚性变换 $T_{cb} \in SE(3)$，该变换将基座框架中的机器人几何形状一致地投影到图像中。遵循 EasyHeC，视觉目标比较渲染的和观察到的机器人轮廓，并通过渲染、运动学、可微分动力学和执行器模型进行反向传播。报告的 IoU 反映了联合图像空间细化；它本身并不能隔离执行器更新的贡献，也不能确立 rollout 准确性的改进。

a) 监督信号：对于每个选定的帧 $i \in I$，可获得以下量。

分割掩码。使用 SAM3 [5] 获得二进制机器人轮廓 $M_i \in \{0, 1\}^{H_{img} \times W_{img}}$。该掩码在图像平面中提供像素级轮廓监督。

相机内参。使用 VGGT 估计相机内参矩阵 $K_i \in \mathbb{R}^{3 \times 3}$，并解析地转换回原始图像坐标系。在优化过程中，相机内参被视为固定。

相机位姿初始化。从基座到相机的变换 $T_{cb}^{(0)} \in SE(3)$ 的初始估计值是通过几何三点初始化获得的。该初始化将深度提升的图像关键点与从正运动学计算的相应机器人关键点对齐，并作为可微分细化的起点。

b) 位姿参数化：我们将相机外参变换参数化在李代数中。令 $$ \xi \in \mathbb{R}^6, \quad T_{cb}(\xi) = \exp(\mathfrak{b}\xi) \in SE(3), \quad (21) $$ 其中 $\mathfrak{b}\xi \in \mathfrak{se}(3)$ 是扭转坐标的矩阵表示，$\exp(\cdot)$ 是矩阵指数。优化变量 $\xi$ 通过对 $T_{cb}^{(0)}$ 应用对数映射进行初始化。

c) 可微分执行器 rollout 和轮廓渲染：对于控制步骤 $t_i$ 处的选定帧 $i$，NeuralActuator 从输入序列 $X_{t_i}$ 预测扭矩代理（Torque Surrogate），可微分仿真产生 $s_{i}^{(l)}(\theta)$。离线实验使用与轨迹同步记录的当前序列，因此它以与第三节相同的方式记录为当前条件。我们使用模拟的关节配置，并可选地添加小的、每帧正则化修正 $\Delta q_i$： $$ q_i(\theta) = q_{sim_i}(\theta) + \Delta q_i. \quad (22) $$ 正运动学随后产生每个连杆的位姿： $$ T_{bl,i}^{(l)} = FK_l(q_i), \quad l = 1, \dots, N_{link}. \quad (23) $$ 每个连杆网格通过 $T_{cb}(\xi)T_{bl,i}^{(l)}$ 转换到相机框架，并使用可微分光栅化器渲染，产生软轮廓 $s_{i}^{(l)} \in [0, 1]^{H_{img} \times W_{img}}$。

遵循 EasyHeC，单个连杆轮廓通过饱和进行聚合： $$ \hat{M}_i = \min \left( 1, \sum_{l=1}^{N_{link}} s_{i}^{(l)} \right), \quad (24) $$ 从而产生渲染的软机器人掩码 $\hat{M}_i \in [0, 1]^{H_{img} \times W_{img}}$。

d) 轮廓对齐目标：我们最小化渲染的软轮廓 $\hat{M}_i \in [0, 1]^{H_{img} \times W_{img}}$ 与观察到的二值掩码 $M_i \in \{0, 1\}^{H_{img} \times W_{img}}$ 之间的差异： $$ L_{mask} = \frac{1}{|I|} \sum_{i \in I} \frac{1}{F} \sum_{u,v} \left| \hat{M}_i(u, v) – M_i(u, v) \right|^2. \quad (25) $$

e) 相机和 NeuralActuator 的联合视觉优化：在报告的视觉训练实验中，我们联合优化 NeuralActuator 参数、相机外参以及可选的每帧状态修正。小的每帧状态修正吸收残余同步、传感和几何误差，并进行二次正则化： $$ L_{qreg} = \lambda_q \cdot \frac{1}{|I|} \sum_{i \in I} \| \Delta q_i \|_2^2. \quad (26) $$

第 23 页

图 A18：通过可微渲染进行视觉细化。行显示两种机器人配置。列显示初始对齐、第 239 次迭代过程中的代表性优化快照以及观察到的分割掩码。红色表示渲染的机器人轮廓；蓝色表示观察到的掩码。完整的优化包含 1,845 次梯度步（表 A18）。

表 A17：真实世界数据上的轮廓对齐精度（IoU）。

$$ L_{\text{visual}} = L_{\text{mask}} + L_{q\text{reg}}. \quad (27) $$

将视觉项与第 III 节中的轨迹损失相结合，我们求解：

$$ \min_{\theta, \xi, \{\Delta q_i\}} L_{\text{traj}} + \lambda_{\text{visual}} L_{\text{visual}}. \quad (28) $$

我们在训练序列上选择正权重 $\lambda_q$ 和 $\lambda_{\text{visual}}}$ 以平衡轨迹保真度、轮廓对齐以及状态校正的大小，然后对所有报告的帧保持它们固定。因此，来自 $L_{\text{mask}}$ 的梯度通过链 $M_i \to F_K \to q_{\text{sim}_i} \to \text{DiffSim} \to g_\theta$ 传播到 $\theta$。由于相机外参和 $\Delta q_i$ 是联合优化的，轮廓 IoU 衡量的是联合细化效果，而不是执行器更新的孤立消融实验。

f) 优化细节：我们使用一阶梯度优化 $\theta$、$\xi$ 和变分状态校正，使用梯度裁剪以保证数值稳定性，并保留损失最低的解。

g) 精度指标：我们通过渲染的软掩码 $\hat{M}_i$ 与观察到的二值掩码 $M_i$ 之间的软交并比（IoU）来评估校准质量：

$$ \text{IoU}_{\text{soft}} = \frac{1}{|I|} \sum_{i \in I} \frac{\sum_{u,v} M_i(u, v) \hat{M}_i(u, v)}{D_i}, \quad (29) $$

$$ D_i = \sum_{u,v} \left[ M_i(u, v) + \hat{M}_i(u, v) – M_i(u, v) \hat{M}_i(u, v) \right]. $$

h) 定量和定性结果：我们报告了在单个真实世界视频序列上联合相机-执行器细化的轮廓对齐精度和运行时统计信息。所有测量均在单个 NVIDIA A6000 GPU 上进行。评估使用了从单个视频中采样的六张图像；这些帧故意选取为非连续帧，并对应于显著不同的机器人配置，从而为校准提供了几何约束多样性。在表 A17 中，OptRobot 表示优化的机器人侧变量：NeuralActuator 参数 $\theta$ 以及（当启用时）正则化状态校正 $\{\Delta q_i\}$。Robot refinement 行保持相机固定，而 Joint refinement 还优化相机外参 $\xi$。表 A17 总结了轮廓对齐精度，而表 A18 报告了相应的运行时统计信息。图 A18 提供了不同优化阶段的联合细化过程的定性可视化。

D. 网络架构比较

为了在控制容量的同时隔离架构的影响，我们比较了参数预算约为 140 万的模型。隐藏层宽度和层数经过调整，使 MLP、GRU、LSTM 和 Transformer 变体的参数量保持在 Transformer 参数量的 25% 以内（表 A19）。所有模型使用相同的训练数据、目标定义、损失权重、增强方法和评估协议。除非下文另有说明，它们还使用 16 的批量大小、权重衰减为 $10^{-4}$ 的 AdamW 优化器以及 0.1 的丢弃率。每个输入包含八个历史样本，以及

第 24 页

表 A19：消融研究的神经架构配置。所有模型均使用相同的损失权重、数据增强和早停标准进行训练。参数量与 Transformer 基线相比在 25% 以内匹配。

| Model | Hidden | Latent | Params | LR | Grad Clip | | :— | :— | :— | :— | :— | :— | | MLP | 416 | 208 | 1.14M | $3 \times 10^{-5}$ | 0.3 | | GRU | 325 | 162 | 1.43M | $1 \times 10^{-4}$ | 1.0 | | LSTM | 275 | 137 | 1.44M | $1 \times 10^{-4}$ | 1.0 | | Ours | 192 | 96 | 1.44M | $1 \times 10^{-4}$ | 1.0 |

图 A19：高层控制任务中使用的负载。

当前样本，所有样本均以约 58.8 Hz 的频率采样。MLP 使用较低的学习率（$3 \times 10^{-5}$）和更严格的梯度裁剪（0.3），因为较大的设置在可微分仿真（Differentiable Simulation） rollout 期间不稳定。NeuralActuator 使用四个自注意力层、四个头、隐藏维度 192、前馈维度 384、平均池化以及查询依赖的门控注意力。其编码器前馈块使用 GELU，而输出头使用 SiLU，这与我们在实验中使用的实现相匹配。

E. 机器人力感知方法分类

表 A20 总结了具有代表性的机器人力感知和接触推断方法，按传感信号分类，并根据是否显式估计力的大小进行分组。经典的无传感器碰撞监测从残差/动量观测器推断外部力矩，主要支持接触检测 [10, 11, 17]。最近的内在和全身触觉方法利用关节力矩和位置传感，而基于学习的力感知策略涵盖了低成本双控机械臂和无力传感器的全身机器人 [26, 14, 29, 52]。对于机械臂，虚拟力传感、接触定位以及基于观测器/滤波器的方法可以估计交互力或定位接触，通常使用力矩反馈、指令力矩或校准动力学 [37, 38, 23, 33, 18, 31, 39]。视觉线索可以估计接触力的位置和大小，而惯性辅助的本体感知方法则改善了碰撞监测 [48, 2]。相比之下，NeuralActuator 通过从执行遥测数据中学习仿真器等效广义努力（Torque Surrogate），并在没有专用力矩传感器的情况下联合预测外部力，从而在低成本舵机上实现力的大小估计。

F. 模仿学习

我们通过行为克隆（Behavior Cloning）比较了两种训练高层控制器的方法。对于仅位置基线，单步观测为 $o_{\text{post}} = [q_{1:4}, t, a_t]^\top \in \mathbb{R}^5$。策略接收八步历史 $O_{\text{post}} = (o_{\text{post}-7}, \dots, o_{\text{post}}) \in \mathbb{R}^{40}$ 并最小化 $L_{\text{BC}} = \|\pi_\psi(O_{\text{post}}) – g^*_t\|^2_2$，其中 $g^*_t \in \mathbb{R}^5$ 是四个机械臂关节和夹爪开度的演示命令。我们的力感知控制器通过预训练的 NeuralActuator 预测的估计末端执行器外力 $\hat{f}_t$ 增强输入，给出 $o_{\text{force}} = [q_{1:4}, t, a_t, \hat{f}_t]^\top \in \mathbb{R}^8$ 以及相应的八步历史 $O_{\text{force}} \in \mathbb{R}^{64}$，这取代了相同 BC 目标中的 $O_{\text{post}}$。NeuralActuator 在整个负载集 $\{100, 200, 300, 400, 500\}$ g 上训练一次，并在策略学习过程中保持冻结。BC 策略的演示还包括抓取和放置评估中使用的 500 g 条件。因此，下游协议评估预训练期间表示的负载范围内的任务级迁移。对于离线力分析，我们在每个演示对齐的 rollout 上计算轨迹级统计量：

$$ R_f = \frac{1}{T_r} \sum_{k=0}^{T_r-1} \|\hat{f}_{t+k}\|^2_2. \quad (30) $$

图 A20：仅位置行为克隆中的当前过载。高层执行期间的代表性电机电流轨迹。仅位置基线表现出超过 1200 mA 安全限制的过电流尖峰，这会触发板载保护并终止 rollout。

这里，$T_r$ 是 rollout 长度。这些离线 rollout 重新

第 25 页

在每一步中播放对应演示中测得的同步电流。由于 NeuralActuator 并不预测由反事实策略动作所产生的电流，因此 Rf 是一种诊断性指标，而非额外的策略训练损失；策略通过 LBC 进行优化。在硬件执行过程中，ˆft 会根据截至时间 t 可用的遥测数据（包括实时电流 it）因果地重新计算。两种方法均使用相同的 Transformer 策略（4 层，隐藏维度 128，4 个注意力头），并在相同的演示数据上训练 5,000 个 epoch。在策略训练阶段，我们使用载荷 {100, 200, 300, 500} g，且夹爪接触点高度大致匹配；在评估阶段，使用 400 g 和 500 g 的载荷。仅基于位置的基线方法会产生超过 1200 mA 安全阈值的电流尖峰，从而触发机载保护机制并提前终止执行（图 A20）。

第 26 页

方向 相关工作 信号 力的大小 典型运行模式

仿真/ 残差/动量碰撞监测 [10, 11, 17] q, ˙q, τc / TS 部分 力矩传感机器人

基于本体感觉的全身/内在触觉 [26, 14] TS + q 部分 高端（具备力矩能力）

基于学习的力感知策略 [29, 52] ILBiT: q, ˙q, ˆτ; 部分/是 低成本机械臂/足式机器人 Zhi: 状态 历史

具备力矩能力/ 机械臂接触定位/虚拟力传感 [37, 38] Magrini: 是/部分 校准动力学 RGB-D + q, ˙q, τ; Manuelli: q, ˙q, τ

用于无传感器力估计的观测器/滤波器 [23, 33, 18, 31, 39] q, ˙q + TS / 是 工业/混合 I →τ

视觉: [48] 混合 视觉与惯性辅助的力/接触推断 Wang: 视觉 是/部分 IMU: [2] （取决于可观测性） + q, ˙q; Birjandi: IMU + q

NeuralActuator (本文) 本文 遥测数据 是 低成本（伺服驱动） + q, ˙q

表 A20: 机器人力传感与接触推断的分类体系。信号：TS = 力矩传感；I →τ = 从电流/努力量推断的力矩；˜τ = 仿真器等效广义努力（扭矩代理）；q, ˙q = 运动学；τc = 指令力矩；ˆτ = 估计力矩；Vision = 外感知；IMU = 惯性传感。力的大小：是 = 显式力/力矩大小；部分 = 主要为检测/定位或残差信号。NeuralActuator 从执行器遥测数据预测 ˜τ，并在没有专用力矩传感器的情况下估计低成本伺服电机上的外力；扭矩代理头与力头是并行输出，且 ˜τ 不是力头的输入。

图 A21: 高层抓取与放置任务的定性结果。时间推移快照（从左到右）展示了机器人在不同负载下抓取、提升、运输和放置物体的过程。从上到下，我们分别评估了 400 克、500 克以及不同形状的 500 克重物。