蚂蚁开源机器人“手感”底座

11 月 10 日，蚂蚁灵波正式开源触觉基础模型 LingBot-Touch，试图解决机器人领域一个长期存在、却远未标准化的问题：如何让不同传感器采集到的“手感”，变成动作模型能够复用的统一表示。

**LingBot-Touch 是一个面向机器人灵巧操作的自监督触觉编码器。**它基于 4983 小时真实触觉记录、约 46.4 万段交互数据和 13.3 亿帧信号预训练，覆盖磁触觉、压阻式和视触觉三类主流传感原理。模型并不直接决定机械手下一步怎么动，而是位于触觉传感器和动作模型之间，把异构信号转换成统一的触觉 Token。(technology.robbyant.com)

蚂蚁灵波同时放出了推理代码、技术报告以及 Tiny、Small 两档模型权重，采用 Apache 2.0 许可证。当前开放内容更接近一个可接入现有机器人系统的“触觉骨干网络”，而不是包含数据、训练配方、动作策略和硬件标定工具在内的一站式产品。GitHub 仓库提供传感器适配器、样例数据和特征提取代码，Hugging Face则提供冻结编码器权重。(github.com)

机器人看得很清楚，为什么还是拧不开瓶盖？

**视觉无法稳定回答接触发生之后的物理问题。**摄像头和深度传感器可以告诉机器人瓶盖在哪里、手指应该移动到哪里，却很难判断瓶盖究竟已经松动，还是指腹正在沿着盖壁打滑。

**触觉是机器人在接触阶段判断受力、滑移和形变的主要反馈。**拧瓶盖、翻书页、按压喷头、拉开密封袋和拔出存储卡等任务，都存在大量被手指或物体自身遮挡的状态；这些状态在图像里可能几乎相同，但要求机器人采取完全不同的动作。

以拧瓶盖为例，机器人在画面中看到的可能始终是一只手按在瓶盖上。只有指尖的压力变化能够区分“瓶盖正在转动”“手指空转”和“力量过大可能捏坏物体”三种状态。视觉更像站在场外看比赛，触觉则是运动员自己感受到的阻力。

**LingBot-Touch 的价值不在于首次给机器人加入触觉，而在于尝试把触觉变成一种标准化基础能力。**过去的触觉系统往往与特定传感器、特定机械手和特定任务绑定，更换一套硬件后，数据格式、触点布局、信号范围和模型接口可能全部需要重做。

统一触觉表征，才是这次开源的核心

**统一触觉表征是指把不同传感原理产生的信号映射到同一个可比较、可复用的特征空间。**LingBot-Touch 为磁触觉、压阻式和视触觉分别设置输入 Tokenizer，再将不同数量、不同布局的触点映射到标准化指尖坐标，最终交给共享的 Haptic Transformer 建模。

| 触觉类型 | 原始信号特征 | 常见优势 | 直接复用的难点 | |---|---|---|---| | 磁触觉 | 三轴磁场或形变量 | 响应快，可表达方向和剪切力 | 坐标轴、磁体布局和量程差异大 | | 压阻式 | 单点压力标量 | 结构简单，成本和集成门槛较低 | 空间分辨率有限，不同阵列布局难对齐 | | 视触觉 | 接触面形变或强度信息 | 空间信息丰富，容易观察接触区域 | 数据量大，传感器结构和成像方式差异明显 |

**标准化指尖坐标相当于给不同触觉硬件建立一张共同的地图。**无论某个传感器有 32 个、96 个还是 200 个触点，模型不仅接收触觉数值，还接收每个触点对应的时间、手指和空间位置，让共享 Transformer 学习“食指某处正在持续受压”这类物理含义，而不是死记某个数组下标的数值。

这种设计让 LingBot-Touch 输出的每个 Token 都保留时间、手指和三维空间地址。官方因此建议下游模型通过 Cross-Attention 查询全部触觉 Token，而不是简单做平均池化；原因是经过自注意力计算后，一个 Token 已经融合了其他触点和历史时间步的信息，不再等同于单一传感器读数。(github.com)

**跨传感器复用真正降低的是机器人的数据迁移成本。**研究团队在 XHand 上使用了一款没有出现在预训练数据中的磁触觉传感器，而预训练阶段的磁触觉经验主要来自人类佩戴触觉手套采集的数据。迁移时，团队冻结 LingBot-Touch，只用 XHand 的操作示范训练动作模型，LingBot-VLA 的平均成功率从 57.21% 提升到 75.04%。(ithome.com)

这组实验比“同一机械手上多跑几个任务”更有说服力。它说明模型学习到的可能不只是某种传感器的统计规律，而是接触位置、压力变化和滑移趋势等更抽象的物理结构。

不重建原始信号，而是预测隐藏的接触语义

**JEPA 是一种通过预测隐藏区域的潜在表示来学习数据结构的自监督方法。**LingBot-Touch 没有要求模型逐点还原被遮挡的传感器原始信号，而是让上下文编码器根据可见触觉片段，预测被遮挡区域在特征空间中的表示。

**潜在表示预测比原始信号重建更适合稀疏触觉数据。**机器人在一次操作中，大量触点在多数时间里没有接触物体，其原始数值长期接近零；采用 MAE 或 VAE 一类重建目标时，模型只要准确输出大量“零背景”，就可能获得较低损失，却没有真正学会接触和滑移。

技术报告给出的触觉到视频检索实验显示，随着数据规模扩大，JEPA 路线与重建路线的差距迅速拉开：

| 预训练数据量 | LingBot-Touch / JEPA Top-5 Recall | MAE | VAE | |---|---:|---:|---:| | 1000 小时 | 32.1% | 5.6% | 4.4% | | 4000 小时 | 49.3% | 低于 9% | 3.1% |

**这组结果意味着扩大数据规模的前提，是训练目标必须迫使模型关注真正的信息。**VAE 在数据从 1000 小时增加到 4000 小时后，指标反而下降至 3.1%；JEPA 则提升到 49.3%，说明它更能从新增触觉记录中提取接触语义，而不是被海量静止背景淹没。相关实验可在技术报告与社区讨论中查看。(reddit.com)

真机成功率提升，明显高于直接塞入原始信号

**LingBot-Touch 在 26 项真实机器人任务中的主要结论，是经过预训练的触觉表征明显优于没有触觉，也普遍优于直接输入原始信号。**这些任务运行在 Sharpa Wave 和 XHand 两款灵巧手上，覆盖拧瓶盖、翻书、麻将牌识别、喷头按压、SD 卡弹出和密封袋操作等接触密集型场景。

研究团队将冻结的 LingBot-Touch 接入 LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex 四类动作模型。与纯视觉或原始动作模型相比，四种模型的平均任务成功率提高约 14 至 26 个百分点；在 26 个任务与 4 种动作模型组成的 104 个组合中，LingBot-Touch 方案在 89 个组合里取得最佳结果。(ithome.com)

| T-Rex 控制 Sharpa Wave 拧瓶盖 | 成功率 | 相对无触觉变化 | |---|---:|---:| | 不使用触觉 | 56.25% | — | | 直接输入原始触觉信号 | 62.5% | +6.25 个百分点 | | 接入 LingBot-Touch 表征 | 90% | +33.75 个百分点 |

**拧瓶盖从 56.25% 提升到 90%，说明“有没有触觉”和“能不能理解触觉”是两件不同的事。**直接加入原始传感器数据只提升了 6.25 个百分点，而预训练表征带来了 33.75 个百分点的提升；后者不仅提供压力数值，还把时间变化、触点位置和跨手指关系编码成动作模型更容易消费的信息。(ithome.com)

不过，这些结果仍主要来自蚂蚁灵波自己的任务集、硬件组合和后训练流程。当前尚缺少与其他开放触觉模型在完全相同的数据、硬件和动作策略下进行的大规模第三方对比，因此 LingBot-Touch 可以被视为一个很强的工程验证，但还不能据此宣布触觉基础模型路线已经收敛。

546 万参数，但接入并不等于零成本

**LingBot-Touch-Tiny 是一个约 546 万参数的轻量触觉编码器。**26 项真机实验全部使用 Tiny 版本完成，把它接入 LingBot-VLA、π0.5 和 T-Rex 后，整体模型参数量只增加约 0.13% 至 0.16%，参数开销相对于大型动作模型几乎可以忽略。(technology.robbyant.com)

| 版本 | 定位 | 当前公开内容 | 更适合的场景 | |---|---|---|---| | LingBot-Touch-Tiny | 低延迟、轻量接入 | 冻结编码器权重与配置 | 真机高频控制、端侧部署、快速验证 | | LingBot-Touch-Small | 更高表征容量 | 冻结编码器权重与配置 | 离线感知实验、追求更高上限的任务 |

**模型参数少不代表系统集成简单。**新的触觉硬件仍需正确处理左右手映射、触点顺序、三维坐标、信号范围和采样密度；官方文档特别提醒，张量形状相同并不意味着传感器语义已经对齐。

以官方接口为例，编码器接收形状为 B×T×5×M×3 的归一化输入，其中 5 对应拇指、食指、中指、无名指和小指，M 是每根手指的触点数量。磁触觉可以直接使用三轴数据，压阻式和视触觉的标量信号则放入 Z 通道，X、Y 置零；测量范围还要统一到规定区间。(huggingface.co)

**LingBot-Touch 当前最大的工程门槛不是 GPU，而是传感器标定。**如果触点坐标、量程或左右手方向处理错误，模型接收到的就相当于一张经纬度错乱的地图；即使程序能够正常运行，输出特征也可能没有实际意义。

这次开源有什么用，又缺了什么？

**LingBot-Touch 对已有灵巧手和动作模型团队最有价值。**团队不必替换 LingBot-VLA，也不必购买某一种指定传感器，只需要将传感器数据适配到统一接口，再把触觉 Token 通过注意力机制接入现有策略网络。

**LingBot-Touch 对纯软件开发者的即时价值相对有限。**触觉基础模型无法像语言模型或视觉模型那样仅靠公开图片和文本完成验证，真正评估它仍需要灵巧手、触觉传感器、遥操作数据和重复真机实验。

**这次发布也不是完整训练栈开源。**Hugging Face 模型卡明确说明，公开仓库提供冻结的目标编码器、配置文件和推理实现，但不包含训练配置、训练日志、优化器状态、完整预训练数据、预测器以及下游任务头。开发者可以提取特征并验证接入效果，却暂时难以完整复现 4983 小时预训练过程。(huggingface.co)

这并不削弱此次发布的现实意义。机器人触觉长期卡在硬件碎片化和数据无法复用上，而 LingBot-Touch 至少给出了一个可运行的共同接口，并用两种灵巧手、三类传感器和四种动作模型证明统一表征并非只存在于论文图表中。

判断：触觉正在成为具身智能的新预训练入口

**LingBot-Touch 最值得关注的信号，是具身智能的预训练范围开始从图像和动作扩展到真实接触数据。**过去几年，机器人基础模型主要比拼视觉数据量、动作数据量和跨本体能力，但视觉只能记录物体如何移动，触觉则直接记录力如何作用于物体。

**机器人一旦进入家庭和工业精细操作场景，触觉的重要性会超过单纯扩大视觉模型。**擦桌子、整理衣物、安装零件、拿取易碎物、插拔接口和使用工具等任务，失败往往不是因为机器人没看见目标，而是因为它不知道自己是否碰到了、是否抓稳了、是否正在打滑。

**LingBot-Touch 目前更像机器人领域的早期视觉骨干网络，而不是完整的“触觉大脑”。**它负责把原始信号转成通用特征，但最终效果仍取决于动作模型能否及时读取这些特征、训练数据是否包含失败和恢复过程，以及控制频率能否跟上触觉变化。

下一阶段真正值得观察的不是模型参数继续变大，而是三个更具体的问题：统一触觉表征能否迁移到更多厂商的传感器；能否在不重新采集大量示范的情况下提升旧机器人；以及触觉预训练能否让机器人学会主动试探，而不是只有发生接触后才被动反应。

如果这三个问题得到肯定答案，机器人行业积累的数据资产将不再被单一硬件锁死。那时，LingBot-Touch 所代表的就不只是一款新模型，而是一种让“手感”像视觉特征一样被长期积累和复用的基础设施。

参考来源

• 蚂蚁灵波 LingBot-Touch 触觉基础模型开源：发布信息、26 项真机测试以及瓶盖操作成功率数据。
• LingBot-Touch GitHub 仓库：官方推理代码、数据接口说明、样例数据和 Apache 2.0 许可证。
• LingBot-Touch 技术报告：模型架构、预训练方法和实验设计。
• LingBot-Touch-Tiny 模型权重：Tiny 版本权重、输入输出格式及开放范围说明。
• LingBot-Touch-Small 模型权重：Small 版本权重与模型配置。
• Reddit 论文讨论：JEPA、MAE、VAE 对比数据及跨硬件实验结果整理。