据 IT 之家报道,蚂蚁集团(Ant Group)旗下具身 AI 公司 Robbyant 于 11 月 10 日开源 LingBot-Touch,这是一个以近 5,000 小时真实触觉数据预训练的触觉基础模型,旨在为机器人提供跨传感器的统一触觉表示。LingBot-Touch 整合磁性、视觉触觉与压阻三种传感原理。
LingBot-Touch 核心架构:独立输入标记器加共享 Transformer
据官方技术说明,LingBot-Touch 旨在解决触觉传感器原始信号不兼容的问题——不同传感器收集的触觉数据难以相互迁移。模型为磁性、视觉触觉与压阻三种传感器各配备独立的输入标记器,并将这些标记器的输出送入一个共享 Transformer 模型,将接触点映射至通用指尖坐标空间,输出可供不同动作模型使用的统一触觉标记。
训练目标函数采用 JEPA 风格,基于时空触觉上下文预测潜在表示;训练数据同时来自人类佩戴的触觉手套及远程操控的灵巧手。Tiny 版本参数量约 500 万,Small 版本性能随预训练数据量接近 5,000 小时持续提升。
26 项任务基准测试:T-Rex 拧瓶盖成功率从 56.25% 升至 90%
据 Robbyant 公司自身测试数据,全部 26 项任务均使用 Tiny 版本完成,测试硬件为 Sharpa Wave 与 XHand 两款灵巧机械手,涵盖翻页、拧瓶盖及识别麻将牌等真实场景。以 T-Rex 动作模型在 Sharpa Wave 执行拧瓶盖任务为例,三种输入条件下的成功率对比如下:
无触觉输入:成功率 56.25%
添加原始传感器信号:成功率 62.5%
添加 LingBot-Touch 表示:成功率 90%
据报道,四个动作模型(LingBot-VLA、π0.5、Diffusion Policy、T-Rex)添加 LingBot-Touch 表示后,平均任务成功率相比无触觉输入版本提升约 14 至 26 个百分点。Robbyant 强调,上述结果均为公司自身实验数据,尚未公布独立第三方复现结果。
跨硬件迁移测试与厂商中立定位:XHand 编码器冻结测试
据官方说明,为测试跨硬件迁移能力,研究团队将编码器冻结后应用于 XHand 灵巧手——XHand 的磁性传感器型号并不在预训练数据中,其磁触觉知识完全来自人手手套数据;动作模型仅使用 XHand 自身演示数据训练。此设计验证了 LingBot-Touch 在传感器型号超出预训练范围时的迁移能力。Robbyant 将 LingBot-Touch 定位为触觉传感器与动作模型之间的厂商中立层,而非与 LingBot-VLA 绑定的专属模块,使硬件制造商可依成本选择传感器,系统团队可保持自己的动作策略。
据官方 GitHub 页面,目前公开版本为推理版本,包含冻结的编码器及用于提取触觉特征的实用工具;完整训练代码尚未公布。
常见问题
Robbyant LingBot-Touch 于 2026 年 11 月 10 日开源的触觉基础模型,整合三种传感原理的架构设计为何?
据官方技术说明,LingBot-Touch 为磁性、视觉触觉与压阻三种传感器各配备独立输入标记器,并将输出送入一个共享 Transformer 模型,映射至通用指尖坐标空间;预训练数据近 5,000 小时,训练目标采用 JEPA 风格目标函数,训练数据来源包含人类佩戴触觉手套及远程操控灵巧手。
LingBot-Touch 在 26 项真实机器人任务中的具体测试结果,及四大动作模型的成功率提升范围为何?
据 Robbyant 自身测试数据,添加 LingBot-Touch 表示后,LingBot-VLA、π0.5、Diffusion Policy 及 T-Rex 四个动作模型的平均任务成功率相比无触觉输入版本提升约 14 至 26 个百分点;以 T-Rex 在 Sharpa Wave 执行拧瓶盖任务为例,成功率从无触觉输入时的 56.25% 升至 90%。所有结果均为 Robbyant 公司自身实验数据,尚未公布独立复现结果。
LingBot-Touch 的跨硬件迁移测试设计,及目前 GitHub 开源版本的发布范围为何?
据官方说明,跨硬件迁移测试将编码器冻结后应用于预训练数据范围外的 XHand 磁性传感器型号,磁触觉知识完全来自人手手套数据,动作模型仅以 XHand 演示数据训练。目前 GitHub 公开版本为推理版本,包含冻结编码器及触觉特征提取实用工具;完整训练代码尚未公布,模型以 Apache 2.0 许可发布,Tiny 与 Small 版本在 Hugging Face 和 ModelScope 设有检查点。