Robbyant 开源 LingBot-Touch 触觉模型,T-Rex 拧瓶盖任务成功率升至 90%

关键要点

  • Robbyant于11月10日开源LingBot-Touch触觉基础模型,预训练数据近5,000小时,整合磁感应、视觉触觉和压阻三种传感原理。
  • 据Robbyant自身测试数据,T-Rex在Sharpa Wave上执行拧瓶盖任务的成功率达90%,相比无触觉版本的56.25%提升33.75个百分点。
  • LingBot-Touch推理版本已在GitHub发布,包含冻结编码器与触觉特征提取工具;Tiny与Small版本在Hugging Face和ModelScope上设有模型检查点。

据 IT 之家报道,蚂蚁集团(Ant Group)旗下具身 AI 公司 Robbyant 于 11 月 10 日开源 LingBot-Touch,这是一个以近 5,000 小时真实触觉数据预训练的触觉基础模型,旨在为机器人提供跨传感器的统一触觉表示。LingBot-Touch 整合磁性、视觉触觉与压阻三种传感原理。

LingBot-Touch 核心架构:独立输入标记器加共享 Transformer

据官方技术说明,LingBot-Touch 旨在解决触觉传感器原始信号不兼容的问题——不同传感器收集的触觉数据难以相互迁移。模型为磁性、视觉触觉与压阻三种传感器各配备独立的输入标记器,并将这些标记器的输出送入一个共享 Transformer 模型,将接触点映射至通用指尖坐标空间,输出可供不同动作模型使用的统一触觉标记。

训练目标函数采用 JEPA 风格,基于时空触觉上下文预测潜在表示;训练数据同时来自人类佩戴的触觉手套及远程操控的灵巧手。Tiny 版本参数量约 500 万,Small 版本性能随预训练数据量接近 5,000 小时持续提升。

26 项任务基准测试:T-Rex 拧瓶盖成功率从 56.25% 升至 90%

据 Robbyant 公司自身测试数据,全部 26 项任务均使用 Tiny 版本完成,测试硬件为 Sharpa Wave 与 XHand 两款灵巧机械手,涵盖翻页、拧瓶盖及识别麻将牌等真实场景。以 T-Rex 动作模型在 Sharpa Wave 执行拧瓶盖任务为例,三种输入条件下的成功率对比如下:

无触觉输入:成功率 56.25%

添加原始传感器信号:成功率 62.5%

添加 LingBot-Touch 表示:成功率 90%

据报道,四个动作模型(LingBot-VLA、π0.5、Diffusion Policy、T-Rex)添加 LingBot-Touch 表示后,平均任务成功率相比无触觉输入版本提升约 14 至 26 个百分点。Robbyant 强调,上述结果均为公司自身实验数据,尚未公布独立第三方复现结果。

跨硬件迁移测试与厂商中立定位:XHand 编码器冻结测试

据官方说明,为测试跨硬件迁移能力,研究团队将编码器冻结后应用于 XHand 灵巧手——XHand 的磁性传感器型号并不在预训练数据中,其磁触觉知识完全来自人手手套数据;动作模型仅使用 XHand 自身演示数据训练。此设计验证了 LingBot-Touch 在传感器型号超出预训练范围时的迁移能力。Robbyant 将 LingBot-Touch 定位为触觉传感器与动作模型之间的厂商中立层,而非与 LingBot-VLA 绑定的专属模块,使硬件制造商可依成本选择传感器,系统团队可保持自己的动作策略。

据官方 GitHub 页面,目前公开版本为推理版本,包含冻结的编码器及用于提取触觉特征的实用工具;完整训练代码尚未公布。

常见问题

Robbyant LingBot-Touch 于 2026 年 11 月 10 日开源的触觉基础模型,整合三种传感原理的架构设计为何?

据官方技术说明,LingBot-Touch 为磁性、视觉触觉与压阻三种传感器各配备独立输入标记器,并将输出送入一个共享 Transformer 模型,映射至通用指尖坐标空间;预训练数据近 5,000 小时,训练目标采用 JEPA 风格目标函数,训练数据来源包含人类佩戴触觉手套及远程操控灵巧手。

LingBot-Touch 在 26 项真实机器人任务中的具体测试结果,及四大动作模型的成功率提升范围为何?

据 Robbyant 自身测试数据,添加 LingBot-Touch 表示后,LingBot-VLA、π0.5、Diffusion Policy 及 T-Rex 四个动作模型的平均任务成功率相比无触觉输入版本提升约 14 至 26 个百分点;以 T-Rex 在 Sharpa Wave 执行拧瓶盖任务为例,成功率从无触觉输入时的 56.25% 升至 90%。所有结果均为 Robbyant 公司自身实验数据,尚未公布独立复现结果。

LingBot-Touch 的跨硬件迁移测试设计,及目前 GitHub 开源版本的发布范围为何?

据官方说明,跨硬件迁移测试将编码器冻结后应用于预训练数据范围外的 XHand 磁性传感器型号,磁触觉知识完全来自人手手套数据,动作模型仅以 XHand 演示数据训练。目前 GitHub 公开版本为推理版本,包含冻结编码器及触觉特征提取实用工具;完整训练代码尚未公布,模型以 Apache 2.0 许可发布,Tiny 与 Small 版本在 Hugging Face 和 ModelScope 设有检查点。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论