您的位置:首页 >资讯>中华武术

仅用7500条轨迹数据训练,CMU、Meta就让机器人「上得厅堂、下得厨房」

2023-08-23 01:32:42 来源:机器之心 收藏

仅在 7500 条轨迹数据上进行训练,能够在 38 个任务中展示 12 种多样的操作技能,不仅限于拾取 / 推动,还包括关节对象操纵和物体重新定位,并能将这些技能推广应用于数百个不同的未知情境(未知物体、未知任务,甚至完全未知的厨房环境),这样的机器人够不够酷?


(资料图片)

几十年来,创造一个能够在不同环境中操纵任意物体的机器人一直是一个遥不可及的目标。一部分原因是,缺乏多样化的机器人数据集,无法训练这样的智能体,同时也缺乏能够生成此类数据集的通用智能体。

为了突破这一困境,来自 CMU、Meta AI 的作者历时两年开发了一个通用的 RoboAgent。他们将重点放在开发一种高效的范例上,能够在实际数据有限的情况下训练一个能够获得多种技能的通用智能体,并将这些技能推广应用于多样的未知情境。

RoboAgent 由以下模块化构成 :

RoboPen - 一个采用通用硬件构建的分布式机器人基础设施,能够长期不间断运行;RoboHive - 一个统一的框架,用于在模拟和真实世界操作中进行机器人学习;RoboSet - 一个高质量的数据集,代表了各种场景中使用日常物品的多种技能;MT-ACT - 一种高效的语言条件多任务离线模仿学习框架,通过在现有机器人经验的基础上创建多样的语义增强集合,从而扩大了离线数据集,并采用了一种新颖的策略架构和高效的动作表示方法,在有限的数据预算下恢复出性能良好的策略。RoboSet:多技能、多任务、多模态数据集

构建一个能够在许多不同情境下推广的机器人智能体,首先需要一个具有广泛覆盖范围的数据集。鉴于扩大规模的努力通常会有所帮助(例如,RT-1 展示了约 130,000 条机器人轨迹的结果),因此需要在数据集有限的情况下理解学习系统的效率和泛化原则,低数据情境往往会导致过拟合。因此,作者的主要目标是开发一种强大的范例,可以在低数据情境下学习可推广的通用策略,同时避免过拟合问题。

机器人学习中的技能与数据全景。

用于训练 RoboAgent 的数据集 RoboSet(MT-ACT)仅包括 7,500 条轨迹(比 RT-1 的数据少 18 倍)。该数据集提前收集并保持冻结状态。该数据集由在多个任务和场景中使用商品机器人硬件(Franka-Emika 机器人配备 Robotiq 夹具)进行人类遥操作收集的高质量轨迹组成。RoboSet(MT-ACT)在几个不同的情境下稀疏地涵盖了 12 种独特技能。数据通过将日常厨房活动(如泡茶、烘焙)分为不同的子任务来收集,每个子任务代表一个独特的技能。数据集包括常见的拾取 - 放置技能,还包括接触丰富的技能,如擦拭、盖盖子,以及涉及关节物体的技能。

MT-ACT:多任务动作分块 Transformer

RoboAgent 基于两个关键洞察在低数据情境下学习通用策略。它利用基础模型的世界先验知识以避免模式崩溃,并采用了一种新颖的高效策略表示,能够摄取高度多模态的数据。

1、语义增强:RoboAgent 通过对 RoboSet(MT-ACT)进行语义增强,将来自现有基础模型的世界先验知识注入其中。由此产生的数据集将机器人的经验与世界先验知识相结合,而无需额外的人力 / 机器人成本。使用 SAM 对目标物体进行分割,并在形状、颜色、纹理变化方面对其进行语义增强。

2、高效策略表示:由此产生的数据集是严重多模态的,包含丰富多样的技能、任务和情景。将动作分块方法适应于多任务设置,开发了 MT-ACT 一种新颖的高效策略表示,能够在低数据量情境中摄取高度多模态的数据集,同时避免过拟合问题。

实验结果

RoboAgent 比现有方法更具样本效率

下图比较了作者提出的 MT-ACT 策略表示与几种模仿学习架构。作者仅使用了包括物体姿态变化和部分光照变化的环境变化。与之前的研究相似,作者将此归于 L1 泛化。从 RoboAgent 的结果,可以清楚地看到,使用动作分块来建模子轨迹明显优于所有基准方法,从而更证明了作者提出的策略表示在样本效率学习方面的有效性。

RoboAgent 在多个泛化层面上表现出色

上图展示了作者在不同泛化层次上测试方法的结果。并且可视化了泛化级别,L1 表示物体姿态变化,L2 表示多样的桌面背景和干扰因素,L3 表示新颖的技能 - 物体组合。接下来,作者展示了每种方法在这些泛化层次上的表现。在严格的评估研究中,MT-ACT 比其他方法中表现显著优异,特别是在更困难的泛化层次(L3)上。

RoboAgent 具有高度的可扩展性

作者评估了在不断增加的语义增强级别下 RoboAgent 的表现。并且在一个活动(5 项技能)上进行了评估。下图显示,随着数据的增加(即每帧更多的增强),在所有泛化级别上性能显著提升。重要的是,对于更难的任务(L3 泛化)来说,性能提升要大得多。

RoboAgent 能够在多样的活动中展示其技能

关键词:

相关的文章>>

标签:
仅在7500条轨迹数据上进行训练,能够在38个任务中展示12种多样的操作技[ 查看全文 ]
标签:
大模型算法推动人工智能向更通用方向发展,带动智能算力需求激增;围绕[ 查看全文 ]
标签:
我们的RAM基准测试层次结构将帮助您找到适合您的系统的最快DDR5和DDR4[ 查看全文 ]
标签:
2023年度灵活就业人员企业职工基本养老保险费征收工作已开始。目前,我[ 查看全文 ]
标签:
8月21日,石家庄市公安局交通管理局依照《石家庄市停车场管理办法》有[ 查看全文 ]
标签:
你是我心中最甜的糖果,一口下去,满满的幸福感。爱情是一场美丽的舞蹈[ 查看全文 ]
标签:
‍‍准备好了吗我们即刻出发这里是晋城拥有太行古堡群、传统村落康养胜[ 查看全文 ]
标签:
2023年宿迁市洋河新区公开招聘专任教师总成绩及进入考察环节应试人员名[ 查看全文 ]
标签:
0471房产来为大家解答以上的问题。跑步适合穿硬一点还是软一点的,pbs[ 查看全文 ]
标签:
数据显示,北向资金全天净卖出亿元,连续12日净卖出;其中沪股通净卖出[ 查看全文 ]
标签:
开奖回顾:大乐透第2023096期开奖号码为:06、07、14、21、31+03、10,[ 查看全文 ]
标签:
近日,有用户反映,他们的iPhone14手机在使用几个月后,电池容量就损耗[ 查看全文 ]
标签:
“如果未来五年,我不拍戏了,去做一些更有意义的事情,你们应该会支持[ 查看全文 ]
标签:
随着七夕节的来临,美妆消费迎来小高峰。七夕节之前,菜鸟供应链联合多[ 查看全文 ]
标签:
北京时间8月21日,英国反垄断监管机构竞争与市场管理局(CMA)在第二阶[ 查看全文 ]
标签:
随手关灯、合理设置空调温度、节约用纸 这些都是日常生活中节能减[ 查看全文 ]
标签:
记者从中国国家铁路集团有限公司(以下简称“国铁集团”)获悉,自8月2[ 查看全文 ]
标签:
在上世纪60年代末期,人们首次在液态氦温度下对MOSFET进行了测量,从而[ 查看全文 ]
标签:
中国网财经8月21日讯(记者郭帅)8月20日,以“生生不息美美与共”为主题[ 查看全文 ]
标签:
启迪环境3涨停[ 查看全文 ]

热门标签

热门搜索:

春季养生 健康问答 资讯

资讯

更多
  • 关于2023年度灵活...

  • 新增5036个!石家...

  • 2023年宿迁市洋河...

  • 跑步适合穿硬一点...

  • 097期李思建大乐透...

  • 获英国监管机构批...

图说健康

更多

体育健身

更多