原文归拢：icra-research-robotics-simulation-to-real-world开云体育

在海外机器东说念主和自动化会议上，八篇新的英伟达规划论文展示了过程模拟老师的机器东说念主是若何参预现实宇宙的。

机器东说念主时期正在参预一个新阶段：从受控演示和剧本自动化转向现实宇宙中可扩充、可靠的体现自主。

在海外机器东说念主和自动化会议（ICRA）上，NVIDIA Research 的 28 篇被接管的论文中有 8 篇展示了模拟到现实的传输若何成为这种辗转的基础，匡助机器东说念主在动态、弗成瞻望的环境中感知、推理、筹画和行动。

这些论文共同涵盖了机器东说念主开辟东说念主员靠近的挑战：并行和谐多个手臂，构建跨机器东说念主躯壳通用的战术，在狼籍中收拢新事物，履行精准的拼装，以及开辟在挪动前推理的视觉 - 讲话 - 算作模子。

通说念很明晰：sim-to-real 正在成為機器东说念主的基礎，這些機器东说念主不错在實驗室外以更高的可靠性進行適應、详尽和操作。

遐想一下一个由机械臂运行的制药实验室：拾取试管、回荡液体、搀和试剂——每个法子齐需要不同的时期，齐需要仔细和谐。

传统的机器东说念主调整软件按规则处理这些法子，一次一个手臂。

ScheduleStream 透過在 GPU 上執行計算來改變這一點，讓多個手臂計劃移動並行操作。成果——在 NVIDIA Jetson edge AI 平台等硬件上，跨多臂议论场景加速了 3 倍的速率。框架的代码不错在 GitHub 上找到。

一个学习在空间中导航的机器东说念主——遁藏膺惩物并找到方针地——普通学会在一个躯壳中作念到这小数。将相易的导航软件放入局势不同的机器东说念主中，它常常会散架，因为它的部件齐以不同的形势挪动。

COMPASS 战术框架通过领先使用师法学习构建基线导航功能，然后使用 NVIDIA Isaac Lab 中的剩余强化学习来为各式机器东说念主结束构建人人来措置这个问题。至关蹙迫的是，任何阶段齐不触及现实宇宙的机器东说念主数据：一切齐在 Isaac Lab 模拟中进行老师。

与师法学习基线比较，COMPASS 的平均到手率提高了 4.5 倍。它还无缝传输到现实宇宙环境，在自主挪动机器东说念主和东说念主形的 20 次现实宇宙导航历练中展示了约 80% 的到手。

COMPASS 对代理友好，具有专诚的技巧——开辟东说念主员不错将管说念与 NVIDIA Omniverse NuRec 归拢起来，以便在部署前在新环境的数字孪生中对机器东说念主进行后老师和考据。

大多数抓取系统识别对象，瞻望抓取，议论旅途，然后履行。但终末几厘米是小失实最蹙迫的场所。

Grasp-MPC 自符合地缠绵机器东说念主抓取，在机器东说念主辘集物体时抑制更动其指引，而不是履行固定筹画——一个东说念主通过嗅觉而不是提前缠绵每个要道角度来抓取东西的形势。

为了制定该战术，规划东说念主员使用 GraspGen 数据集的谛视和来自 cuRobo（用于机器东说念主指引生成的 CUDA 加速库）的指引议论数据，在 8000 个物体上生成了 200 万个物体的模拟轨迹。

在对到手和失败轨迹进行培训后，Grasp-MPC 学会了在狼籍的桌面和架子上掌合手新颖的物体——在着实机器东说念主上获取了约 75% 的总体到手率，而基线为 41%。

可变形聚类操作引入了一个框架，该框架搪塞了一个平行挑战：使系统简略同期抓取所有这个词纯真、纠结的材料，而不单是是一个对象。

该框架的动机是一个现实宇宙的任务：撤消滋长在电力线上的大批树枝，那里莫得干净的物体不错收拢。系统使用所有这个词手臂，而不单是是抓手：将其缠绕在分支集群上，然后将其扫到一边，就像有东说念主可能会网罗一臂的电缆或将纠结的刷子推开的形势。

规划东说念主员使用生物滋长方程构建了一个树生成器，以创建很多不同局势和大小的合成树——然后在 NVIDIA Isaac 怒放模拟框架中老师了数千棵树的系统。

该战术部署到真确的分支零射击。除了电力线以外，规划东说念主员还看到了电缆料理、农业检查以及机器东说念主需要处理纠结而不是单个可抓取物品的任何场所的后劲。

在零射击模拟到着实部署中撤消树枝。

精准的拼装——将螺母穿入螺栓上，将齿轮插入齿轮轴，将钉子压入孔中——仅通过模拟是出了名的难。

现实宇宙是复杂的。真确的名义并不完好光滑。传感器的步履不按章程进行。模拟器忽略的轻细互异可能会梗阻机器东说念主的脚步。

SPARR 方法通过将责任一分为二来措置这一问题。在 Isaac Lab 中老师的策略学习模拟中拼装任务的一般策略。然后，在实际硬件上，第二层学会更动模拟器出错的任何东西——使用机器东说念主我方的相机，无需任何东说念主类演示或携带。

与零射击模拟到着实基线比较，SPARR 的到手率提高了 38%，周期时期镌汰了约 30%。

在培训时间莫得看到的国度步调与时期规划所（NIST）拼装任务上，到手率提高了近 75% ——接近需要东说念主工参与的方法的成果。

真金不怕火油厂框架在安装中具有下一层难度：具有多个规则法子的任务，其中第一步的完成进度决定了第二步是否可能。这就像拼装产物相通——将面板放在失实的角度，下一个紧固件就进不去。

通过了解到手若何因开动条目而异，以及数百个模拟拼装场景中的培训，真金不怕火油厂学习若何完成每个法子，并将每个组件留鄙人一个竖立的位置。与现实宇宙成果相配可比的基线比较，它结束了 91% 的模拟到手率和近 11% 的平均创新——其战术不错串联在沿途处理冗长的多部分序列。

PEEK 管说念匡助机器东说念主看到零七八碎的东西。在典型的操作任务中，机器东说念主的相契机捕捉到场景中的所有内容——但其中大部分是卑不足说念的杂音。

PEEK 花式页面上展示的一项任务是“把香蕉交给英伟达创举东说念主兼首席履行官黄仁”：一张黄的相片与迈克尔 · 乔丹的相片沿途放在桌子上，这是一组不关系的物体和其他散布注意力的东西。

完成任務的东说念主立即專注於香蕉和正確的相片；標準的機器东说念主战术必須處理一切，並且經常感到困惑。PEEK 通过让视觉讲话模子读取任务领导并相应地聚焦机器东说念主的视野来措置这个问题——清晰指引旅途，并稀奇清晰蹙迫物体周围，同期淡化其他一切。

然后，该战术凭证谛视标不雅点行事，而不是原始场景。关于纯正在模拟中老师的战术，添加 PEEK 的准确性比现实宇宙提高了 41 倍。关于大型 VLA 模子和较小的战术，收益范围为 2-3.5 倍。由于它在图像级别责任，PEEK 无需修改即可与任何基于相机的策略集成。

言出所力——与卡内基梅隆大学、犹他大学和悉尼大学的规划东说念主员协作——措置了机器东说念主处理更长、更复杂的任务时更蹙迫的特定故障模式。

给机器东说念主一个领导，比如“把所有东西齐放在柜子里的这个桌子上”或“准备曼哈顿”，它必须将其剖判成单独的法子，并按规则履行它们。

问题是，东说念主工智能模子不错正确推理它需要作念的事情——然后履行一些不同的东西。

这种称为 SEAL 的方法在运行时建造了这小数，无需任何再老师：机器东说念主生成几个候选算作序列，念念考每个算作序列实际上会引导到那处，并选拔与它所说的成果相匹配的成果。与之前的责任比较，SEAL 提供了高达 15% 的精度普及，对改写领导、改换对象、场景狼籍和挪动相机角度具有谨慎性。

除了论文以外，英伟达还通过机器东说念主的大范围怒放数据集扩张机器东说念主规划基础设施。NVIDIA 物理东说念主工智能数据集是宇宙上最大的物理开辟怒放数据集，下载量跳跃 1500 万次，而 NVIDIA Isaac GR00T X Embodiment Sim 已成为下载量最大的机器东说念主数据集之一。

雷峰网 开云体育