1. 可用的机器人

Nvidia Isaac Lab 目前提供多种机器人，范围从简单的 MuJoCo 风格机器人，比如 Cartpole、蚂蚁机器人和类人机器人，到更复杂的机器人，比如固定机械臂和灵巧手。

Isaac Lab 还内置多种合作伙伴机器人，包括 UR10 固定机械臂，Franka、Allegro 和 Shadow 等灵巧手，以及来自 Boston Dynamics、ANYbotics 和 Unitree 等公司的四足机器人。

Nvidia Isaac Lab 最近还加入类人机器人和四旋翼无人机，比如 Crazyflie，这对专注于飞行机器人的研究机构非常有用。

可以使用 Isaac 中的资产自行定制机器人，比如将 Kuka 机械臂与 Allegro 灵巧手组合，或者导入已有的 URDF 或 MJCF XML 资产，并且在仿真环境中使用。

2. 可用的传感器

传感器是赋予机器人视觉能力的关键组成部分，可支持环境感知、导航辅助，为控制系统提供反馈。Isaac Lab 包含多种传感器，可应用于不同的具体任务。

Isaac Lab 中包含的传感器包括：

• RGB 相机

• 分块相机

• 深度相机

• 用于模拟激光雷达或单向相机的光线投射传感器

• 高度扫描仪，适用于四足机器人下楼梯等任务

• 接触传感器，适用于抓取和放置等任务

3. 可用的环境

Isaac Lab 还包含 26 个以上预构建环境和任务，可在仿真中直接使用。其类别包括：

• 灵巧操作，包括多种任务，比如操作可变形物体、还原魔方和打开柜门。

• 腿式运动，重点研究四足机器人或人形机器人在不同地形上的移动。

• 多智能体强化学习，比如两个机械臂尝试相互传球。虽然具有挑战性，但这也开辟令人兴奋的研究可能性。

• 导航。不同于运动控制，因为导航涉及移动到空间中的特定位置，而运动控制则是按照方向指令进行移动。

• 分块渲染，或者说基于视觉的强化学习，可以将视觉数据纳入到强化学习所使用的观测集合中。这是超出传统强化学习范畴的复杂过程；传统强化学习通常依赖基于物理状态的观测。现在，Isaac Lab 可以同时模拟超过 1000 个摄像头，这是一次显著的能力提升。

• 遥操作与模仿学习。在这一流程中，用户可以使用鼠标或键盘生成训练数据，再通过 GR00T-Mimic 扩增数据，最后使用 Isaac Lab 自带的 RoboMimic 工具套件训练机器人。

2. 分块渲染

最后，进一步展开分块渲染，这是高效处理复杂视觉输入、加速训练的方法。

分块渲染 API 提供用于从摄像头传感器中采集数据的向量化接口。这对于需要将视觉纳入到闭环的强化学习环境非常有用。分块渲染的工作方式是将多个摄像头的输出拼接起来，渲染成一张大图，而不是分别渲染每个摄像头产生的多张小图。比如如果有 5,000 个环境，与其逐张渲染每个图像，不如将它们全部放到一个分块中，一次性渲染出来。这样可以减少渲染所需的时间，提供更高效的 API 来处理视觉数据。

在上面的示例中，机器人尝试操控立方体，使其到达指定的目标位置。左侧展示机器人观察到的不同视觉表示。

Isaac Lab 同时从多个摄像头传感器采集数据。获取视觉输入，将多个摄像头的输出进行拼接，然后利用 GPU 加速实现更快的机器人训练。Isaac Lab 通过 TiledCamera 类，为 RGB、深度以及其他标注器提供分块渲染 API。