英伟达AI小模型掌控人形机器人,1.5M参数完胜专业系统

来源:互联网 更新时间2024-10-31 11:13:35 点击数:

英伟达研究团队近日在机器人控制领域取得重大突破。他们开发的神经网络系统HOVER,以极其精简的参数量实现了对人形机器人的高效控制,其性能甚至超越了专门设计的控制系统。

这个仅需150万参数的HOVER系统,能够处理复杂的机器人动作控制。相比之下,常见的大语言模型往往需要数千亿参数。这一惊人的参数效率彰显了系统设计的精妙。

image.png

HOVER的训练在英伟达的Isaac模拟环境中进行,该环境能将机器人动作加速1万倍。英伟达研究员Jim Fan透露,这意味着在虚拟空间中一年的训练量,仅需要一块GPU运算50分钟就能完成。

系统的一大亮点在于其卓越的适应性。它无需额外调优就能从模拟环境直接迁移到真实机器人上,并且支持多种输入方式:可以通过Apple Vision Pro等XR设备追踪头部和手部动作,通过动作捕捉或RGB相机获取全身位置数据,通过外骨骼采集关节角度,甚至可以使用标准游戏手柄进行控制。

更令人惊讶的是,HOVER在每种控制方式上的表现都优于专门为单一输入方式开发的系统。首席作者Tairan He推测,这可能源于系统对平衡性和精确肢体控制等物理概念的深度理解,使其能在不同控制方式间实现知识迁移。

该系统基于开源的H2O & OmniH2O项目开发,可以控制任何能在Isaac模拟器中运行的人形机器人。目前,英伟达已在GitHub上公开了示例和代码,为机器人研究和开发领域带来新的可能。


Tag: 英伟达 智能机器人
首页 AI对话 资讯 我的