英伟达(NVIDIA,股票代码:NVDA)近日披露其SOMA Retargeter工具的完整应用流程,该系统能将人类运动数据转化为五种人形机器人的可执行关节轨迹,为机器人训练提供高质量参考动作。
由于人类与机器人在肢体结构、长度及活动范围上存在显著差异,直接复用人类关节数值会导致动作失效或物理冲突。为此,SOMA Retargeter采用统一骨骼格式对输入动作进行标准化处理,并根据目标机器人的体型参数动态调整动作规模。
系统首先接收以SOMA骨骼体系表达的BVH文件,随后利用逆向运动学算法逐帧计算机器人各关节姿态。在此基础上,结合关节活动范围限制和足部接触区域约束,对动作进行合理性修正,确保输出具备物理可行性。
原始动作数据可来自专业动作捕捉系统、视频重建技术或生成式模型输出,但必须预先转换为SOMA骨骼标准格式。不支持直接导入原始视频或非标准格式的BVH文件。
最终输出为CSV格式文件,包含每帧机器人位置、朝向及所有关节角度信息。用户可通过批量处理构建适用于不同机型的动作数据集,支撑后续学习与控制策略开发。
本次演示涵盖优必选G1、H2,Booster T1,以及AgiBot X2 Ultra和A3T3共五款人形机器人。所用动作样本源自BONES-SEED数据集,系统通过机器人配置工具完成人体骨骼与机器人关节之间的精确映射。
在实际案例中,同一挥手动作因机器人基准姿态设定不同而产生明显差异。例如,在未调整Booster T1初始姿态时,双臂呈外展状态;经姿态优化后,实现单臂抬至头部侧方、另一臂自然下垂的自然动作效果。
工具提供逆向运动学权重调节功能,当多目标难以同时满足时,可优先保障特定身体部位的姿态稳定性。
目前,接触检测、足部固定校正及权重自动优化等功能仍处于实验阶段,建议用户在正式部署前谨慎启用。
英伟达建议先针对代表性动作完成参数调优,再将其配置应用于其他动作,以提升整体一致性与可用性。
代码库显示,v0.2.0于9月15日发布,修复了关节限制值编辑错误的v0.2.1版本于10月1日上线。此次博客内容并非新版本宣传,而是聚焦已有功能的实际使用路径说明。
ROBOTIS(罗博特仕)在其AI Sapiens平台文档中推荐使用其专属分支(Fork),该分支适配特定输出格式,支持更高效的机器人集成,与英伟达主仓库中的默认配置存在差异。
需要强调的是,转换结果仅提供运动学层面的动作数据,无法保证在真实环境中安全运行。英伟达此前曾展示将人类动作适配至MicroDuck并在仿真环境中训练控制器的案例。
官方明确提示:任何模型在部署至实体机器人前,必须经过充分的仿真测试,验证动作可行性、安全性及控制器兼容性,避免潜在物理损伤或控制异常。