Gemini Robotics 1.5 系列引入了在具身推理、思考和运动转移能力方面的突破性进展。它结合了两个主要模型：Gemini Robotics 1.5 (GR 1.5) 视觉-语言-行动（VLA）模型和 Gemini Robotics-ER 1.5 (GR-ER 1.5) 具身推理（Embodied Reasoning）模型。这些创新旨在推动通用机器人技术的前沿，使机器人更加适应环境、智能且能够执行复杂任务。

解决的问题

Gemini Robotics 1.5 旨在解决通用机器人中的关键挑战：

•    理解物理世界：在实际应用中，GR 1.5可以实现对物理世界的深刻理解

•    跨机器人泛化：GR 1.5 能够从多种机器人平台中学习，并在不同机器人之间转移技能，而不需要针对特定机器人进行后期训练。

•    复杂任务执行：它使机器人能够通过规划、推理和适应性行动来分解并执行复杂任务。

技术创新

核心技术创新

具身推理：为传统快慢双系统的VLM和VLA都增加思考能力。Thinking VLM模型结合思考和工具调用，扮演作上层规划agent；Thinking VLA通过自然语言思考驱动动作序列输出，针对动态环境实时做出决策变换。

Gemini Robotics 1.5 采用混合代理系统架构，包含一个 orchestrator（调度器）和一个 action model（动作模型）协同工作。Orchestrator（由 GR-ER 1.5 担任）负责高层决策：将复杂任务拆解为可执行的子步骤、调用外部工具，并检测每步执行结果。Action model（由 GR 1.5 充当）作为 orchestrator 的专用工具，将其指令翻译成机器人底层的动作序列来实际执行。

1. VLA 模型与运动转移（Motion Transfer）

Gemini Robotics 1.5 引入了新的 VLA 模型架构和名为 Motion Transfer（MT）的训练方法，使模型能够从不同机器人平台的异构数据中学习并形成对运动及物理交互的统一理解。通过这种多体现预训练，模型掌握的技能可以在差异极大的不同机器人之间迁移。

GR 1.5 通过多机器人体现的联合预训练形成对运动和物理的统一理解，使单一模型无需针对特定平台微调即可直接控制不同类型的机器人。这种多体现知识迁移使模型实现了跨机器人平台的零样本（zero-shot）控制。

2. 具身推理模型（GR-ER 1.5）

GR-ER 1.5 在任务规划、空间理解和任务进度估计等复杂具身推理任务上进行了专门优化。该模型保留了 Gemini 模型的高级推理和工具使用能力，并在此基础上进一步提升了对物理世界的理解与推理能力，显著扩展了先前 GR-ER 模型的能力范围。

实验设计

本次实验旨在验证 Gemini Robotics 1.5 系列在不同平台和任务中的表现，重点评估其在泛化性、推理、任务执行等方面的能力。具体设计如下：

1. 平台选择：

选择了三种不同的机器人平台进行测试：ALOHA（双臂机器人）、Bi-arm Franka（双臂工业机器人）和Apollo humanoid（人形机器人），以确保广泛的测试覆盖。

2. 任务设计：

实验任务包括短时间任务（如物品分类）、中长期任务（如整理桌面）以及跨平台技能转移任务（如将一个平台的技能转移到另一个平台）。

3. 评价指标：

· 任务完成率：评估机器人是否成功完成任务。

· 推理步骤的透明度：检测机器人在执行任务时的思考过程是否能够被理解和预测。

· 泛化能力：测试机器人是否能够在新环境或任务中表现出较强的适应性。

4. 实验环境：

为了减少环境变量的影响，部分实验在MuJoCo仿真环境中进行，以确保更高效和一致的结果。大多数实验则使用实际机器人进行验证。

关键成果与价值

1. 泛化性表现：

·  GR 1.5 在多个任务和环境中展现出卓越的泛化能力，能够在不同的机器人平台上适应并执行任务，表现出对视觉变化、指令泛化、行动泛化和任务泛化的强大适应力。

·  在不同的机器人平台（如 ALOHA、双臂 Franka 和 Apollo 人形机器人）上，GR 1.5 能够处理视觉变化（如背景、光照变化）、指令变化（如重述、拼写错误、语言差异）以及新任务执行的泛化能力，在这些任务中实现高效执行。

2. 思考增强表现：

启用思考VLA模型显著提高了多步骤任务的表现，使得机器人行动更加有条理，减少失败率。

3. 现实世界应用：

实验展示了模型在处理实际任务（如打包行李或按颜色分类物品）方面的能力，在长时间任务中表现出较高的成功率。

未来突破

1. 数据效率与学习：

扩展训练数据源，加入低质量视频和更多的现实世界人类数据，可以进一步缓解数据稀缺问题，提升模型的适应性。

2. 灵活性和精度：

未来的工作将着重提升模型的灵活性，使机器人能够执行更精细的操作，而不牺牲其通用性和推理能力。

3. 安全性与鲁棒性：

提升安全框架并进行对抗性压力测试（通过自动红队）将是确保 Gemini Robotics 安全部署的关键。

结论

Gemini Robotics 1.5 系列标志着通用机器人发展的一个重要里程碑，结合了最先进的推理、规划和物理交互能力。这一方法有望使机器人更接近在动态的现实环境中智能地操作，未来的突破将进一步完善和推广这些能力。

扫描二维码

关注我们

微信号公众号: 晨昏线科技