SO-101 + LeRobot + Odyssey-3 机械臂设置工作流程

第一步：购买四只SO-101机械臂，两只手动操控，两只跟随复制，每套278美元，另加30美元的打印零件。 第二步：在头顶安装一个摄像头，每只手腕上各安装一个，然后固定好，之后再也不移动它们。模型读取像素，所以摄像头一旦移位，你已录制的所有回合都会失效。 第三步：从Hugging Face安装LeRobot；这些机械臂原生支持遥操作和模仿学习。 第四步：在录制任何内容之前，打开Odyssey-3并输入你的具体任务提示。目前它是免费的，你会在10分钟内知道它的物理模拟是否适用于你的物体。 第五步：自己移动主控臂并录制，保持帧率固定，且每次会话的光照条件恒定。 第六步：选择一个任务并深入钻研。他们的机械臂结果用了数十小时，而十小时的倒水训练胜过十个不同任务各一小时。 第七步：保留失败的运行记录。一个只见过干净回合的策略不知道如何从抓取失误中恢复。 第八步：先在LeRobot中训练一个简单策略。这是你的基线，没有它你就无法判断Odyssey是否真的起了作用。 第九步：当API开放时，世界模型保持冻结，你在其上训练一个小型动作解码器，将你记录的观测映射到机械臂的关节指令。 第十步：预期首次接触时会有差距。他们的纯模拟训练驾驶策略大约达到了真实录像效果的77%。 三者如何配合： - SO-101负责产生动作并执行它们。 - LeRobot记录观测和动作对，然后基于它们进行训练。 - Odyssey-3是你附加的物理模拟，而不是从头学习它。 你的回合数据是唯一必须属于你自己的部分；其他一切都已训练完成。