SO-101 と LeRobot と Odyssey-3 ロボットアームのセットアップワークフロー

ステップ1：SO-101アームを4本用意する。2本は手動で操作し、2本はそれらをコピーする。1キット278ドルに加えて、プリント部品に30ドルかかる。 ステップ2：カメラを1台は頭上に、もう1台は各手首に取り付ける。その後、ボルトで固定し、二度と動かさない。モデルはピクセルを読み取るため、カメラがずれると、すでに記録したすべてのエピソードが無効になる。 ステップ3：Hugging FaceからLeRobotをインストールする。これらのアームはテレオペレーションと模倣学習にネイティブ対応している。 ステップ4：何かを記録する前に、Odyssey-3を開き、正確なタスクをプロンプトに入力する。現在は無料で、10分以内にその物理演算が対象のオブジェクトに適用できるかどうかがわかる。 ステップ5：リーダーアームを自分で動かして記録し、フレームレートを固定し、すべてのセッションで照明を一定に保つ。 ステップ6：1つのタスクを選び、深く掘り下げる。彼らのアームの結果には数十時間が使われており、10時間の注ぎ作業は、10種類の異なるタスクをそれぞれ1時間ずつ行うことよりも優れている。 ステップ7：失敗したランを保持する。クリーンなエピソードしか見たことのないポリシーは、悪いグリップから回復する方法をまったく知らない。 ステップ8：まずLeRobotでプレーンなポリシーをトレーニングする。それがベースラインであり、それなしではOdysseyが実際に役立ったかどうかを判断できない。 ステップ9：APIが開いたら、ワールドモデルは凍結したままにし、その上に小さなアクションデコーダーをトレーニングして、記録した観測をアームのジョイントコマンドにマッピングする。 ステップ10：最初の接触ではギャップを予想する。彼らの運転ポリシーはシミュレーションのみでトレーニングされ、実際の映像で生成された結果の約77%に達した。 3つの要素がどう組み合わさるか： - SO-101はアクションを生成し、実行する。 - LeRobotは観測とアクションのペアを記録し、それらをトレーニングする。 - Odyssey-3は、ゼロから学習する代わりに接続する物理演算である。 あなたのエピソードだけが、あなた自身のものである必要がある部分だ。それ以外はすべてすでにトレーニング済みである。