SO-101 + LeRobot + Odyssey-3 로봇 팔 설정 워크플로우

1단계: SO-101 암 4개를 구매하세요. 2개는 손으로 직접 조종하고 2개는 이를 복제합니다. 키트당 278달러에 인쇄 부품 30달러가 추가됩니다. 2단계: 카메라 1대는 머리 위에, 나머지는 각 손목에 장착한 다음 볼트로 고정하고 다시는 움직이지 마세요. 모델은 픽셀을 읽으므로 카메라가 조금만 이동해도 이미 녹화한 모든 에피소드가 무효화됩니다. 3단계: Hugging Face에서 LeRobot을 설치하세요. 이 암들은 원격 조작 및 모방 학습을 위해 기본적으로 지원됩니다. 4단계: 녹화 전에 Odyssey-3을 열고 정확한 작업을 프롬프트로 입력하세요. 지금은 무료이며 10분 안에 해당 물리 엔진이 객체에 대해 유효한지 알 수 있습니다. 5단계: 리더 암을 직접 움직이며 녹화하고, 모든 세션에서 프레임 속도를 고정하고 조명을 일정하게 유지하세요. 6단계: 작업 하나를 선택하고 깊이 파고드세요. 그들의 암 결과는 수십 시간을 사용했으며, 10시간의 붓기 작업이 각각 1시간씩 10가지 다른 작업보다 낫습니다. 7단계: 실패한 실행도 보관하세요. 깨끗한 에피소드만 본 정책은 잘못된 그립에서 회복하는 방법을 전혀 모릅니다. 8단계: 먼저 LeRobot에서 기본 정책을 훈련하세요. 그것이 기준선이며, 그것 없이는 Odyssey가 실제로 도움이 되었는지 알 수 없습니다. 9단계: API가 열리면 세계 모델은 고정된 상태로 유지되고 그 위에 작은 행동 디코더를 훈련하여 녹화된 관찰을 암의 관절 명령에 매핑합니다. 10단계: 첫 접촉 시 격차를 예상하세요. 순수 시뮬레이션으로 훈련된 그들의 조종 정책은 실제 영상이 만들어낸 결과의 약 77%에 도달했습니다. 세 가지가 어떻게 맞물리는지: - SO-101은 행동을 생성하고 실행합니다. - LeRobot은 관찰과 행동 쌍을 기록한 다음 이를 훈련합니다. - Odyssey-3은 처음부터 학습하는 대신 연결하는 물리 엔진입니다. 당신의 에피소드만이 당신의 것이어야 하는 유일한 부분입니다. 나머지는 모두 이미 훈련되어 있습니다.