DexNetは、ロボットによる把持と器用な操作のために開発されたディープニューラルネットワークモデルのファミリーである。このシステムは、手書きの幾何学的ルールに依存せず、センサーデータ（主に深度画像）から直接把持を計画することを学習する。その中核的な革新は、シミュレーションで生成された大量の合成トレーニングデータを使用することであり、これによりモデルは実世界の新規物体に一般化できる。DexNetはカリフォルニア大学バークレー校の一連の研究論文で紹介され、その後のロボット学習と操作の研究に影響を与えた。
DexNetの主な目標は、多指ロボットハンドで未知の物体を把持するという課題に対処することである。従来の把持計画は、正確な3Dモデルと複雑な幾何学的解析を必要とすることが多く、非構造化環境では脆い。DexNetは代わりに把持を学習問題として捉える。物体の深度画像が与えられると、モデルは候補となる把持構成のセットを予測し、その成功確率をスコアリングする。最もスコアの高い把持がロボットによって実行される。このデータ駆動型アプローチにより、システムはトレーニング中に一度も見たことのないものを含む多種多様な物体形状を扱うことができる。
アーキテクチャとトレーニング
DexNetモデルは、画像データの処理に適した深層学習アーキテクチャの一種である畳み込みニューラルネットワーク（CNN）に基づいている。ネットワークへの入力は深度画像であり、シーン内の各点までのセンサー距離をエンコードする。ネットワークはこの画像を複数の畳み込み層で処理し、物体形状、表面の向き、局所的な幾何学に関連する特徴を抽出する。これらの特徴はその後、全結合層に供給され、離散的な候補把持のセットそれぞれに対するスコアを出力する。
トレーニングプロセスは、ドメインランダマイゼーションと呼ばれる技術に依存している。研究者らは、ランダムな物体（直方体、円柱、より複雑な形状を含む）をテーブル上のランダムな姿勢に配置したシミュレーションを実行し、数百万の合成深度画像を生成する。各合成シーンについて、物理エンジンを使用して物理的に有効な把持を計算し、各把持を成功または失敗としてラベル付けする。ネットワークは、損失関数（交差エントロピーなど）を使用した標準的な教師あり学習でこれらのラベルを予測するようにトレーニングされる。シミュレーションと現実のギャップを埋めるため、合成画像にはランダムノイズ、さまざまな照明、異なるカメラ角度が含まれており、モデルを実世界のセンサーの不完全性に対して堅牢にしている。
バージョンと進化
DexNetプロジェクトは、それぞれが前バージョンを改良した複数のバージョンを生み出した。2016年に発表されたDexNet 1.0は、単一のCNNを使用して深度画像から把持をスコアリングし、2本指グリッパーで新規物体のテストセットに対して94%の成功率を達成した。2017年にリリースされたDexNet 2.0は、このアプローチを多指ハンド（Allegroハンド）に拡張し、より洗練された把持表現を組み込んで、より広範囲のハンド構成を可能にした。2018年に発表されたDexNet 3.0は、物体が積み重なった乱雑なシーンでの把持の問題に焦点を当てた。これは2段階のパイプラインを使用した。最初にセグメンテーションネットワークが個々の物体を分離し、次に把持ネットワークが各セグメントの把持を評価する。このバージョンは、倉庫自動化の一般的なタスクであるビンからのピッキングにおいて堅牢なパフォーマンスを実証した。
応用と影響
DexNetは、いくつかの産業および研究環境で応用されている。その主な使用例は、ロボットによるピッキングとパッキングであり、ロボットはビンやコンベヤーベルトから物体を識別して把持する必要がある。このシステムは未知の物体に一般化できるため、アイテムの多様性が高いEコマースのフルフィルメントに適している。研究者らはまた、出力表現を変更することで、押す操作や配置などの他の操作タスクにDexNetを適応させている。DexNetによって導入された合成データトレーニングパラダイムは、ロボット学習の標準的な実践となり、OpenAIやGoogle DeepMindなどの後のシステムに影響を与えた。
制限と今後の方向性
その成功にもかかわらず、DexNetには既知の制限がある。モデルは主に剛体物体でトレーニングされており、布や食品などの変形可能なアイテムは依然として困難である。また、静的カメラと既知のロボットハンドを想定しており、異なるハードウェアには再トレーニングが必要である。把持品質スコアは、複雑な内部空洞や非常に薄い構造を持つ物体に対しては必ずしも信頼できない。今後の研究では、DexNetと強化学習を組み合わせて試行錯誤による把持の洗練を図ることや、把持中のフィードバックを改善するための触覚センサーの統合が模索されている。2020年代初頭の時点で、DexNetの原理はロボット工学における生成AIの研究に情報を提供し続けており、モデルは把持だけでなく完全な操作計画を生成している。
関連項目
参考文献
DexNetの論文は、IEEE国際ロボット工学およびオートメーション会議（ICRA）やロボット学習会議（CoRL）などの主要なロボット工学および機械学習会議で発表された。元のコードとデータセットは公開されており、その後の研究を促進した。
Category:Robotics
Category:Deep learning
Category:Grasping