アレクセイ・ドソビツキーは、深層学習とコンピュータビジョンへの貢献で知られるコンピュータ科学者であり研究者である。彼は、2020年の論文「An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale」の第一著者として最もよく知られており、この論文でVision Transformer（ViT）を導入した。この研究は、従来自然言語処理で主流だった純粋なトランスフォーマーアーキテクチャが、十分に大規模なデータセットで事前学習された場合、画像分類タスクで最先端の性能を達成できることを実証した。ドソビツキーは、この研究をGoogle Brainで行い、そこでトランスフォーマーを視覚領域に拡張する研究に従事した。
ドソビツキーの学歴には、フライブルク大学でのコンピュータ科学の博士号が含まれ、トーマス・ブロックス教授の下で学んだ。彼の博士研究は、合成データからの視覚表現の学習と教師なし学習に焦点を当てており、これらのテーマは後に彼のViT研究に影響を与えた。Google Brainに入社する前は、Intel Labsとマックス・プランク知能システム研究所に在籍し、オプティカルフローや動画予測の研究に貢献した。
Vision Transformer（ViT）
2020年の論文で導入されたVision Transformerアーキテクチャは、アレクセイ・ドソビツキーと、Lukasz Kaiser、Jakob Uszkoreit、Niki Parmarを含む共同研究者らによって執筆され、画像を固定サイズのパッチのシーケンスとして扱う。各パッチは平坦化され、線形に埋め込みに投影され、空間情報を保持するために位置埋め込みが追加される。結果として得られるシーケンスは、標準的なトランスフォーマーエンコーダーで処理され、自己注意機構を使用して画像全体のグローバルな依存関係を捕捉する。この設計は、局所受容野と階層的特徴抽出に依存する畳み込みニューラルネットワーク（CNN）とは対照的である。
この論文は、ViTがJFT-300Mなどの大規模データセットで事前学習された場合、ResNetなどの畳み込みアーキテクチャをImageNetなどのベンチマークで上回り、トレーニング中の計算リソースを削減できることを示した。しかし、小規模データセットでのViTの性能は当初CNNより劣っており、スケールの重要性が強調された。その後の研究は、データ拡張やハイブリッドアーキテクチャなどの手法を通じてこの制限に対処し、ViTのコンピュータビジョンでの広範な採用につながった。
コンピュータビジョンへの影響
ドソビツキーのViT研究は、コンピュータビジョンにおけるパラダイムシフトを触発した。ViT以前は、畳み込みネットワークが画像分析の事実上の標準だった。ViTの成功は、注意ベースのモデルがCNNに匹敵または凌駕できることを実証し、トランスフォーマーベースの視覚モデルに関する研究の波を引き起こした。これには、Swin Transformer、DeiT、BEiTなどの開発が含まれ、元のアーキテクチャを効率性と性能のために改良した。
ViTの影響は、画像分類を超えて、物体検出、セグメンテーション、動画理解などのタスクに及んだ。また、同じトランスフォーマーバックボーンを両モダリティに使用できるため、視覚と言語モデルの統合も促進した。この収束は、視覚情報とテキスト情報を組み合わせたマルチモーダルモデルの台頭に貢献し、この傾向は現代の大規模言語モデルや生成AIシステムで続いている。
キャリアと研究貢献
ViT論文の後、ドソビツキーはトランスフォーマーのスケーリングと効率性の向上に関する研究を続けた。彼は、潜在ボトルネックを使用して任意のモダリティを処理する汎用アーキテクチャであるPerceiverや、さまざまなベンチマークで強力な性能を達成した220億パラメータの視覚トランスフォーマーであるViT-22Bに関する研究に関与した。彼の研究は、Google Brainでの機械学習の広範な傾向と一致して、スケールとデータの重要性をしばしば強調した。
ドソビツキーはまた、Tensor Processing Unitsに最適化されたトレーニングパイプラインの開発にも貢献し、大規模モデルの効率的なトレーニングを可能にした。彼の研究は広く引用され、NeurIPS、ICML、CVPRなどの主要な会議で発表してきた。2024年現在、彼はこの分野で活動を続けているが、具体的な所属やプロジェクトは進化している。
評価と遺産
Vision Transformer論文は、現代のコンピュータビジョンにおける基礎的な研究と見なされている。これは数千回引用され、学術研究と産業応用の両方に影響を与えてきた。ドソビツキーの貢献は、2021年のMITテクノロジーレビューの35 Innovators Under 35リストへの選出を含む、さまざまな賞や招待を通じて認識されている。彼の研究は、自然言語処理とコンピュータビジョンの間の相互交流を体現しており、これは現代のAI研究の特徴である。
ドソビツキーの遺産は、単一のアーキテクチャが複数のモダリティを処理できることを実証し、テキスト、画像、その他のデータタイプを処理する統合モデルへの道を開いたことにある。このアイデアは、視覚と言語機能を統合したOpenAIのGPT-4VやGoogle DeepMindのGeminiなどの生成AIシステムの開発の中心となっている。彼の研究は、トランスフォーマーベースのモデルの限界を探求する新しい世代のAI研究者に刺激を与え続けている。