Alexey Dosovitskiy est un informaticien et chercheur reconnu pour ses contributions à l'apprentissage profond et à la vision par ordinateur. Il est surtout connu comme premier auteur de l'article de 2020 « An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale », qui a introduit le Vision Transformer (ViT). Ce travail a démontré qu'une architecture transformeur pure, auparavant dominante en traitement du langage naturel, pouvait atteindre des performances de pointe sur des tâches de classification d'images lorsqu'elle était pré-entraînée sur des ensembles de données suffisamment volumineux. Dosovitskiy a mené cette recherche chez Google Brain, où il a travaillé sur l'extension des transformeurs aux domaines visuels.
Le parcours académique de Dosovitskiy comprend un doctorat en informatique de l'Université de Fribourg, où il a étudié sous la direction de Thomas Brox. Ses recherches doctorales portaient sur l'apprentissage de représentations visuelles à partir de données synthétiques et sur l'apprentissage non supervisé, des sujets qui ont ensuite influencé son travail sur ViT. Avant de rejoindre Google Brain, il a occupé des postes chez Intel Labs et à l'Institut Max Planck pour les systèmes intelligents, contribuant à la recherche sur le flux optique et la prédiction vidéo.
Vision Transformer (ViT)
L'architecture Vision Transformer, introduite dans l'article de 2020 co-écrit avec Alexey Dosovitskiy et ses collègues, notamment Lukasz Kaiser, Jakob Uszkoreit et Niki Parmar, traite une image comme une séquence de patches de taille fixe. Chaque patch est aplati et projeté linéairement dans un embedding, et des embeddings positionnels sont ajoutés pour conserver l'information spatiale. La séquence résultante est traitée par un encodeur transformeur standard, qui utilise des mécanismes d'auto-attention pour capturer les dépendances globales à travers l'image. Cette conception contraste avec les réseaux de neurones convolutifs (CNN), qui reposent sur des champs réceptifs locaux et une extraction hiérarchique des caractéristiques.
L'article a montré que ViT, lorsqu'il était pré-entraîné sur de grands ensembles de données tels que JFT-300M, surpassait les architectures convolutives comme ResNet sur des benchmarks tels que ImageNet, tout en nécessitant moins de ressources computationnelles pendant l'entraînement. Cependant, les performances de ViT sur des ensembles de données plus petits étaient initialement inférieures à celles des CNN, soulignant l'importance de l'échelle. Des recherches ultérieures ont remédié à cette limitation grâce à des techniques comme l'augmentation de données et les architectures hybrides, conduisant à une adoption généralisée de ViT en vision par ordinateur.
Impact sur la vision par ordinateur
Le travail de Dosovitskiy sur ViT a catalysé un changement de paradigme en vision par ordinateur. Avant ViT, les réseaux convolutifs étaient la norme de facto pour l'analyse d'images. Le succès de ViT a démontré que les modèles basés sur l'attention pouvaient rivaliser ou surpasser les CNN, suscitant une vague de recherche sur les modèles de vision basés sur les transformeurs. Cela a inclus des développements tels que Swin Transformer, DeiT et BEiT, qui ont affiné l'architecture originale pour l'efficacité et les performances.
L'influence de ViT s'est étendue au-delà de la classification d'images à des tâches comme la détection d'objets, la segmentation et la compréhension vidéo. Il a également facilité l'intégration des modèles de vision et de langage, car le même backbone transformeur pouvait être utilisé pour les deux modalités. Cette convergence a contribué à l'essor des modèles multimodaux qui combinent des informations visuelles et textuelles, une tendance qui se poursuit dans les grands modèles de langage modernes et les systèmes d'IA générative.
Carrière et contributions de recherche
Après l'article sur ViT, Dosovitskiy a continué à travailler sur l'extension des transformeurs et l'amélioration de leur efficacité. Il a participé à la recherche sur Perceiver, une architecture à usage général qui traite des modalités arbitraires à l'aide d'un goulot d'étranglement latent, et sur ViT-22B, un transformeur de vision à 22 milliards de paramètres qui a obtenu de fortes performances sur divers benchmarks. Son travail a souvent souligné l'importance de l'échelle et des données, s'alignant sur les tendances plus larges en apprentissage automatique chez Google Brain.
Dosovitskiy a également contribué au développement de pipelines d'entraînement optimisés pour les unités de traitement tensoriel, permettant l'entraînement efficace de grands modèles. Ses recherches ont été largement citées, et il a présenté lors de conférences majeures telles que NeurIPS, ICML et CVPR. En 2024, il continue de travailler dans le domaine, bien que ses affiliations spécifiques et ses projets aient évolué.
Reconnaissance et héritage
L'article sur le Vision Transformer est considéré comme un travail fondateur en vision par ordinateur moderne. Il a été cité des milliers de fois et a influencé à la fois la recherche académique et les applications industrielles. Les contributions de Dosovitskiy ont été reconnues par divers prix et invitations, notamment une place sur la liste des 35 innovateurs de moins de 35 ans du MIT Technology Review en 2021. Son travail illustre la pollinisation croisée entre le traitement du langage naturel et la vision par ordinateur, une caractéristique de la recherche contemporaine en IA.
L'héritage de Dosovitskiy réside dans la démonstration qu'une seule architecture peut gérer plusieurs modalités, ouvrant la voie à des modèles unifiés qui traitent le texte, les images et d'autres types de données. Cette idée est centrale au développement des systèmes d'IA générative, tels que OpenAI's GPT-4V et Google DeepMind's Gemini, qui intègrent des capacités de vision et de langage. Ses recherches continuent d'inspirer de nouvelles générations de chercheurs en IA explorant les limites des modèles basés sur les transformeurs.