Alexey Dosovitskiy es un científico informático e investigador reconocido por sus contribuciones al Deep learning y la Computer vision. Es más conocido por ser el primer autor del artículo de 2020 "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale", que introdujo el Vision Transformer (ViT). Este trabajo demostró que un Transformer (architecture) puro, anteriormente dominante en el Natural language processing, podía alcanzar un rendimiento de vanguardia en tareas de clasificación de imágenes cuando se preentrenaba con conjuntos de datos suficientemente grandes. Dosovitskiy realizó esta investigación mientras estaba en Google Brain, donde trabajó en la escalabilidad de los transformers para dominios visuales.
La formación académica de Dosovitskiy incluye un doctorado en informática por la Universidad de Friburgo, donde estudió bajo la supervisión de Thomas Brox. Su investigación doctoral se centró en el aprendizaje de representaciones visuales a partir de datos sintéticos y el aprendizaje no supervisado, temas que más tarde influyeron en su trabajo sobre ViT. Antes de unirse a Google Brain, ocupó puestos en Intel Labs y en el Instituto Max Planck para Sistemas Inteligentes, donde contribuyó a la investigación en flujo óptico y predicción de vídeo.
Vision Transformer (ViT)
La arquitectura Vision Transformer, introducida en el artículo de 2020 coescrito con Alexey Dosovitskiy y otros colegas como Lukasz Kaiser, Jakob Uszkoreit y Niki Parmar, trata una imagen como una secuencia de parches de tamaño fijo. Cada parche se aplana y se proyecta linealmente en una incrustación, y se añaden incrustaciones posicionales para retener la información espacial. La secuencia resultante se procesa mediante un codificador transformer estándar, que utiliza mecanismos de autoatención para capturar dependencias globales en la imagen. Este diseño contrasta con las redes neuronales convolucionales (CNN), que se basan en campos receptivos locales y extracción jerárquica de características.
El artículo demostró que ViT, cuando se preentrena con conjuntos de datos grandes como JFT-300M, superaba a las arquitecturas convolucionales como ResNet en puntos de referencia como ImageNet, al tiempo que requería menos recursos computacionales durante el entrenamiento. Sin embargo, el rendimiento de ViT en conjuntos de datos más pequeños era inicialmente inferior al de las CNN, lo que subrayaba la importancia de la escala. Investigaciones posteriores abordaron esta limitación mediante técnicas como el aumento de datos y arquitecturas híbridas, lo que condujo a la adopción generalizada de ViT en la visión por computador.
Impacto en la visión por computador
El trabajo de Dosovitskiy sobre ViT catalizó un cambio de paradigma en la visión por computador. Antes de ViT, las redes convolucionales eran el estándar de facto para el análisis de imágenes. El éxito de ViT demostró que los modelos basados en atención podían rivalizar o incluso superar a las CNN, lo que provocó una ola de investigación sobre modelos de visión basados en transformers. Esto incluyó desarrollos como Swin Transformer, DeiT y BEiT, que refinaron la arquitectura original para mejorar la eficiencia y el rendimiento.
La influencia de ViT se extendió más allá de la clasificación de imágenes a tareas como la detección de objetos, la segmentación y la comprensión de vídeo. También facilitó la integración de modelos de visión y lenguaje, ya que el mismo backbone transformer podía utilizarse para ambas modalidades. Esta convergencia contribuyó al auge de los modelos multimodales que combinan información visual y textual, una tendencia que continúa en los modernos grandes modelos de lenguaje y sistemas de IA generativa.
Carrera y contribuciones a la investigación
Tras el artículo de ViT, Dosovitskiy continuó trabajando en la escalabilidad de los transformers y en la mejora de su eficiencia. Participó en la investigación sobre Perceiver, una arquitectura de propósito general que procesa modalidades arbitrarias mediante un cuello de botella latente, y en ViT-22B, un transformer de visión de 22 mil millones de parámetros que logró un rendimiento sólido en diversos puntos de referencia. Su trabajo a menudo enfatizó la importancia de la escala y los datos, en línea con las tendencias más amplias en Machine learning en Google Brain.
Dosovitskiy también contribuyó al desarrollo de pipelines de entrenamiento optimizados para unidades de procesamiento tensorial, lo que permitió el entrenamiento eficiente de modelos grandes. Su investigación ha sido ampliamente citada, y ha presentado sus trabajos en conferencias importantes como NeurIPS, ICML y CVPR. A partir de 2024, continúa trabajando en el campo, aunque sus afiliaciones y proyectos específicos han evolucionado.
Reconocimiento y legado
El artículo del Vision Transformer se considera un trabajo fundacional en la visión por computador moderna. Ha sido citado miles de veces y ha influido tanto en la investigación académica como en las aplicaciones industriales. Las contribuciones de Dosovitskiy han sido reconocidas con diversos premios e invitaciones, incluida su inclusión en la lista de los 35 innovadores menores de 35 años del MIT Technology Review en 2021. Su trabajo ejemplifica la polinización cruzada entre el procesamiento del lenguaje natural y la visión por computador, un sello distintivo de la investigación contemporánea en IA.
El legado de Dosovitskiy radica en demostrar que una única arquitectura puede manejar múltiples modalidades, allanando el camino para modelos unificados que procesan texto, imágenes y otros tipos de datos. Esta idea es central para el desarrollo de sistemas de IA generativa, como GPT-4V de OpenAI y Gemini de Google DeepMind, que integran capacidades de visión y lenguaje. Su investigación continúa inspirando a nuevas generaciones de investigadores que exploran los límites de los modelos basados en transformers.