Alex Krizhevsky es un informático canadiense conocido principalmente por su trabajo en redes neuronales artificiales y aprendizaje profundo. En 2012, Krizhevsky, Ilya Sutskever y su supervisor de doctorado, Geoffrey Hinton, en la Universidad de Toronto, desarrollaron una potente red de reconocimiento visual llamada AlexNet utilizando solo dos tarjetas GPU de la marca GeForce. Esto revolucionó la investigación en redes neuronales, ya que anteriormente estas se entrenaban en CPU. La transición a las GPU abrió el camino para el desarrollo de modelos avanzados de IA.
Krizhevsky también es el autor principal de los conjuntos de datos CIFAR-10 y CIFAR-100, puntos de referencia ampliamente utilizados en aprendizaje automático y visión por computadora. Sus numerosos artículos sobre estos temas son citados con frecuencia por otros investigadores.
Desarrollo de AlexNet
Motivado por Sutskever e inspirado por Hinton, Krizhevsky desarrolló AlexNet para ampliar los límites en el reconocimiento y la clasificación de imágenes. Basándose en redes neuronales convolucionales y en el enfoque de red neuronal profunda de Sutskever, que profundizaba las capas neuronales mucho más allá de lo convencional en esa época - además de añadir Dropout para la resiliencia durante el entrenamiento - AlexNet ganó el desafío ImageNet en 2012. El equipo presentó su artículo sobre AlexNet en NeurIPS (NIPS) 2012.
La arquitectura de la red incorporó varias innovaciones que se convirtieron en estándar en modelos posteriores de aprendizaje profundo. Utilizó unidades lineales rectificadas (ReLU) para un entrenamiento más rápido, agrupación superpuesta para reducir el sobreajuste y técnicas de aumento de datos para incrementar el tamaño efectivo del conjunto de entrenamiento. El uso de dos GPU permitió entrenar el modelo a una escala que antes era impracticable solo con CPU.
Transición a la industria
Poco después del debut de AlexNet, Krizhevsky y Sutskever vendieron su empresa emergente, DNN Research Inc., a Google. En Google, Krizhevsky continuó trabajando en aplicaciones de aprendizaje profundo, contribuyendo a proyectos que más tarde influirían en el desarrollo de sistemas de IA a gran escala. Dejó Google en septiembre de 2017 tras perder interés en el trabajo, para incorporarse a la empresa Dessa en apoyo de nuevas técnicas de aprendizaje profundo.
Su paso a la industria reflejó una tendencia más amplia a mediados de la década de 2010, cuando investigadores académicos en aprendizaje profundo se unieron cada vez más a empresas tecnológicas para aplicar sus hallazgos a productos del mundo real. Este período vio una rápida comercialización de la investigación en redes neuronales, con aplicaciones que iban desde el reconocimiento de imágenes hasta el procesamiento del lenguaje natural.
Legado e impacto
A AlexNet se le atribuye ampliamente el haber desencadenado la revolución del aprendizaje profundo. Su éxito demostró la eficacia de las redes neuronales profundas entrenadas en GPU, lo que condujo a un progreso rápido en múltiples dominios de la inteligencia artificial más allá de la visión por computadora. Las técnicas y el impulso generados por AlexNet ayudaron a dar forma al desarrollo de modelos modernos de procesamiento del lenguaje natural, incluidos los modelos basados en transformadores a gran escala, como BERT y GPT, que impulsan herramientas como ChatGPT.
El cambio hacia el entrenamiento basado en GPU que AlexNet pionerizó se convirtió en una práctica fundamental en el campo. Avances posteriores, como la normalización por lotes y las redes residuales, se basaron directamente en los cimientos establecidos por Krizhevsky y sus colegas. Los conjuntos de datos CIFAR que él creó siguen siendo puntos de referencia estándar para evaluar nuevos algoritmos en clasificación de imágenes.
Contribuciones a la investigación
Más allá de AlexNet, el trabajo de Krizhevsky sobre técnicas de aumento de datos y inicialización de pesos influyó en cómo se entrenan las redes neuronales. Sus artículos sobre estos temas se encuentran entre los más citados en el campo, proporcionando orientación práctica para investigadores y profesionales. Los conjuntos de datos CIFAR-10 y CIFAR-100, que él creó, consisten en imágenes etiquetadas en múltiples categorías y se utilizan para probar el rendimiento de modelos de clasificación.
El enfoque de Krizhevsky, que combinaba pragmatismo ingenieril con visión teórica, ayudó a cerrar la brecha entre la investigación académica y la implementación práctica. Sus contribuciones siguen siendo referenciadas en la literatura moderna de aprendizaje automático, y su trabajo en la Universidad de Toronto sigue siendo un hito en la historia del desarrollo de la IA.