Dmitry Krotov es un científico investigador en el MIT-IBM Watson AI Lab, donde investiga aspectos teóricos y algorítmicos de la inteligencia artificial. Su investigación se centra en modelos basados en energía, reglas de aprendizaje biológicamente plausibles y los fundamentos matemáticos del aprendizaje profundo. Krotov es conocido por desarrollar arquitecturas novedosas de redes neuronales que se inspiran en la neurociencia y por avanzar en la comprensión de cómo las redes neuronales pueden aprender de manera más eficiente.
El trabajo de Krotov se sitúa en la intersección de la teoría del aprendizaje automático y la neurociencia computacional. Ha contribuido al desarrollo de modelos de memoria asociativa, incluidas las redes de Hopfield modernas, que tienen implicaciones para los modelos de lenguaje grandes y las arquitecturas de transformadores. Su investigación a menudo enfatiza enfoques basados en principios para el aprendizaje que van más allá de la retropropagación estándar, explorando alternativas arraigadas en reglas de aprendizaje locales y la minimización de energía.
Educación y Carrera Temprana
Krotov recibió su doctorado en física teórica, donde trabajó en problemas de física de la materia condensada y teoría cuántica de campos. Su transición al aprendizaje automático fue impulsada por un interés en los principios físicos subyacentes al procesamiento de la información. Antes de unirse al MIT-IBM Watson AI Lab, ocupó puestos de investigación que combinaban su formación en física con cuestiones emergentes en inteligencia artificial. Este camino interdisciplinario informó su trabajo posterior sobre modelos basados en energía, que tienen profundas conexiones con la física estadística.
Modelos Basados en Energía y Redes de Hopfield
Un tema central de la investigación de Krotov es la teoría y aplicación de los modelos basados en energía. Estos modelos definen una función de energía escalar sobre el espacio de estados de un sistema, con el aprendizaje orientado a dar forma a este paisaje para que las configuraciones deseadas tengan baja energía. Las contribuciones de Krotov incluyen el desarrollo de redes de Hopfield modernas, que extienden los modelos clásicos de memoria asociativa para manejar patrones de valores continuos y escalar a grandes conjuntos de datos. Se ha demostrado que estas redes están estrechamente relacionadas con los mecanismos de atención en los transformadores, proporcionando un puente teórico entre los modelos de memoria y los sistemas modernos de IA generativa.
Su trabajo demostró que ciertos tipos de redes de Hopfield pueden interpretarse como la realización de una recuperación iterativa de patrones almacenados, un proceso análogo a la operación de atención en los transformadores. Esta idea ha ayudado a unificar líneas de investigación dispares y ha influido en trabajos posteriores sobre arquitecturas neuronales aumentadas con memoria.
Aprendizaje Inspirado Biológicamente
Krotov también ha explorado reglas de aprendizaje más biológicamente plausibles que la retropropagación del error. La retropropagación estándar requiere información global sobre el error de salida de la red, que no está fácilmente disponible en las neuronas biológicas. La investigación de Krotov ha investigado reglas de aprendizaje locales, como el aprendizaje hebbiano contrastivo y la codificación predictiva, que dependen solo de la información disponible en las sinapsis individuales. Estos enfoques ofrecen ventajas potenciales en términos de eficiencia energética y paralelismo, y proporcionan un marco para comprender cómo los cerebros biológicos podrían implementar el aprendizaje.
Su trabajo en esta área ha incluido análisis teóricos del poder computacional de tales reglas locales y demostraciones de que pueden entrenar redes profundas hasta un rendimiento competitivo en puntos de referencia estándar. Esta línea de investigación es relevante para el objetivo más amplio de construir sistemas de aprendizaje automático más eficientes y robustos.
Impacto y Reconocimiento
Los artículos de Krotov se han publicado en las principales conferencias y revistas de aprendizaje automático, incluidas NeurIPS, ICLR y Physical Review Letters. Su investigación sobre las redes de Hopfield modernas ha sido ampliamente citada y ha provocado trabajos de seguimiento tanto en el mundo académico como en la industria. Es un orador invitado frecuente en talleres y simposios sobre aprendizaje automático teórico y neurociencia computacional. Sus contribuciones han sido reconocidas a través de varios honores académicos, y se desempeña como revisor y presidente de área en las principales conferencias de IA.
Direcciones Actuales
En el MIT-IBM Watson AI Lab, Krotov continúa persiguiendo cuestiones fundamentales sobre el aprendizaje y la memoria en sistemas neuronales. Sus intereses actuales incluyen escalar modelos basados en energía a problemas de gran escala, desarrollar nuevas arquitecturas que combinen las fortalezas de la memoria asociativa y el aprendizaje profundo, y comprender los límites teóricos de los algoritmos inspirados biológicamente. Colabora con investigadores de MIT-CSAIL e IBM, contribuyendo a un ecosistema vibrante de investigación en IA en el área de Boston.
El trabajo de Krotov ejemplifica un enfoque informado por la física para la IA, donde conceptos de la mecánica estadística y los sistemas dinámicos se utilizan para derivar nuevos algoritmos y conocimientos teóricos. A medida que el campo de la inteligencia artificial continúa evolucionando, sus contribuciones a los fundamentos teóricos del aprendizaje siguen siendo relevantes.