Dmitry Krotov est un chercheur scientifique au MIT-IBM Watson AI Lab, où il étudie les aspects théoriques et algorithmiques de l'intelligence artificielle. Ses recherches portent sur les modèles basés sur l'énergie, les règles d'apprentissage biologiquement plausibles et les fondements mathématiques de l'apprentissage profond. Krotov est connu pour avoir développé de nouvelles architectures de réseaux de neurones inspirées des neurosciences et pour avoir fait progresser la compréhension de la manière dont les réseaux de neurones peuvent apprendre plus efficacement.
Les travaux de Krotov se situent à l'intersection de la théorie de l'apprentissage automatique et des neurosciences computationnelles. Il a contribué au développement de modèles de mémoire associative, y compris les réseaux de Hopfield modernes, qui ont des implications pour les grands modèles de langage et les architectures de transformeurs. Ses recherches mettent souvent l'accent sur des approches fondées sur des principes pour l'apprentissage qui vont au-delà de la rétropropagation standard, explorant des alternatives ancrées dans des règles d'apprentissage locales et la minimisation de l'énergie.
Éducation et début de carrière
Krotov a obtenu son doctorat en physique théorique, où il a travaillé sur des problèmes de physique de la matière condensée et de théorie quantique des champs. Sa transition vers l'apprentissage automatique a été motivée par un intérêt pour les principes physiques sous-jacents au traitement de l'information. Avant de rejoindre le MIT-IBM Watson AI Lab, il a occupé des postes de recherche qui combinaient son bagage en physique avec des questions émergentes en intelligence artificielle. Ce parcours interdisciplinaire a informé ses travaux ultérieurs sur les modèles basés sur l'énergie, qui ont des liens profonds avec la physique statistique.
Modèles basés sur l'énergie et réseaux de Hopfield
Un thème central de la recherche de Krotov est la théorie et l'application des modèles basés sur l'énergie. Ces modèles définissent une fonction d'énergie scalaire sur l'espace des états d'un système, l'apprentissage visant à façonner ce paysage afin que les configurations souhaitées aient une faible énergie. Les contributions de Krotov incluent le développement de réseaux de Hopfield modernes, qui étendent les modèles classiques de mémoire associative pour traiter des motifs à valeurs continues et s'adapter à de grands ensembles de données. Il a été démontré que ces réseaux sont étroitement liés aux mécanismes d'attention dans les transformeurs, fournissant un pont théorique entre les modèles de mémoire et les systèmes modernes de IA générative.
Ses travaux ont démontré que certains types de réseaux de Hopfield peuvent être interprétés comme effectuant une récupération itérative de motifs stockés, un processus analogue à l'opération d'attention dans les transformeurs. Cette perspective a aidé à unifier des lignes de recherche disparates et a influencé les travaux ultérieurs sur les architectures neuronales augmentées par la mémoire.
Apprentissage inspiré de la biologie
Krotov a également exploré des règles d'apprentissage plus biologiquement plausibles que la rétropropagation de l'erreur. La rétropropagation standard nécessite des informations globales sur l'erreur de sortie du réseau, qui ne sont pas facilement disponibles dans les neurones biologiques. Les recherches de Krotov ont étudié des règles d'apprentissage locales, telles que l'apprentissage hebbien contrastif et le codage prédictif, qui reposent uniquement sur les informations disponibles au niveau des synapses individuelles. Ces approches offrent des avantages potentiels en termes d'efficacité énergétique et de parallélisme, et elles fournissent un cadre pour comprendre comment les cerveaux biologiques pourraient implémenter l'apprentissage.
Ses travaux dans ce domaine ont inclus des analyses théoriques de la puissance de calcul de ces règles locales et des démonstrations qu'elles peuvent entraîner des réseaux profonds à des performances compétitives sur des références standard. Cette ligne de recherche est pertinente pour l'objectif plus large de construire des systèmes de apprentissage automatique plus efficaces et robustes.
Impact et reconnaissance
Les articles de Krotov ont été publiés dans les principales conférences et revues d'apprentissage automatique, notamment NeurIPS, ICLR et Physical Review Letters. Ses recherches sur les réseaux de Hopfield modernes ont été largement citées et ont suscité des travaux de suivi tant dans le milieu académique que dans l'industrie. Il est un conférencier invité fréquent lors d'ateliers et de symposiums sur l'apprentissage automatique théorique et les neurosciences computationnelles. Ses contributions ont été reconnues par diverses distinctions académiques, et il sert de relecteur et de président de domaine pour les grandes conférences en IA.
Directions actuelles
Au MIT-IBM Watson AI Lab, Krotov continue de poursuivre des questions fondamentales sur l'apprentissage et la mémoire dans les systèmes neuronaux. Ses intérêts actuels incluent la mise à l'échelle des modèles basés sur l'énergie pour des problèmes à grande échelle, le développement de nouvelles architectures qui combinent les forces de la mémoire associative et de l'apprentissage profond, et la compréhension des limites théoriques des algorithmes inspirés de la biologie. Il collabore avec des chercheurs à travers le MIT-CSAIL et IBM, contribuant à un écosystème dynamique de recherche en IA dans la région de Boston.
Les travaux de Krotov illustrent une approche de l'IA informée par la physique, où des concepts de la mécanique statistique et des systèmes dynamiques sont utilisés pour dériver de nouveaux algorithmes et des perspectives théoriques. Alors que le domaine de l'intelligence artificielle continue d'évoluer, ses contributions aux fondements théoriques de l'apprentissage restent influentes.