Dmitry Krotov é um cientista pesquisador no MIT-IBM Watson AI Lab, onde investiga aspectos teóricos e algorítmicos da inteligência artificial. Sua pesquisa foca em modelos baseados em energia, regras de aprendizado biologicamente plausíveis e os fundamentos matemáticos do aprendizado profundo. Krotov é conhecido por desenvolver novas arquiteturas de redes neurais inspiradas na neurociência e por avançar a compreensão de como redes neurais podem aprender de forma mais eficiente.
O trabalho de Krotov situa-se na interseção entre a teoria do aprendizado de máquina e a neurociência computacional. Ele contribuiu para o desenvolvimento de modelos de memória associativa, incluindo as redes de Hopfield modernas, que têm implicações para modelos de linguagem de grande escala e arquiteturas de transformadores. Sua pesquisa frequentemente enfatiza abordagens fundamentadas para o aprendizado que vão além da retropropagação padrão, explorando alternativas enraizadas em regras de aprendizado locais e minimização de energia.
Educação e Início de Carreira
Krotov obteve seu doutorado em física teórica, onde trabalhou em problemas de física da matéria condensada e teoria quântica de campos. Sua transição para o aprendizado de máquina foi impulsionada por um interesse nos princípios físicos subjacentes ao processamento de informações. Antes de ingressar no MIT-IBM Watson AI Lab, ele ocupou posições de pesquisa que combinavam sua formação em física com questões emergentes em inteligência artificial. Esse caminho interdisciplinar informou seus trabalhos posteriores sobre modelos baseados em energia, que têm conexões profundas com a física estatística.
Modelos Baseados em Energia e Redes de Hopfield
Um tema central da pesquisa de Krotov é a teoria e a aplicação de modelos baseados em energia. Esses modelos definem uma função escalar de energia sobre o espaço de estados de um sistema, com o aprendizado visando moldar essa paisagem para que configurações desejadas tenham baixa energia. As contribuições de Krotov incluem o desenvolvimento de redes de Hopfield modernas, que estendem os modelos clássicos de memória associativa para lidar com padrões de valores contínuos e escalar para grandes conjuntos de dados. Essas redes mostraram estar intimamente relacionadas aos mecanismos de atenção em transformadores, fornecendo uma ponte teórica entre modelos de memória e sistemas modernos de IA generativa.
Seu trabalho demonstrou que certos tipos de redes de Hopfield podem ser interpretados como realizando recuperação iterativa de padrões armazenados, um processo análogo à operação de atenção em transformadores. Essa percepção ajudou a unificar linhas de pesquisa díspares e influenciou trabalhos subsequentes sobre arquiteturas neurais aumentadas por memória.
Aprendizado Inspirado na Biologia
Krotov também explorou regras de aprendizado mais biologicamente plausíveis do que a retropropagação de erro. A retropropagação padrão requer informações globais sobre o erro de saída da rede, que não estão prontamente disponíveis em neurônios biológicos. A pesquisa de Krotov investigou regras de aprendizado locais, como aprendizado hebbiano contrastivo e codificação preditiva, que dependem apenas de informações disponíveis em sinapses individuais. Essas abordagens oferecem vantagens potenciais em termos de eficiência energética e paralelismo, e fornecem um quadro para entender como cérebros biológicos podem implementar o aprendizado.
Seu trabalho nessa área incluiu análises teóricas do poder computacional de tais regras locais e demonstrações de que elas podem treinar redes profundas para desempenho competitivo em benchmarks padrão. Essa linha de pesquisa é relevante para o objetivo mais amplo de construir sistemas de aprendizado de máquina mais eficientes e robustos.
Impacto e Reconhecimento
Os artigos de Krotov foram publicados em conferências e periódicos líderes de aprendizado de máquina, incluindo NeurIPS, ICLR e Physical Review Letters. Sua pesquisa sobre redes de Hopfield modernas foi amplamente citada e gerou trabalhos de acompanhamento tanto na academia quanto na indústria. Ele é um palestrante convidado frequente em workshops e simpósios sobre aprendizado de máquina teórico e neurociência computacional. Suas contribuições foram reconhecidas por meio de várias honrarias acadêmicas, e ele atua como revisor e área chair em grandes conferências de IA.
Direções Atuais
No MIT-IBM Watson AI Lab, Krotov continua a buscar questões fundamentais sobre aprendizado e memória em sistemas neurais. Seus interesses atuais incluem escalar modelos baseados em energia para problemas de grande escala, desenvolver novas arquiteturas que combinem os pontos fortes da memória associativa e do aprendizado profundo, e entender os limites teóricos de algoritmos inspirados na biologia. Ele colabora com pesquisadores do MIT-CSAIL e da IBM, contribuindo para um ecossistema vibrante de pesquisa em IA na área de Boston.
O trabalho de Krotov exemplifica uma abordagem informada pela física para a IA, onde conceitos da mecânica estatística e de sistemas dinâmicos são usados para derivar novos algoritmos e percepções teóricas. À medida que o campo da inteligência artificial continua a evoluir, suas contribuições para os fundamentos teóricos do aprendizado permanecem influentes.