Tomáš Mikolov est un informaticien tchèque reconnu pour ses contributions aux modèles d'apprentissage automatique et aux modèles de langage à réseaux de neurones. Il est surtout connu comme l'auteur principal de l'article de 2013 qui a introduit word2vec, une technique pour apprendre des représentations vectorielles de mots à partir de texte, devenue un outil fondamental en traitement du langage naturel et en apprentissage profond. Ses recherches ultérieures incluent des travaux sur fastText et les représentations de mots multilingues.
Mikolov a obtenu son doctorat à l'Université de technologie de Brno et a occupé des postes de recherche chez Microsoft Research, Google Brain et Facebook AI Research. En 2020, il a rejoint l'Institut tchèque d'informatique, de robotique et de cybernétique à l'Université technique tchèque de Prague, où il dirige un groupe de recherche axé sur les modèles mathématiques évolutifs.
Carrière
Au cours de ses études doctorales à l'Université de technologie de Brno, Mikolov a passé du temps à l'Université Johns Hopkins, avec une visite organisée grâce au soutien de Sanjeev Khudanpur et Frederick Jelinek. Il a également passé plusieurs mois dans le laboratoire d'apprentissage automatique de Yoshua Bengio à l'Université de Montréal, où il a travaillé sur les modèles de langage à réseaux de neurones récurrents.
Après avoir terminé son doctorat en 2012, Mikolov a rejoint Google Brain, faisant partie de l'écosystème de recherche en IA de Google. En 2014, il a déménagé à Facebook AI Research (FAIR), où il a travaillé sur le traitement du langage naturel et la recherche plus large en intelligence artificielle. Son temps chez FAIR a inclus des collaborations sur la classification de texte efficace et les plongements multilingues.
En 2020, Mikolov est retourné en République tchèque et a rejoint l'Institut tchèque d'informatique, de robotique et de cybernétique à l'Université technique tchèque de Prague. Il a établi un groupe de recherche étudiant des modèles mathématiques capables d'augmenter en complexité, visant à améliorer l'évolutivité et l'efficacité en apprentissage automatique. En 2025, il a cofondé BottleCap AI, une entreprise basée à Prague développant des modèles de fondation efficaces.
Contributions de recherche
Les premiers travaux de Mikolov se sont concentrés sur l'application de réseaux de neurones récurrents à la modélisation du langage. Sa thèse de doctorat de 2012, Statistical Language Models Based on Neural Networks, a examiné les approches de réseaux de neurones pour prédire des séquences de texte, s'appuyant sur des travaux antérieurs en apprentissage séquence à séquence et en entraînement de modèles de langage.
Chez Google, il a dirigé le développement de word2vec, une méthode pour apprendre des représentations vectorielles de mots à partir de grandes collections de texte. L'approche utilisait des réseaux de neurones peu profonds pour produire des représentations vectorielles denses de mots, capturant des relations sémantiques et syntaxiques. Un article de suivi, Distributed Representations of Words and Phrases and their Compositionality, a introduit des techniques telles que l'échantillonnage négatif et le sous-échantillonnage de mots fréquents, améliorant l'efficacité et la qualité de l'entraînement. Cet article a reçu le prix Test of Time de NeurIPS 2023.
Pendant son temps chez Facebook AI Research, Mikolov a co-écrit des travaux sur fastText, y compris des méthodes pour la classification de texte et les représentations de mots basées sur des sous-mots de caractères. Cela a permis au modèle de gérer les mots hors vocabulaire et les langues morphologiquement riches. Il a également travaillé sur la mise en correspondance des représentations de mots entre langues, permettant la construction de dictionnaires bilingues et améliorant les systèmes de traduction automatique statistique sans corpus parallèles.
Impact et héritage
Word2vec est devenu une pierre angulaire de la recherche moderne en apprentissage profond, influençant les développements ultérieurs dans les architectures de transformeurs et l'entraînement des grands modèles de langage. Les représentations vectorielles produites par word2vec ont été largement adoptées pour des tâches telles que l'analyse des sentiments, la recherche d'informations et la traduction automatique. L'accent mis par Mikolov sur des méthodes efficaces et évolutives a anticipé le passage vers des systèmes pratiques de IA générative.
Son travail sur fastText a contribué à une classification de texte efficace dans des contextes à ressources limitées, et ses recherches sur les représentations vectorielles multilingues ont ouvert des voies pour le traitement des langues à faibles ressources. Au début des années 2020, ses publications restaient parmi les plus citées dans le domaine du apprentissage automatique.
Travaux actuels
À l'Institut tchèque d'informatique, de robotique et de cybernétique, le groupe de Mikolov explore des modèles capables de croître en complexité, abordant potentiellement les limites des réseaux de neurones à capacité fixe. BottleCap AI, cofondée en 2025, se concentre sur le développement de modèles de fondation efficaces, poursuivant son intérêt pour la réduction des coûts computationnels tout en maintenant la performance. Ses recherches en cours visent à combler les perspectives théoriques avec des applications pratiques en intelligence artificielle.