Tomáš Mikolov ist ein tschechischer Informatiker, der für seine Beiträge zu maschinellem Lernen und neuralen Netzwerk-Sprachmodellen bekannt ist. Er ist vor allem als Hauptautor des 2013 veröffentlichten Papers bekannt, das word2vec einführte, eine Technik zum Lernen von Wort-Einbettungen aus Texten, die zu einem grundlegenden Werkzeug in natürlicher Sprachverarbeitung und tiefem Lernen wurde. Seine spätere Forschung umfasst Arbeiten zu fastText und cross-lingualen Wortrepräsentationen.
Mikolov promovierte an der Technischen Universität Brünn und hatte Forschungspositionen bei Microsoft Research, Google Brain und Facebook AI Research inne. 2020 trat er dem Tschechischen Institut für Informatik, Robotik und Kybernetik an der Tschechischen Technischen Universität in Prag bei, wo er eine Forschungsgruppe leitet, die sich auf skalierbare mathematische Modelle konzentriert.
Karriere
Während seines Promotionsstudiums an der Technischen Universität Brünn verbrachte Mikolov Zeit an der Johns Hopkins University, wobei ein Besuch durch die Unterstützung von Sanjeev Khudanpur und Frederick Jelinek arrangiert wurde. Er verbrachte auch mehrere Monate im Labor für maschinelles Lernen von Yoshua Bengio an der Université de Montréal, wo er an rekurrenten neuronalen Netzwerk-Sprachmodellen arbeitete.
Nach Abschluss seiner Promotion im Jahr 2012 trat Mikolov Google Brain bei, Teil von Googles KI-Forschungsökosystem. 2014 wechselte er zu Facebook AI Research (FAIR), wo er an natürlicher Sprachverarbeitung und breiterer Forschung zu künstlicher Intelligenz arbeitete. Seine Zeit bei FAIR umfasste Kooperationen zu effizienter Textklassifikation und mehrsprachigen Einbettungen.
2020 kehrte Mikolov in die Tschechische Republik zurück und trat dem Tschechischen Institut für Informatik, Robotik und Kybernetik an der Tschechischen Technischen Universität in Prag bei. Er gründete eine Forschungsgruppe, die mathematische Modelle untersucht, die in ihrer Komplexität zunehmen können, mit dem Ziel, Skalierbarkeit und Effizienz im maschinellen Lernen zu verbessern. 2025 war er Mitbegründer von BottleCap AI, einem in Prag ansässigen Unternehmen, das effiziente Foundation-Modelle entwickelt.
Forschungsbeiträge
Mikolovs frühe Arbeit konzentrierte sich auf die Anwendung rekurrenter neuronaler Netze auf die Sprachmodellierung. Seine Dissertation von 2012, Statistical Language Models Based on Neural Networks, untersuchte Ansätze neuronaler Netze zur Vorhersage von Textsequenzen und baute auf früheren Arbeiten zum Sequenz-zu-Sequenz-Lernen und Training von Sprachmodellen auf.
Bei Google leitete er die Entwicklung von word2vec, einer Methode zum Lernen von Wort-Einbettungen aus großen Textsammlungen. Der Ansatz verwendete flache neuronale Netze, um dichte Vektorrepräsentationen von Wörtern zu erzeugen, die semantische und syntaktische Beziehungen erfassen. Ein Folgepaper, Distributed Representations of Words and Phrases and their Compositionality, führte Techniken wie negatives Sampling und Subsampling häufiger Wörter ein, die die Trainingseffizienz und -qualität verbesserten. Dieses Paper erhielt 2023 den NeurIPS Test of Time Award.
Während seiner Zeit bei Facebook AI Research war Mikolov Mitautor von Arbeiten zu fastText, einschließlich Methoden zur Textklassifikation und Wortrepräsentationen auf Basis von Zeichen-Subwörtern. Dies ermöglichte dem Modell den Umgang mit Wörtern außerhalb des Vokabulars und morphologisch reichen Sprachen. Er arbeitete auch an der Abbildung von Wortrepräsentationen zwischen Sprachen, was die Erstellung zweisprachiger Wörterbücher und die Verbesserung von Systemen zur statistischen maschinellen Übersetzung ohne parallele Korpora ermöglichte.
Auswirkungen und Vermächtnis
Word2vec wurde zu einem Eckpfeiler der modernen Tiefenlern-Forschung und beeinflusste spätere Entwicklungen in Transformer-Architekturen und dem Training von großen Sprachmodellen. Die von word2vec erzeugten Einbettungen wurden weitgehend für Aufgaben wie Stimmungsanalyse, Informationsabruf und maschinelle Übersetzung übernommen. Mikolovs Betonung effizienter, skalierbarer Methoden antizipierte die Verschiebung hin zu praktischen generativen KI-Systemen.
Seine Arbeit zu fastText trug zur effizienten Textklassifikation in ressourcenbeschränkten Umgebungen bei, und seine Forschung zu cross-lingualen Einbettungen eröffnete Wege für die Verarbeitung von Sprachen mit geringen Ressourcen. Bis in die frühen 2020er Jahre gehörten seine Veröffentlichungen zu den am häufigsten zitierten im Bereich des maschinellen Lernens.
Aktuelle Arbeit
Am Tschechischen Institut für Informatik, Robotik und Kybernetik erforscht Mikolovs Gruppe Modelle, die in ihrer Komplexität wachsen können, was möglicherweise Einschränkungen neuronaler Netze mit fester Kapazität adressiert. BottleCap AI, 2025 mitgegründet, konzentriert sich auf die Entwicklung effizienter Foundation-Modelle und setzt sein Interesse an der Reduzierung von Rechenkosten bei gleichzeitiger Aufrechterhaltung der Leistung fort. Seine laufende Forschung zielt darauf ab, theoretische Erkenntnisse mit praktischen Anwendungen in der künstlichen Intelligenz zu verbinden.