Tomáš Mikolov는 Machine learning 및 Neural network 언어 모델에 기여한 것으로 인정받는 체코의 컴퓨터 과학자이다. 그는 2013년 논문의 주 저자로 가장 잘 알려져 있으며, 해당 논문은 텍스트에서 단어 임베딩을 학습하는 기법인 word2vec을 소개했고, 이는 Natural language processing 및 Deep learning의 기초 도구가 되었다. 그의 이후 연구에는 fastText 및 교차 언어 단어 표현에 대한 작업이 포함된다.
Mikolov는 Brno University of Technology에서 박사 학위를 받았으며, Microsoft Research, Google Brain 및 Facebook AI Research에서 연구 직책을 역임했다. 2020년에는 프라하에 있는 Czech Technical University의 Czech Institute of Informatics, Robotics and Cybernetics에 합류하여 확장 가능한 수학적 모델에 중점을 둔 연구 그룹을 이끌고 있다.
경력
Brno University of Technology에서 박사 과정을 수행하는 동안 Mikolov는 Johns Hopkins University에서 시간을 보냈으며, 이 방문은 Sanjeev Khudanpur와 Frederick Jelinek의 지원으로 주선되었다. 그는 또한 Université de Montréal의 Yoshua Bengio 기계 학습 연구실에서 몇 달을 보내며 Recurrent neural network 언어 모델에 대해 작업했다.
2012년 박사 학위를 마친 후 Mikolov는 Google의 AI 연구 생태계의 일부인 Google Brain에 합류했다. 2014년에는 Facebook AI Research(FAIR)로 이동하여 Natural language processing 및 더 넓은 Artificial intelligence 연구에 참여했다. FAIR에서의 기간 동안 효율적인 텍스트 분류 및 다국어 임베딩에 대한 협업이 포함되었다.
2020년 Mikolov는 체코로 돌아와 프라하에 있는 Czech Technical University의 Czech Institute of Informatics, Robotics and Cybernetics에 합류했다. 그는 복잡성이 증가할 수 있는 수학적 모델을 조사하는 연구 그룹을 설립하여 Machine learning의 확장성과 효율성을 개선하는 것을 목표로 했다. 2025년에는 프라하에 기반을 둔 효율적인 기반 모델을 개발하는 회사인 BottleCap AI를 공동 설립했다.
연구 기여
Mikolov의 초기 연구는 언어 모델링에 순환 신경망을 적용하는 데 중점을 두었다. 그의 2012년 박사 논문인 Statistical Language Models Based on Neural Networks는 Sequence-to-Sequence (Seq2Seq) 학습 및 언어 모델 훈련의 초기 작업을 기반으로 텍스트 시퀀스 예측에 대한 신경망 접근 방식을 검토했다.
Google에서 그는 대규모 텍스트 모음에서 단어 임베딩을 학습하는 방법인 word2vec 개발을 주도했다. 이 접근 방식은 얕은 신경망을 사용하여 단어의 밀집 벡터 표현을 생성하고 의미 및 구문 관계를 포착했다. 후속 논문인 Distributed Representations of Words and Phrases and their Compositionality는 음수 샘플링 및 빈번한 단어의 하위 샘플링과 같은 기법을 도입하여 훈련 효율성과 품질을 개선했다. 이 논문은 2023년 NeurIPS Test of Time Award를 수상했다.
Facebook AI Research에 있는 동안 Mikolov는 fastText에 대한 작업을 공동 저술했으며, 여기에는 문자 하위 단어를 기반으로 한 텍스트 분류 및 단어 표현 방법이 포함되었다. 이를 통해 모델은 어휘 외 단어와 형태학적으로 풍부한 언어를 처리할 수 있었다. 그는 또한 언어 간 단어 표현 매핑에 대해 작업하여 병렬 말뭉치 없이 이중 언어 사전 구축과 통계적 기계 번역 시스템 개선을 가능하게 했다.
영향 및 유산
Word2vec은 현대 Deep learning 연구의 초석이 되었으며, 이후 Transformer (architecture) 아키텍처 및 Large language model 훈련의 발전에 영향을 미쳤다. word2vec에서 생성된 임베딩은 감정 분석, 정보 검색 및 Machine translation과 같은 작업에 널리 채택되었다. 효율적이고 확장 가능한 방법에 대한 Mikolov의 강조는 실용적인 Generative AI 시스템으로의 전환을 예고했다.
fastText에 대한 그의 작업은 자원이 제한된 환경에서 효율적인 텍스트 분류에 기여했으며, 교차 언어 임베딩 연구는 저자원 언어 처리의 길을 열었다. 2020년대 초 기준으로 그의 출판물은 Machine learning 분야에서 가장 많이 인용된 연구 중 하나로 남아 있다.
현재 작업
Czech Institute of Informatics, Robotics and Cybernetics에서 Mikolov의 그룹은 복잡성이 증가할 수 있는 모델을 탐구하며, 고정 용량 신경망의 한계를 해결할 가능성을 모색한다. 2025년에 공동 설립된 BottleCap AI는 효율적인 기반 모델 개발에 중점을 두고 있으며, 성능을 유지하면서 계산 비용을 줄이려는 그의 관심을 이어가고 있다. 그의 지속적인 연구는 Artificial intelligence의 이론적 통찰과 실용적 응용을 연결하는 것을 목표로 한다.