Andrew McCallum은 매사추세츠 대학교 애머스트의 컴퓨터 과학 교수로, 지능 정보 검색 센터(CIIR)를 이끌고 있다. 그의 연구는 기계 학습, 자연어 처리(NLP), 정보 추출에 초점을 맞추며, 특히 확률적 그래픽 모델과 이를 텍스트 및 웹 데이터에 적용하는 데 중점을 둔다. McCallum은 조건부 무작위장, 준지도 학습, 용어 추출과 같은 분야에 영향력 있는 기여를 했으며, 기계 학습과 언어 이해의 현대적 교차점을 형성하는 데 도움을 주었다.
1960년대 초에 태어난 McCallum은 1985년에 오벌린 칼리지에서 컴퓨터 과학 학사 학위를 받았다. 이후 토론토 대학교에서 1988년에 컴퓨터 과학 석사, 1995년에 박사 학위를 각각 취득했다. 박사 과정 동안 David H. D. Warren의 지도 아래 자연어 데이터에서 구문 분석 및 학습의 효율적인 접근 방식을 탐구했다. 졸업 후에는 카네기 멜론 대학교 컴퓨터 과학 대학에서 2년간 박사후 연구원으로 재직하며 통계 모델을 사용한 텍스트 분류와 정보 추출에 관한 연구를 수행했다.
학문적 경력 및 연구 기여
McCallum은 1996년에 MIT 컴퓨터 과학 및 인공 지능 연구소의 연구 과학자로 합류하여 1999년까지 재직했다. MIT에서 그는 이메일 및 문서 필터링에 나이브 베이즈 분류기를 대중화한 Rainbows 텍스트 분류 시스템을 개발했으며, 교차 도메인 및 준지도 학습 방법을 탐구했다. 1999년에는 펜실베이니아주 피츠버그에 있는 독립 연구소(이후 신경 기반 인지 센터로 알려짐)의 선임 연구 과학자가 되었고, 과학 문헌에서 정보 추출을 위해 제록스 팔로알토 연구 센터와 협력을 시작했다.
2004년에 McCallum은 UMass 애머스트로 부교수로 이동했으며, 2007년부터 정교수로 재직하고 있다. UMass에서 그는 정보 추출 및 합성 연구소(IESL)를 설립했고, 국립 과학 재단, DARPA, 민간 재단이 자금을 지원한 수많은 프로젝트의 책임 연구원으로 활동했다. UMass에서의 초기 연구는 2001년 John Lafferty와 Fernando Pereira와 함께 공동 발명한 "조건부 무작위장"(CRF) 개념을 도입했다. CRF는 개체명 인식 및 품사 태깅과 같은 순차적 레이블링 작업의 기초 기술이 되었으며, 현대 NLP 파이프라인에서 널리 사용된다.
주요 알고리즘 및 모델
McCallum은 CRF 외에도 여러 영향력 있는 알고리즘을 개발했다. "레이블된 데이터를 사용한 기대 최대화" 및 그래프 기반 방법을 포함한 준지도 학습 연구는 레이블되지 않은 데이터를 활용하여 모델 성능을 향상시키는 기술을 확립하는 데 기여했다. 그는 또한 다중 레이블 분류를 위한 계층적 토픽 모델(예: "디리클레 과정 혼합" 및 "Machado 유사")과 변분 방법을 사용한 그래픽 모델의 확장 가능한 추론에 대해 연구했다. 2010년대에는 그의 그룹이 인용 구문 분석 및 엔터티 해결에 적용된 합성곱 및 순환 아키텍처를 포함한 딥 러닝 접근 방식을 정보 추출에 탐구했다. 주목할 만한 기여로는 McCallum이 word2vec와 병행하여 연구한 신경 임베딩을 통한 "단어 표현"과 관계 추출을 위해 기존 지식 베이스를 사용하여 훈련 데이터를 자동으로 레이블링하는 "원격 감독" 작업이 있다.
NLP 및 공개 데이터에서의 리더십
McCallum은 NLP에서 데이터 공유와 재현성을 위한 저명한 조직자이자 옹호자였다. 그는 정보 추출 및 합성 연구소의 "데이터 공개" 이니셔티브의 공동 창립자로, "제인 오스틴 코퍼스"와 인용 추출을 위한 "PubMed" 데이터셋을 포함한 대규모 벤치마크를 연구 커뮤니티에 제공했다. 그는 NeurIPS(당시 NIPS), ICML, 컴퓨터 언어학 협회(ACL)와 같은 주요 학회의 프로그램 위원회에서 활동했으며, 미국 인공 지능 협회(AAAI) 이사회의 일원이었다. 2019년에는 NeurIPS에서 딥 러닝 NLP 워크숍을 공동 조직했으며, 이후 OpenAI, Google DeepMind, Anthropic에서 근무하게 된 한 세대의 학생들을 멘토링했다.
최근 연구 및 협력
최근 몇 년 동안 McCallum의 연구는 다중 모달 및 생물 의학 응용 분야로 확장되었다. 그는 UMass 의과대학 및 브로드 연구소의 동료들과 협력하여 임상 기록 및 유전체 문헌을 위한 정보 추출 도구를 구축했으며, 전자 건강 기록에서 표현형 분석을 위한 Lympo 시스템을 포함한다. 또한 여러 AI 스타트업의 컨설턴트로 활동하며 알고리즘의 투명성과 공정성에 관한 정책 논의에 적극적으로 참여하고 있다. 2024년 현재 McCallum은 기계 학습 및 NLP 과정을 가르치고, 박사 과정 학생들을 지도하며, 과학적 발견 작업에 대규모 언어 모델을 적용하는 다중 모달 학습 프로젝트(MLSciNet)를 이끌고 있다. 그의 연구는 2017년 ACM SIGKDD 시간의 시험상(2005년 "캐스케이드 분류기" 논문과 2001년 CRF 논문)으로 인정받았으며, AAAI 및 ACL의 펠로우로 선정되었다.