IBM Watson은 자연어로 제기된 질문에 답할 수 있는 컴퓨터 시스템으로, IBM의 DeepQA 프로젝트의 일환으로 수석 연구원 데이비드 페루치(David Ferrucci)의 지휘 아래 개발되었다. IBM의 창립자 토머스 J. 왓슨(Thomas J. Watson)의 이름을 따서 명명된 이 시스템은 퀴즈 쇼 《제퍼디!》(Jeopardy!)에 출전하도록 설계되었으며, 2011년 2월 방영된 경기에서 챔피언 브래드 러터(Brad Rutter)와 켄 제닝스(Ken Jennings)와 맞붙었다. 왓슨은 1위 상금인 미화 1백만 달러를 차지하며 인공지능과 질의응답 분야에서 상당한 진전을 입증했다.
왓슨의 아키텍처는 자연어 처리, 정보 검색, 지식 표현, 자동 추론, 머신 러닝을 포함한 여러 기술을 통합했다. IBM은 왓슨이 자연어를 분석하고 가설을 생성하며 증거를 순위화하기 위해 "100가지 이상의 다양한 기법"을 사용했다고 밝혔다. 이 시스템은 DeepQA 소프트웨어와 Apache UIMA 프레임워크를 기반으로 구축되었으며, Java, C++, Prolog로 작성되었고, 분산 컴퓨팅을 위해 Apache Hadoop과 함께 SUSE Linux Enterprise Server 11에서 실행되었다.
하드웨어 및 성능
왓슨은 각각 3.5GHz POWER7 8코어 프로세서와 코어당 4개의 스레드를 갖춘 IBM Power 750 서버 90대의 클러스터를 사용했으며, 총 2,880개의 프로세서 스레드와 16테라바이트의 RAM을 갖추었다. 이 시스템은 초당 500기가바이트를 처리했으며, 이는 책 1백만 권에 해당하는 양이고, Linpack 성능은 80테라플롭스였다. 하드웨어 비용은 약 3백만 달러로 추산되었다. 제퍼디! 경기에서는 모든 콘텐츠가 RAM에 저장되었는데, 하드 드라이브는 인간 챔피언과 경쟁하기에는 너무 느렸기 때문이다.
데이터 및 지식 소스
왓슨의 지식 베이스에는 백과사전, 사전, 유의어 사전, 통신사 기사, 문학 작품뿐만 아니라 DBpedia, WordNet, YAGO와 같은 데이터베이스와 온톨로지가 포함되었다. IBM 팀은 지식을 구축하기 위해 수백만 개의 문서를 제공했다. 왓슨은 질문을 키워드와 문장 조각으로 구문 분석하고, 동시에 수백 개의 언어 분석 알고리즘을 실행했다. 독립적으로 동일한 답을 찾는 알고리즘이 많을수록 신뢰도는 더 높아졌다.
전략 및 인간과의 비교
왓슨에는 베팅 및 데일리 더블 감지를 위한 전략 모듈이 포함되었다. 한 모듈은 신뢰도 점수와 참가자 순위를 기반으로 최종 제퍼디 베팅액을 계산했다. 다른 모듈은 베이즈 규칙을 사용하여 공개되지 않은 데일리 더블의 확률을 추정했으며, 베팅은 TD-Gammon과 유사한 2계층 신경망으로 계산되었다. 왓슨의 버저 반응 시간은 반응할 때 인간보다 빨랐지만, 준비 신호를 예측할 수는 없었다. 왓슨은 인간의 맥락 이해 능력은 부족했지만 심리적 전술에는 면역이었다. 모의 경기에서 인간은 왓슨의 6~7초 처리 시간을 이용해 먼저 버저를 눌렀지만, 실제 경기에서는 왓슨의 속도와 정확성이 우세했다.
유산 및 상업적 응용
2013년 2월, IBM은 왓슨의 첫 상업적 응용으로 메모리얼 슬로언 케터링 암 센터(Memorial Sloan Kettering Cancer Center)에서 폐암 치료 결정을 지원하는 것을 발표했으며, 이는 웰포인트(WellPoint, 현재 Elevance Health)와 협력한 것이었다. 그러나 왓슨 헬스( Watson Health) 사업부는 2022년에 분사되어 프란시스코 파트너스(Francisco Partners)에 1억 달러에 매각되었으며, 개발에는 4억 달러가 소요되었다. 2023년까지 왓슨은 IBM의 주가 10% 하락과 대규모 해고에 기여했다. 이러한 좌절에도 불구하고, 2011년 제퍼디! 우승은 Artificial intelligence 및 Machine learning 분야의 이정표로 남아 있으며, 이후 Deep learning 및 Natural language processing의 발전에 영향을 미쳤다.