IBM Watson은 자연어로 제기된 질문에 답할 수 있는 컴퓨터 시스템이다. 이 시스템은 수석 연구원 David Ferrucci가 이끄는 연구팀이 IBM의 DeepQA 프로젝트의 일환으로 개발했다. Watson은 IBM의 창립자이자 초대 CEO인 산업가 Thomas J. Watson의 이름을 따서 명명되었다. 이 시스템은 처음에 퀴즈 쇼 Jeopardy!에 출전하도록 설계되었으며, 2011년 챔피언 Brad Rutter와 Ken Jennings를 물리치고 1위 상금인 미화 100만 달러를 획득했다. Watson의 성공은 개방형 도메인 질의응답에서 인공지능의 잠재력을 입증했으며, 의료와 같은 분야에서 상업적 응용을 촉발했다.
Watson의 아키텍처는 고급 자연어 처리 기술, 정보 검색, 지식 표현, 자동 추론을 통합한다. IBM은 Watson이 "자연어를 분석하고, 출처를 식별하며, 가설을 찾고 생성하고, 증거를 찾아 점수를 매기며, 가설을 병합하고 순위를 매기기 위해 100가지 이상의 다양한 기술을 사용한다"고 밝혔다. 시간이 지나면서 Watson의 기능은 확장되었고, 배포는 IBM Cloud로 전환되었으며, 진화된 머신 러닝과 최적화된 하드웨어를 갖추게 되었다.
소프트웨어
Watson의 핵심 소프트웨어는 Apache UIMA(비정형 정보 관리 아키텍처) 프레임워크를 기반으로 구축된 IBM의 DeepQA이다. 이 시스템은 Java, C++, Prolog를 포함한 여러 언어로 작성되었으며, 분산 컴퓨팅을 위해 Apache Hadoop과 함께 SUSE Linux Enterprise Server 11에서 실행되었다. DeepQA 외에도 Watson에는 전략 모듈이 포함되어 있었다. 예를 들어, 한 모듈은 신뢰 점수와 참가자 순위를 기반으로 Final Jeopardy 베팅을 계산했다. 다른 모듈은 J! Archive의 과거 데이터를 활용하여 Bayes의 규칙을 사용해 Daily Double의 확률을 추정했다. Daily Double이 발견되면 베팅은 1990년대 Gerald Tesauro가 개발한 백개먼 프로그램인 TD-Gammon에서 사용된 것과 유사한 2계층 신경망으로 계산되었다. 이러한 전략 매개변수는 J! Archive 데이터에 적합된 인간 참가자의 통계 모델에 대한 벤치마킹을 통해 조정되었다.
하드웨어
Watson은 대규모 병렬 POWER7 프로세서를 통합한 워크로드 최적화 시스템이었다. 각각 3.5GHz POWER7 8코어 프로세서와 코어당 4개 스레드를 갖춘 90대의 IBM Power 750 서버 클러스터를 사용하여 총 2,880개의 프로세서 스레드와 16테라바이트의 RAM을 제공했다. John Rennie에 따르면 Watson은 초당 500기가바이트(백만 권의 책에 해당)를 처리할 수 있었다. IBM 마스터 발명가 Tony Pearson은 하드웨어 비용을 약 300만 달러로 추산했다. Linpack 성능은 80테라플롭스로, Top 500 슈퍼컴퓨터 목록 기준의 약 절반이었다. Jeopardy!의 경우 모든 콘텐츠는 하드 드라이브가 실시간 응답에 너무 느리기 때문에 RAM에 저장되었다.
데이터
Watson의 지식 소스에는 백과사전, 사전, 유의어 사전, 통신사 기사, 문학 작품이 포함되었다. 또한 DBpedia, WordNet, YAGO와 같은 데이터베이스, 분류 체계, 온톨로지도 사용했다. IBM 팀은 Watson의 지식 기반을 구축하기 위해 수백만 개의 문서를 제공하여 광범위한 질문에 답할 수 있게 했다.
작동 방식
Watson은 질문을 키워드와 문장 조각으로 구문 분석하여 통계적으로 관련된 구문을 찾았다. 주요 혁신은 새로운 알고리즘이 아니라 수백 가지의 검증된 언어 분석 알고리즘을 동시에 실행하는 능력이었다. 더 많은 알고리즘이 독립적으로 동일한 답을 찾을수록 신뢰도가 높아졌다. Watson이 몇 가지 잠재적 해결책을 확보하면 데이터베이스와 대조하여 타당성을 판단했다.
인간 플레이어와의 비교
Watson은 인간 Jeopardy! 플레이어에 비해 장점과 단점이 있었다. 맥락 이해가 부족했고, 특히 짧은 단서에서 인간이 더 빠르게 응답하는 경우가 많았다. Watson의 프로그래밍은 확신이 생기기 전에 버저를 누르는 것을 방지했지만, 준비가 되면 반응 시간이 더 빨랐고 카테고리 점프와 같은 심리적 전술에 면역이 있었다. 모의 게임에서 인간은 Watson이 단서를 처리하는 데 필요한 6~7초를 사용하여 버저를 누를지 결정했다. Watson의 전자 회로는 준비 신호를 수신하고 버저를 누르기 전에 신뢰도를 평가하여, 인간이 신호를 예측하지 않는 한 반응이 더 빨랐다. Watson은 IBM의 텍스트 음성 변환 프로그램을 위해 배우 Jeff Woodman의 녹음을 합성한 전자 음성으로 말했다.
상업적 응용 및 매각
2013년 2월, IBM은 Watson의 첫 상업적 응용을 발표했다: WellPoint(현재 Elevance Health)와 협력한 Memorial Sloan Kettering Cancer Center의 폐암 치료 활용 관리 결정이었다. 2022년, IBM은 Watson Health 사업부를 Merative로 분사했으며, 이는 미국 사모펀드 회사인 Francisco Partners에 매각되었다. 이 사업부는 개발에 40억 달러가 들었지만 10억 달러에 매각되었다. 2023년까지 Watson은 IBM 주가의 10% 하락을 초래했고, 수익의 4배에 달하는 비용이 발생했으며, 대규모 해고로 이어졌다. 이러한 좌절에도 불구하고 Watson은 인공지능과 머신 러닝 역사에서 중요한 이정표로 남아 있다.