2011년 2월, DeepQA 프로젝트의 일환으로 개발된 IBM의 컴퓨터 시스템 왓슨(Watson)이 미국 퀴즈 쇼 제퍼디!(Jeopardy!)에서 가장 성공적인 챔피언 두 명인 브래드 러터(Brad Rutter)와 켄 제닝스(Ken Jennings)를 상대로 경쟁했다. 왓슨은 1위 상금인 미화 100만 달러를 획득하며 인공지능과 자연어 처리 분야의 상당한 진전을 입증했다. IBM의 창립자 토머스 J. 왓슨(Thomas J. Watson)의 이름을 딴 이 시스템은 수석 연구원 데이비드 페루치(David Ferrucci)가 주도했으며, 질의응답 기술의 이정표를 세웠다.
왓슨은 자연어로 제시된 질문에 답하도록 설계되었으며, 이는 맥락, 모호성, 뉘앙스를 이해해야 하는 작업이었다. 키워드 일치에 의존했던 초기 시스템과 달리, 왓슨은 기계 학습, 정보 검색, 자동 추론을 결합하여 가설을 생성하고 평가했다. 그 아키텍처는 방대한 양의 비정형 데이터를 처리하고 실시간으로 확신 있는 정확한 응답을 생성할 수 있게 했다.
개발 및 아키텍처
왓슨의 개발은 2006년 IBM의 DeepQA 프로젝트의 일환으로 시작되었으며, 제퍼디!에서 최고 수준으로 경쟁할 수 있는 시스템을 만드는 것을 목표로 했다. 소프트웨어는 Apache UIMA 프레임워크를 기반으로 구축되었고 Java, C++, Prolog를 포함한 여러 프로그래밍 언어로 작성되었다. SUSE Linux Enterprise Server 11에서 실행되었으며 분산 컴퓨팅을 위해 Apache Hadoop을 사용했다.
이 시스템은 언어 분석, 소스 식별, 가설 생성, 증거 평가를 위해 100가지 이상의 다양한 기법을 사용했다. 이러한 기법에는 통계적 파싱, 의미 분석, 지식 표현이 포함되었다. 왓슨은 또한 전략 모듈을 통합했는데, 예를 들어 신뢰 점수를 기반으로 Final Jeopardy 베팅을 계산하는 모듈과 베이즈 추론을 사용하여 Daily Double의 확률을 추정하는 모듈이 있었다. TD-Gammon에서 사용된 것과 유사한 신경망의 2계층 구조가 Daily Double이 발견되었을 때 베팅 금액을 결정했다.
하드웨어 및 성능
왓슨의 하드웨어는 각각 3.5GHz POWER7 8코어 프로세서와 코어당 4스레드를 갖춘 90대의 IBM Power 750 서버 클러스터였다. 이 구성은 2,880개의 프로세서 스레드와 16테라바이트의 RAM을 제공했다. 시스템은 초당 500기가바이트의 데이터를 처리할 수 있었으며, 이는 약 백만 권의 책에 해당하고 Linpack 성능은 80테라플롭스였다. 제퍼디! 게임 중에는 하드 드라이브 접근이 너무 느렸기 때문에 모든 콘텐츠가 RAM에 저장되었다.
하드웨어 비용은 약 300만 달러로 추산되었다. 왓슨의 설계는 병렬 처리와 빠른 데이터 검색을 우선시하여 백과사전, 사전, 뉴스 기사를 포함한 수백만 개의 문서를 수초 내에 분석할 수 있게 했다.
제퍼디! 경쟁
제퍼디! 경쟁에서 왓슨은 쇼에서 300만 달러 이상을 획득한 브래드 러터와 최장 연승 기록을 보유한 켄 제닝스를 상대했다. 이 이벤트는 2011년 2월에 방영된 두 개의 에피소드로 구성되었다. 왓슨의 성과는 일관된 버저 속도와 신뢰 기반 신호 전달로 주목할 만했다. 인간보다 버저 반응이 빨랐지만, 짧은 단서에서는 때때로 망설이기도 했다.
왓슨의 전략은 답에 확신이 있을 때까지 버저를 누르지 않는 것이었으며, 이는 오답의 위험을 줄였다. 또한 J! Archive의 과거 데이터를 사용하여 Daily Double 위치를 예측했다. 가끔 오류가 있었지만 왓슨은 100만 달러를 획득하며 압도적으로 승리했고, 제닝스와 러터는 각각 30만 달러와 20만 달러를 받았다.
여파 및 유산
이 승리는 실세계 응용 분야에서 AI의 잠재력을 부각시켰다. 2013년 2월, IBM은 왓슨의 첫 상업적 응용을 발표했다: WellPoint(현재 Elevance Health)와 협력하여 Memorial Sloan Kettering Cancer Center에서 폐암 치료 결정을 지원하는 것이었다. 이는 게임 쇼 성공에서 의료 분야의 실용적 사용으로의 전환을 의미했다.
그러나 왓슨의 상업적 여정은 어려움에 직면했다. 2022년, IBM은 Watson Health 부문을 매각했으며, 이는 개발 비용 40억 달러가 소요된 후 약 10억 달러에 Francisco Partners에 인수되었다. 2023년까지 왓슨은 IBM 주가 10% 하락에 기여했고 대규모 해고를 초래했다. 이러한 좌절에도 불구하고 왓슨은 특히 대규모 언어 모델과 생성형 AI 분야의 후속 AI 연구 및 개발에 영향을 미쳤다.
인간 플레이어와의 비교
왓슨의 접근 방식은 인간의 인지와 달랐다. 키워드를 파싱하고 관련 용어를 검색했지만 깊은 맥락 이해는 부족했다. 인간은 짧은 단서에 대해 더 빠르게 응답을 생성할 수 있었지만, 왓슨은 버저 반응 시간에서 우월했고 심리적 전술에 면역이 있었다. 배우 제프 우드먼(Jeff Woodman)의 녹음을 합성한 전자 음성은 제퍼디!의 질문 형식으로 응답을 전달했다.
이 경쟁은 AI가 빠른 정보 검색과 의사 결정을 요구하는 작업에서 탁월할 수 있음을 입증했지만, 뉘앙스와 맥락 이해의 한계도 드러냈다. 이러한 통찰은 이후 딥 러닝과 트랜스포머 아키텍처 연구를 이끌었으며, 이는 이후 이 분야를 크게 발전시켰다.