IBM Watson은 IBM이 DeepQA 프로젝트의 일환으로 개발한 질의응답 컴퓨팅 시스템으로, 수석 연구원 데이비드 퍼루치(David Ferrucci)가 주도했다. IBM 창립자 토머스 J. 왓슨(Thomas J. Watson)의 이름을 따서 명명된 이 시스템은 자연어로 제기된 질문에 답하도록 설계되었으며, 가장 유명한 성과는 2011년 퀴즈 쇼 제퍼디(Jeopardy!)에서 인간 챔피언들을 꺾은 것이다. 왓슨은 인공지능 기술을 개방형 도메인 질의응답에 적용하는 데 중요한 이정표를 세웠지만, 이후 이 분야를 지배하게 될 딥러닝 접근법보다는 기존 알고리즘의 조합에 의존했다.
이 시스템의 개발은 제퍼디!의 전형적인 특징인 언어유희가 가득하고 미묘한 단서를 이해하고 대응할 수 있는 기계를 구축하려는 IBM의 야망에서 비롯되었다. 좁은 도메인에 초점을 맞춘 초기 질의응답 시스템과 달리, 왓슨은 방대한 참고 자료 코퍼스를 사용하여 임의의 주제를 처리하는 것을 목표로 했다. 전국 방송에서의 성공은 자연어 처리와 머신러닝의 실질적인 진전을 입증했으며, 이후 의료 및 기타 산업 분야의 연구와 상업적 응용에 영향을 미쳤다.
기술 아키텍처
왓슨의 소프트웨어는 IBM의 DeepQA 아키텍처와 Apache UIMA(비정형 정보 관리 아키텍처) 프레임워크를 기반으로 구축되었다. 이 시스템은 Java, C++, Prolog를 포함한 여러 프로그래밍 언어로 작성되었으며, 분산 컴퓨팅을 위해 Apache Hadoop과 함께 SUSE Linux Enterprise Server 11에서 실행되었다. DeepQA는 자연어를 분석하고, 출처를 식별하고, 가설을 생성하고, 증거를 찾아 점수를 매기고, 잠재적 답변을 병합하고 순위를 매기기 위해 100가지 이상의 다양한 기술을 사용했다.
하드웨어는 각각 코어당 4개의 스레드를 갖춘 3.5GHz POWER7 8코어 프로세서를 장착한 90대의 IBM Power 750 서버 클러스터로 구성되었다. 전체적으로 왓슨은 2,880개의 프로세서 스레드와 16테라바이트의 RAM을 사용했다. 존 레니(John Rennie)에 따르면, 이 시스템은 초당 500기가바이트(약 100만 권의 책에 해당)를 처리할 수 있었다. IBM 마스터 발명가 토니 피어슨(Tony Pearson)은 하드웨어 비용을 약 300만 달러로 추산했다. 제퍼디! 경쟁에서는 하드 드라이브 접근이 인간의 반응 시간에 맞추기에는 너무 느렸기 때문에 모든 콘텐츠가 RAM에 저장되었다.
제퍼디! 경쟁
2011년 2월, 왓슨은 제퍼디!에서 쇼의 가장 성공적인 챔피언 두 명인 브래드 러터(Brad Rutter)와 켄 제닝스(Ken Jennings)와 경쟁했다. 왓슨은 1등 상금인 미화 100만 달러를 획득했다. 이 시스템의 전략에는 전문 모듈이 포함되어 있었다. 하나는 신뢰 점수와 현재 순위를 기반으로 최종 제퍼디 베팅을 계산했고, 다른 하나는 J! 아카이브의 과거 데이터를 사전 확률로 사용하여 공개되지 않은 단서가 데일리 더블일 확률을 베이즈 규칙으로 추정했다. 데일리 더블 베팅의 경우, 1990년대 제럴드 테사우로(Gerald Tesauro)가 개발한 TD-Gammon에 사용된 것과 유사한 2계층 신경망이 베팅 금액을 결정했다.
왓슨의 성과는 인간 플레이어와 비교하여 강점과 약점을 모두 드러냈다. 왓슨은 단서에 대한 맥락적 이해가 부족했고, 특히 짧은 단서에 대해 응답 생성이 더 느렸다. 그러나 전자 버저 회로는 응답을 결정한 후 일관된 반응 시간 이점을 제공했으며, 카테고리 간 점프와 같은 심리적 전술에 면역이었다. 모의 게임에서 인간은 왓슨이 단서를 처리하는 데 필요한 6~7초를 악용할 수 있었지만, 방송된 경기에서는 왓슨의 버저 속도가 결정적이었다.
상업적 응용 및 의료
2013년 2월, IBM은 왓슨의 첫 상업적 응용을 발표했다. 뉴욕의 메모리얼 슬론 케터링 암 센터(Memorial Sloan Kettering Cancer Center)에서 웰포인트(WellPoint, 현재 Elevance Health)와 협력하여 폐암 치료에 대한 활용 관리 결정을 지원하는 것이었다. 이 시스템은 의료 문헌과 환자 기록을 분석하여 치료 옵션을 추천함으로써 의사를 지원하도록 설계되었다. 이는 머신러닝과 질의응답 기술을 임상 의사 결정 지원에 적용하려는 초기 시도였지만, 결과는 엇갈렸다.
왓슨의 기능은 이후 IBM Cloud에 배포되고 진화된 머신러닝 기능과 최적화된 하드웨어를 통해 확장되었다. 그러나 의료 사업은 상당한 어려움에 직면했다. 2022년, IBM은 Watson Health 부문을 분사하여 Merative라는 회사로 분리했고, 이 회사는 사모펀드 회사인 프란시스코 파트너스(Francisco Partners)에 매각되었다. 이 부문은 개발에 약 40억 달러가 소요되었지만 10억 달러에 매각되었다. 2023년까지 전체 왓슨 프로젝트는 IBM 주가의 10% 하락에 기여했고, 수익보다 4배 많은 비용이 들었으며, 대규모 해고를 초래했다.
유산과 영향
상업적 어려움에도 불구하고, 왓슨의 제퍼디! 승리는 인공지능에 대한 대중의 인식에 지속적인 영향을 미쳤다. 이는 기계가 모호하고 구어체적인 언어와 복잡한 추론 작업을 처리할 수 있음을 입증했으며, AI 연구에 대한 투자 물결을 촉발했다. 왓슨의 접근 방식 - 단일 돌파구에 의존하기보다는 많은 병렬 알고리즘을 결합하는 방식 - 은 이후 시스템에 영향을 미쳤으며, 분야가 딥러닝과 신경망 아키텍처로 전환된 후에도 마찬가지였다. 이 시스템은 또한 연구 시연과 실행 가능한 상업 제품 사이의 격차를 부각시켰으며, 이는 이후 의료 및 기타 규제 산업에서의 AI 배포를 형성한 교훈이 되었다.
왓슨의 유산은 복잡하다. 이는 세계의 상상력을 사로잡은 기술적 성취였지만, 비즈니스 성과는 기대에 미치지 못했다. 이 시스템의 이름은 IBM이 이후 다른 AI 이니셔티브로 전환했음에도 불구하고 인지 컴퓨팅 분야에서 IBM의 초기 리더십과 여전히 연관되어 있다. 연구자들에게 왓슨은 통제된 경쟁에서 실세계 응용으로 AI를 확장하는 데 따르는 도전, 특히 오류의 비용이 높은 도메인에서의 도전에 대한 사례 연구 역할을 했다.
현대 AI와의 비교
왓슨은 종종 오픈AI의 GPT 모델 및 구글 딥마인드의 AlphaGo와 같은 이후 시스템과 대조된다. 이러한 시스템은 트랜스포머 아키텍처와 대규모 언어 모델을 사용했다. 구조화된 지식 베이스와 명시적 증거 점수에 의존한 왓슨과 달리, 현대 시스템은 딥러닝 기술을 사용하여 방대한 텍스트 코퍼스에서 패턴을 학습한다. 왓슨은 DeepQA 프로젝트의 일부라는 이름에도 불구하고 핵심 질의응답 파이프라인에서 딥러닝이나 신경망 방법을 사용하지 않았다. 90대의 서버와 16테라바이트의 RAM이라는 하드웨어 요구 사항은 2011년 기준으로 엄청났지만, 현대 AI 훈련에 사용되는 데이터 센터에 비하면 적은 규모였다. 왓슨에서 현대 AI로의 진화는 엔지니어링되고 해석 가능한 시스템에서 불투명하고 통계적으로 훈련된 모델로의 전환을 보여주며, 신뢰성, 편향성, 책임성에 대한 다른 질문을 제기한다.