쓴 교훈(The Bitter Lesson)은 인공지능 연구의 원칙으로, 컴퓨터 과학자 리치 서튼(Rich Sutton)이 2019년 에세이에서 밝힌 것으로, 이 분야의 발전은 인간의 지식이나 도메인 특화 귀납적 편향을 통합하기보다는 증가된 계산을 활용하는 범용 방법의 확장에서 일관되게 비롯되었다는 주장이다. 이 원칙은 인간의 이해를 시스템에 인코딩하여 지능을 구축하려는 연구자들이 단기적 성과를 얻지만, 결국 대규모 계산과 단순한 학습 알고리즘에 의존하는 접근 방식에 추월당한다고 주장한다. 이 이름은 전문화된 전문성이 무차별적 확장에 의해 쓸모없게 되는 패턴이 연구자들에게 야기하는 좌절감을 반영한다.
서튼의 에세이는 2019년 3월 그의 개인 웹사이트에 게재되었으며, 강화 학습과 머신 러닝 분야에서의 수십 년 경험을 바탕으로 작성되었다. 그는 컴퓨터 체스, 음성 인식, 컴퓨터 비전과 같은 영역에서 수작업으로 설계된 규칙과 특징에 기반한 시스템이 처음에는 잘 작동했지만, 이후 대량의 데이터와 계산으로 훈련된 신경망에 의해 추월당했다고 관찰했다. 이 교훈이 "쓴" 이유는 특징과 알고리즘을 설계하는 인간의 지적 노력이 계산을 확장하는 데 필요한 엔지니어링 노력보다 덜 가치 있음을 암시하기 때문이다.
역사적 선례
쓴 교훈은 확장의 힘에 대한 초기 관찰에 뿌리를 두고 있다. 1960년대에 버나드 위드로우와 그의 스탠퍼드 학생들은 단순한 학습 규칙을 사용하고 패턴 인식 및 적응 필터링에 적용된 Adaline 및 Madaline 신경망을 개발했다. 이러한 시스템은 당시 하드웨어의 한계로 제약을 받았지만, 특정 작업에서 수동으로 프로그래밍된 논리보다 데이터 학습이 더 우수할 수 있음을 입증했다.
1970년대와 1980년대에는 MYCIN 및 DENDRAL과 같은 전문가 시스템이 인간의 전문 지식을 규칙 기반 형태로 인코딩하여 좁은 영역에서 성공을 거두었다. 그러나 이러한 시스템은 취약하고 확장하기 어려웠다. 1980년대 후반에는 벨 연구소 등의 연구자들이 음성 인식에 신경망을 적용하여 음성 규칙에 의존하지 않고 원시 음향 데이터에서 학습하는 연결주의적 접근 방식을 사용했다. 학습된 표현으로의 전환은 증가하는 계산 자원과 결합하여 서튼이 나중에 체계화한 패턴을 예고했다.
체스 사례
쓴 교훈의 가장 많이 인용되는 사례 중 하나는 컴퓨터 체스이다. 1950년대와 1960년대에 개발된 초기 프로그램은 체스 마스터와 프로그래머가 설계한 휴리스틱 평가 함수와 탐색 기술에 의존했다. 체스 프로그램을 포함한 이러한 시스템은 알렉세이 에프로스의 전신들에 의해 개발되었으며, 수작업으로 만들어진 지식이 불완전했기 때문에 적당한 성공을 거두었지만 정체되었다.
1997년 IBM의 딥 블루(Deep Blue)는 전용 하드웨어, 무차별 탐색, 수동으로 조정된 평가 함수의 조합을 사용하여 세계 챔피언 개리 카스파로프를 물리쳤다. 딥 블루는 신경망이 아니었지만, 그 성공은 대규모 계산의 힘을 입증했다. 이후 2017년 딥마인드의 알파제로(AlphaZero)는 규칙 외에 인간이 제공한 도메인 지식 없이 심층 신경망과 자기 대결에 기반한 단일 범용 알고리즘을 사용하여 체스, 쇼기, 바둑에서 초인적 성능을 달성했다. 알파제로의 접근 방식은 쓴 교훈을 예시했다. 계산으로 확장된 범용 학습 방법이 수십 년간 인간이 설계한 체스 지식을 능가했다.
현대 AI에의 적용
쓴 교훈은 딥 러닝과 대규모 언어 모델 시대에 특히 영향력이 있었다. 2017년 논문 "Attention Is All You Need"에서 소개된 트랜스포머 아키텍처의 성공은 작업별 엔지니어링보다는 모델 크기, 데이터, 계산의 확장에 의존했다. OpenAI의 GPT 시리즈와 앤트로픽의 클로드와 같은 모델은 매개변수와 훈련 데이터를 늘리면 해당 작업에 대한 명시적 프로그래밍 없이 추론 및 번역을 포함한 창발적 능력이 나타난다는 것을 보여주었다.
이 패턴은 다른 영역으로 확장된다. 컴퓨터 비전에서 잔차 네트워크(ResNet)와 U-Net은 더 깊은 네트워크를 가능하게 하는 아키텍처 혁신을 통해 성능을 개선했지만, 그 성공은 여전히 수백만 개의 이미지를 사용한 대규모 훈련에 의존했다. 강화 학습에서 RLHF(인간 피드백 기반 강화 학습) 및 커리큘럼 학습과 같은 알고리즘은 훈련을 안내하는 데 사용되었지만, 핵심 이득은 시뮬레이션과 계산의 확장에서 비롯된다. 이 원칙은 인간 감독의 역할에 대한 논쟁에도 정보를 제공한다. 모델 가지치기 및 데이터 증강과 같은 기술은 효율성을 추가하지만, 성능이 계산에 따라 개선된다는 근본적인 스케일링 법칙을 대체하지는 않는다.
비판과 반론
쓴 교훈은 보편적으로 받아들여지지 않았다. 일부 연구자들은 인간의 지식과 귀납적 편향이 특히 데이터가 부족한 영역이나 안전성과 해석 가능성이 중요한 곳에서 여전히 필수적이라고 주장한다. 예를 들어 조슈아 테넨바움과 브렌던 레이크는 인과 추론과 직관적 물리학을 통합하는 모델을 옹호하며, 순수한 확장만으로는 인간 인지의 구조를 포착하지 못할 수 있다고 주장했다. 마찬가지로 멜라니 미첼은 확장만으로 일반 지능을 달성할 수 있는지 의문을 제기하며, 현재 모델의 이해와 상식의 한계를 지적했다.
다른 이들은 쓴 교훈이 보편적 법칙이라기보다 역사적 우연일 수 있다고 지적한다. NVIDIA GPU 및 TSMC 제조 칩과 같은 대규모 데이터 세트와 전용 하드웨어의 가용성 덕분에 확장이 가능해졌지만, 이것이 무한정 지속되지는 않을 수 있다. 에너지 제약과 고품질 데이터의 유한한 가용성은 미래의 이득을 제한할 수 있다. 또한 알리 라히미와 사미 벤지오를 포함한 일부 연구자들은 확장이 작동하는 이유를 경험적 사실로 받아들이기보다는 더 엄격하게 이해할 것을 촉구했다.
유산과 지속적 관련성
쓴 교훈은 AI 연구 전략에 대한 논의의 기준점이 되었다. 이는 OpenAI, 앤트로픽, 딥마인드와 같은 기업이 계산 인프라에 막대한 투자를 하는 등 자금 결정에 영향을 미쳤다. 또한 공개 연구와 비공개 연구에 대한 논쟁에도 정보를 제공한다. 확장이 주요 동인이라면 대규모 계산에 대한 접근이 전략적 이점이 되며, 이는 AWS, Azure, Google Cloud와 같은 클라우드 제공업체의 부상에서 볼 수 있다.
이 원칙은 AI를 넘어 데이터 기반 방법이 규칙 기반 시스템을 대체한 생물정보학 및 전산 언어학과 같은 분야에도 적용되었다. 2020년대 중반 현재, 쓴 교훈은 연구자들이 확장과 구조화된 지식을 결합한 하이브리드 접근 방식을 계속 탐구함에 따라 AI의 궤적을 이해하기 위한 핵심 프레임워크로 남아 있다. 그 지속적 관련성은 연구자들에게 계산에 따라 개선되는 방법을 우선시하라는 도전에 있다. 그러한 방법이 덜 우아하거나 인간의 직관과 덜 일치하더라도 말이다.