파운데이션 모델은 광범위하고 종종 웹 규모의 데이터로 훈련된 기계 학습 모델로, 단일한 좁은 목적을 위해 만들어진 것이 아니라 다양한 하위 작업에 적응할 수 있는 모델을 말한다. 이 용어는 2021년 스탠포드 파운데이션 모델 연구 센터(CRFM)의 보고서에서 처음 사용되었으며, 퍼시 리앙을 포함한 연구자들이 주도했다. 그들은 GPT-3와 BERT 같은 모델이 새로운 패러다임을 대표한다고 주장했다. 즉, 한 번 사전 훈련된 단일 모델이 미세 조정, 맥락 내 학습, 또는 프롬프트 엔지니어링을 통해 많은 애플리케이션의 기반이 되며, 각 작업마다 처음부터 훈련된 모델이 필요하지 않다는 것이다.
기원과 정의
CRFM 보고서는 파운데이션 모델을 매개변수, 데이터, 연산에서의 규모, 레이블이 없는 데이터에 대한 자기 지도 사전 훈련과 같은 광범위한 훈련 목표, 그리고 단일 모델의 학습된 표현이 비교적 가벼운 적응만으로 많은 하위 작업에 전이되는 일반성의 결합으로 구분했다. 이러한 틀은 한 작업이나 데이터셋에서 사전 훈련된 모델이 일반적으로 미세 조정 후 관련 작업에 재사용되는 기존의 전이 학습 개념을 기반으로 확장한 것이다.
예시
파운데이션 모델은 다양한 양식을 아우른다. GPT 시리즈, 클로드, 제미나이, 라마 같은 텍스트 중심 모델, CLIP 스타일 사전 훈련으로 구축된 비전-언어 시스템, 스테이블 디퓨전 같은 이미지 생성 모델, 위스퍼 같은 음성 모델이 그 예이다. 대부분의 대규모 언어 모델은 이러한 의미에서 파운데이션 모델이지만, 이 용어는 LLM보다 앞서며 더 광범위하다. 비텍스트 및 멀티모달 시스템도 포함하기 때문이다.
용어가 사용되는 이유
이 용어는 부분적으로 AI 시스템이 구축되고 배포되는 방식의 변화를 포착하기 위해 등장했다. 연구 그룹이 작업별로 맞춤형 모델을 훈련하는 대신, 오픈 가중치 또는 독점 파운데이션 모델이 한 번 출시된 후 많은 하위 사용자가 적응시켜 새로운 AI 애플리케이션을 구축하는 비용을 극적으로 낮추는 방식이다. 이는 허깅 페이스 같은 플랫폼이 대표하는 생태계를 낳았으며, 처음부터 훈련하는 대신 파운데이션 모델을 공유하고 미세 조정하며 배포하는 데 중점을 두었다. 이 용어는 정책 논의에서도 유용함이 입증되었다. EU AI 법과 같은 규제가 일반 목적 또는 파운데이션 모델 제공자에게 특정 의무를 부과하고, 그 위에 애플리케이션을 구축하는 개발자와는 구별했기 때문이다.
비판과 주의점
CRFM 보고서 자체도 위험을 인정했다. 파운데이션 모델은 훈련할 수 있는 소수의 조직에 능력과 영향력을 집중시키고, 광범위한 훈련 데이터에 존재하는 편향을 그 위에 구축된 모든 하위 애플리케이션에 전파하며, 훈련 데이터 분포 밖에서 예측 불가능하게 행동할 수 있다. 비판자들은 프레임 자체를 환영하면서도 "파운데이션"이라는 용어가 초기 대규모 모델이 항상 갖추지 못한 안정성과 신뢰성을 암시하며, 모델이 공개형인지 폐쇄형인지 또는 다른 정렬 기법으로 훈련되었는지와 같은 의미 있는 차이를 모호하게 만들 수 있다고 지적했다. 그럼에도 불구하고 파운데이션 모델은 도입 후 몇 년 안에 연구 논문과 규제 모두에서 표준 용어가 되었다.
다른 용어와의 관계
파운데이션 모델은 프런티어 모델과 크게 겹치지만 동일하지는 않다. 프런티어 모델은 특정 시점에 가장 뛰어난 능력을 가진 모델을 구체적으로 지칭하며, LLM은 텍스트에 특화된 용어이다. 파운데이션 모델은 반드시 능력의 최전선에 있을 필요가 없으며, 모든 파운데이션 모델이 언어 모델인 것도 아니다.