퓨샷 러닝은 새로운 작업을 수행할 때 해당 작업의 예시를 소수만 보여준 뒤에도 올바르게 수행할 수 있는 능력을 말하며, 예시의 수는 한 개에서 수십 개에 이르는 경우가 많다. 대규모 언어 모델의 맥락에서 이 용어는 가장 흔히 특정 관행을 가리킨다. 즉, 여러 입력-출력 예시를 프롬프트 안에 직접 넣고 실제 질문 바로 앞에 배치하여 모델이 패턴을 추론하고 기본 가중치를 전혀 변경하지 않고 적용하게 하는 방식이다. 이는 새 작업을 학습하려면 레이블이 지정된 데이터 세트를 수집하고 파인튜닝과 같은 최적화 과정을 실행해야 하는 전통적인 지도 학습 접근 방식과 퓨샷 러닝을 구별한다.
이러한 프레임은 GPT-3 논문인 "Language Models are Few-Shot Learners"에서 대중화되었으며, 2020년 톰 브라운과 오픈AI의 공동 저자들이 발표했다. 이 논문은 충분히 큰 자기회귀 모델이 대량의 텍스트에 대한 다음 토큰 예측만으로 훈련되었음에도 불구하고, 문맥에 소수의 시연 예시가 주어지면 번역, 질문 응답, 산술을 그럴듯하게 수행할 수 있으며 기울기 업데이트가 전혀 필요 없음을 보여주었다. 이 결과는 규모 자체와 범용 사전 훈련 목표의 결합이 작업별 훈련 데이터를 대체할 수 있다는 가장 명확한 초기 증거 중 하나였다.
메커니즘
퓨샷 프롬프팅이 작동하는 이유는 사전 훈련된 모델의 매개변수가 다양한 종류의 작업이 어떻게 구조화되는지에 대한 광범위한 통계적 지식을 이미 인코딩하고 있기 때문이다. 프롬프트의 예시는 모델에게 새로운 사실을 가르치는 것이 아니라, 모델이 이미 생성할 수 있는 많은 작업 중에서 어떤 작업, 형식, 스타일을 적용할지 지정하는 역할을 한다. 이러한 능력은 일반적으로 인컨텍스트 러닝이라는 더 넓은 주제 아래 연구되며, 이는 트랜스포머 기반 모델이 컨텍스트 윈도우의 내용에만 기반하여 행동을 적응시키는 현상이다. 필요한 예시의 수, 순서, 대상 질문과의 유사성, 시연 형식은 모두 정확도에 영향을 미치는 것으로 나타났으며, 때로는 상당한 영향을 미치므로 프롬프트 설계는 그 자체로 경험적 기술이 되었고 프롬프트 엔지니어링과 밀접한 관련이 있다.
제로샷 및 파인튜닝과의 관계
퓨샷 러닝은 두 가지 다른 체제 사이에 있다. 하나는 모델에 지시문만 주고 예시를 제공하지 않는 제로샷 러닝이고, 다른 하나는 레이블이 지정된 데이터 세트로 모델의 가중치를 업데이트하는 파인튜닝이다. 모델이 더 커지고 지시 튜닝을 더 많이 받으면서, 많은 일반적인 작업에서 제로샷과 퓨샷 성능 간의 격차는 좁혀졌다. 잘 정렬된 모델은 종종 명확한 지시문을 예시 없이도 올바르게 따를 수 있기 때문이다. 그러나 퓨샷 예시는 비정형 출력 형식, 독특한 분류 체계, 또는 말로 설명하기 어렵지만 보여주기 쉬운 스타일을 지정할 때 여전히 유용하다. 파인튜닝과 비교할 때, 퓨샷 프롬프팅은 훈련 인프라가 필요 없고 즉시 효과가 있다는 장점이 있지만, 호출할 때마다 컨텍스트 윈도우 공간을 소비하며 그 이득은 일반적으로 파인튜닝된 모델처럼 지속되거나 누적되지 않는다.
수용과 유산
GPT-3의 퓨샷 결과는 이 분야가 일반화에 대해 생각하는 방식을 재구성했다. 각 작업에 대해 좁은 모델을 구축하는 대신, 하나의 크고 일반적인 모델을 구축하고 프롬프팅만으로 추론 시점에 특화하는 것이 그럴듯해졌다. 이러한 전환은 OpenAI와 이후 경쟁사들이 채택한 API 우선 비즈니스 모델의 기반이 되었으며, 챗GPT와 같은 범용 채팅 어시스턴트로의 더 넓은 움직임을 직접적으로 예고했다. 이후 연구는 겉보기의 "학습" 중 얼마나 많은 부분이 진정한 새 작업 습득인지, 아니면 사전 훈련 중에 이미 비슷한 것을 본 작업의 검색인지에 의문을 제기했으며, 이 논쟁은 연구자들이 창발적 능력 및 퓨샷 벤치마크와 관련된 능력 주장을 해석하는 방식을 계속 형성하고 있다.