제로샷 학습은 모델이 특정 작업에 대한 레이블이 지정된 예시를 훈련 중이나 프롬프트에서 전혀 보지 못한 상태에서도 해당 작업을 올바르게 수행할 수 있는 능력이다. 대규모 언어 모델의 맥락에서 제로샷 사용은 일반적으로 "이 문장을 프랑스어로 번역하라" 또는 "이 리뷰를 긍정 또는 부정으로 분류하라"와 같은 지시만 모델에 제공하고, 예시를 첨부하지 않은 채 올바른 응답을 기대하는 것을 의미한다. 이 용어는 대규모 언어 모델보다 앞서며, 원래 컴퓨터 비전과 고전적 머신러닝에서 훈련 데이터에 없던 범주를 인식할 수 있는 분류기를 설명하는 데 사용되었으며, 일반적으로 텍스트 설명이나 속성과 같은 보조 정보를 통해 새 레이블을 알려진 레이블과 연결하는 방식이었다.
언어 모델에서
언어 모델의 현대적 제로샷 성능은 두 가지 발전에 기반한다. 첫째, 광범위한 텍스트 말뭉치에 대한 대규모 Pretraining은 모델에게 엄청난 범위의 작업 형식, 표현 방식, 장르를 노출시켜, 새로운 지시가 종종 전용 예시 없이도 훈련 중에 모델이 암묵적으로 학습한 작업과 유사하게 보이게 한다. 둘째, 명령어 튜닝 및 RLHF와 같은 정렬 기술은 모델이 문체적으로 그럴듯한 방식으로 텍스트를 계속 생성하는 대신 자연어 지시를 따르도록 명시적으로 훈련시키며, 이는 ChatGPT와 같은 대화형 어시스턴트가 평이한 언어 요청에서 직접 사용 가능하게 만든 핵심이다. 이 두 번째 단계 이전에는 기본 GPT-3 스타일 모델이 종종 제로샷으로 작업을 수행하도록 유도될 수 있었지만, 임의의 지시를 예시 없이 안정적이고 유용하게 따르는 능력은 명령어 튜닝이 업계 전반의 표준 관행이 된 후에 크게 개선되었다.
제로샷 대 퓨샷
제로샷 학습은 일반적으로 Few-shot learning 및 In-context learning과 함께 논의되며, 프롬프트에 나타나는 작업 데모 수에 따라 정의되는 스펙트럼의 한 지점을 차지한다. 제로샷은 0개, 퓨샷은 소수이다. GPT-3 논문은 동일한 기본 모델에서 퓨샷 프롬프팅이 일반적으로 제로샷 프롬프팅보다 우수하다고 보고했으며, 특히 비정형 출력 형식을 가진 작업에서 그러했지만, 잘 정렬된 채팅 모델의 일반적인 작업에서는 그 격차가 좁혀졌다. 이러한 모델은 꾸밈없는 지시를 해석하고 실행하도록 특별히 훈련되었기 때문이다. 제로샷 프롬프팅은 대부분의 소비자용 챗봇 사용에서 기본 상호작용 방식으로 남아 있으며, 사용자에게 매 요청 전에 예시를 제공하도록 요구하는 것은 비합리적인 인터페이스 부담이 될 것이다.
사고 사슬 및 제로샷 추론
주목할 만한 확장은 제로샷 Chain-of-thought 프롬프팅으로, "단계별로 생각해 보자"와 같은 간단한 문구를 제로샷 지시에 추가하면 작업 예시를 제공하지 않고도 산술 및 논리 추론 작업의 정확도가 측정 가능하게 향상된다. 2022년 연구자들이 보고한 이 발견은 이전 연구에서 퓨샷 데모를 통해 유도된 추론 능력이 중간 단계를 외부화하도록 프롬프팅함으로써 제로샷으로도 종종 촉발될 수 있음을 보여주었으며, 이는 이후 전용 Reasoning model 시스템의 설계 철학에 직접적으로 기여했다.
한계
제로샷 성능은 고르지 않다. 자연어에서 흔한 작업(요약, 번역, 감정 분류)에서는 가장 강한 경향이 있지만, 정밀하고 비정형적인 출력 형식이나 모델이 거의 노출되지 않은 도메인별 규칙을 요구하는 작업에서는 약하다. 모호한 지시는 예시가 없으면 모델의 이해를 고정할 수 없어 의도와 다르게 해석될 수 있으며, 이는 Prompt engineering 관행이 신뢰성이 중요한 작업에 대해 최소한 몇 가지 데모, 시스템 메시지 또는 명시적 형식 규칙을 추가할 것을 권장하는 이유 중 하나이다. 제로샷 능력은 또한 학술 벤치마크에서 평가 렌즈로 자주 사용되는데, 이는 퓨샷 점수보다 사전 훈련에서 모델의 일반화를 더 직접적으로 측정하며, 퓨샷 점수는 테스트 분포와 우연히 밀접하게 일치하는 예시로 인해 부풀려질 수 있기 때문이다.