제로샷 프롬프팅은 모델이 예시나 시연 없이 작업을 수행하도록 요청받는 인공지능 및 머신러닝의 한 기법입니다. 모델은 프롬프트에 포함된 사전 학습된 지식과 지침에만 의존하여 올바른 출력을 생성해야 합니다. 이는 소수의 예시가 프롬프트에 포함되는 퓨샷 프롬프팅과 대조됩니다. 제로샷 프롬프팅은 현대 대규모 언어 모델(LLM)의 기본 능력으로, 최소한의 작업별 데이터로 광범위한 작업을 처리할 수 있게 합니다.
이 개념은 제로샷 학습(ZSL)에서 유래했으며, 이는 학습 중에 보지 못한 클래스의 샘플을 관찰하지 않고도 분류해야 하는 머신러닝의 문제 설정입니다. 이 이름은 컴퓨터 비전에서 유사한 개념인 원샷 학습을 기반으로 한 언어 유희입니다. 제로샷 방법은 일반적으로 보조 정보(예: 속성 또는 의미 표현)를 통해 관찰된 클래스와 관찰되지 않은 클래스를 연결합니다. 예를 들어, 얼룩말을 본 적이 없는 모델이라도 말과 줄무늬에 대한 지식을 바탕으로 얼룩말을 인식할 수 있습니다. 프롬프팅 맥락에서 제로샷 프롬프팅은 모델의 내부 표현과 의미 이해를 활용하여 보지 못한 작업으로 일반화합니다.
배경 및 역사
자연어 처리에서 제로샷 학습에 대한 최초의 논문은 2008년 창, 라티노프, 로스, 스리쿠마르에 의해 AAAI'08에서 "데이터 없는 분류(dataless classification)"라는 이름으로 발표되었습니다. 컴퓨터 비전에서의 최초의 제로샷 학습 논문은 같은 학회에서 "데이터 없는 학습(zero-data learning)"이라는 이름으로 등장했습니다. "제로샷 학습"이라는 용어 자체는 2009년 팔라투치, 힌튼, 포메를로, 미첼의 NIPS'09 논문에서 처음 사용되었으며, 이는 컴퓨터 비전에서 몇 년 전에 도입된 원샷 학습에서 파생된 것입니다.
컴퓨터 비전에서 제로샷 학습 모델은 클래스 표현과 함께 학습된 매개변수를 사용하여, 추론 중에 새로운 클래스의 인스턴스를 분류할 수 있도록 했습니다. 자연어 처리에서는 레이블을 문서와 동일한 의미 공간에 표현하는 방식으로 발전했습니다. 초기 연구는 명시적 의미 분석(ESA) 표현을 사용했지만, 이후 연구는 밀집 표현을 채택했습니다. 이 접근 방식은 다국어 도메인, 세부 엔티티 유형 분류 등으로 확장되었습니다. 또한 표현에만 의존하지 않고 텍스트 함의나 질의응답과 같은 다른 작업으로의 전이에 의존하는 계산적 접근 방식으로 발전했습니다.
사전 정보
제로샷 학습은 보지 못한 클래스에 대한 보조 정보를 필요로 합니다. 여러 유형의 보조 정보가 존재합니다:
- 속성 기반 학습: 클래스는 "빨간 머리" 또는 "긴 부리"와 같은 사전 정의된 구조적 설명과 함께 제공됩니다. 이러한 속성은 종종 구조화된 방식으로 구성되며, 이를 고려하면 학습이 개선됩니다. 이 접근 방식은 주로 컴퓨터 비전에서 사용되지만, 자연어 처리에서도 일부 사용됩니다.
- 텍스트 설명 기반 학습: 클래스 레이블은 의미를 가지며, 위키백과 설명과 같은 정의나 자유 형식의 자연어 설명으로 보강됩니다. 이는 자연어 처리에서 주요 방향이 되었습니다.
- 클래스 간 유사성: 클래스는 연속 공간에 임베딩됩니다. 제로샷 분류기는 샘플이 해당 공간의 특정 위치에 해당한다고 예측하고, 가장 가까운 임베딩 클래스를 예측된 클래스로 사용합니다.
프롬프팅 맥락에서 보조 정보는 사전 학습 중에 모델의 매개변수에 암묵적으로 인코딩됩니다. 모델은 방대한 양의 텍스트를 학습하여 개념 간의 연관성을 학습하므로, 명시적인 예시 없이도 지침을 이해하고 적절한 응답을 생성할 수 있습니다.
일반화된 제로샷 학습
표준 제로샷 학습 설정은 테스트 시간에 보지 못한 클래스의 샘플만 제공된다고 가정합니다. 일반화된 제로샷 학습에서는 테스트 시간에 새로운 클래스와 알려진 클래스의 샘플이 모두 나타날 수 있습니다. 이는 샘플이 새로운 클래스에 속하는지 알려진 클래스에 속하는지 추정해야 하므로 어려운 문제입니다. 이를 처리하는 접근 방식에는 다음이 포함됩니다:
- 게이팅 모듈: 샘플이 새로운 클래스에서 왔는지 기존 클래스에서 왔는지를 결정하도록 훈련된 모듈로, 추론 중에 하드 또는 소프트 확률적 결정을 출력합니다.
- 생성 모듈: 보지 못한 클래스의 특징 표현을 생성하도록 훈련된 모듈로, 표준 분류기가 모든 클래스(기존 및 신규)의 샘플에 대해 훈련될 수 있게 합니다.
제로샷 프롬프팅의 경우, 일반화된 제로샷 학습은 덜 관련이 있습니다. 모델은 일반적으로 보지 못한 작업과 기존 작업을 구별할 필요 없이 단일 작업을 수행하도록 요청받기 때문입니다. 그러나 일반화의 근본적인 과제는 강건한 성능을 위해 여전히 중요합니다.
적용 분야
제로샷 학습 및 제로샷 프롬프팅은 다양한 분야에 적용되었습니다:
- 이미지 분류: 학습 중에 보지 못한 객체나 장면을 인식합니다.
- 의미론적 분할: 이미지의 각 픽셀에 보지 못한 범주를 포함한 레이블을 할당합니다.
- 이미지 생성: 명시적으로 훈련되지 않은 개념의 이미지를 생성합니다.
- 객체 감지: 보지 못한 클래스의 객체를 감지하고 위치를 찾습니다.
- 자연어 처리: 작업별 훈련 데이터 없이 텍스트 분류, 감정 분석, 질의응답을 수행합니다.
- 계산 생물학: 레이블이 지정된 예시 없이 단백질 기능과 같은 생물학적 특성을 예측합니다.
- 추상적 추론: 새로운 상황에 일반화가 필요한 추론 작업을 해결합니다.
대규모 언어 모델 시대에 제로샷 프롬프팅은 표준 평가 방법이 되었습니다. OpenAI, Anthropic, Google DeepMind과 같은 기관에서 개발된 모델은 다양한 벤치마크에서 제로샷 성능으로 자주 평가됩니다. 이 능력은 방대한 말뭉치에 대한 훈련과 트랜스포머 아키텍처의 직접적인 결과로, 모델이 방대한 양의 지식을 내재화하고 지침을 따를 수 있게 합니다.
과제 및 한계
강력함에도 불구하고 제로샷 프롬프팅에는 한계가 있습니다. 모델은 특히 전문 지식이나 추론이 필요한 작업에서 그럴듯하지만 부정확한 답변을 생성할 수 있습니다. 프롬프트의 품질은 결과에 큰 영향을 미칩니다. 부적절하게 표현된 지침은 최적이 아닌 출력으로 이어질 수 있습니다. 또한 제로샷 성능은 일반적으로 퓨샷 또는 파인튜닝된 성능보다 낮습니다. 모델이 출력을 보정할 명시적인 예시가 없기 때문입니다. 연구자들은 더 나은 프롬프트 엔지니어링, 사고 사슬 추론, 지침 튜닝과 같은 방법을 통해 제로샷 능력을 개선하기 위해 계속 노력하고 있습니다.