인컨텍스트 학습은 언어 모델이 프롬프트의 내용만을 기반으로 새로운 작업에 적응하는 능력으로, 모델의 매개변수에 대한 업데이트 없이 이루어진다. 사용자는 단일 대화의 Context window 내에 지침, 예시 또는 지원 문서를 제공할 수 있으며, 모델은 실제 훈련이 발생하지 않았음에도 불구하고 해당 자료에 따라 다음 출력을 조건화하여 마치 그 작업을 위해 훈련된 것처럼 행동한다. 이는 Few-shot learning 및 Zero-shot learning 프롬프팅의 기반이 되는 메커니즘으로, 현대 Transformer (architecture) 기반 Large language model 시스템에서 관찰되는 가장 중요한 행동 중 하나이다.
이 현상은 2020년 GPT-3 논문에서 두드러지게 강조되었으며, 충분히 큰 사전 훈련된 모델이 기울기 업데이트 없이 소수의 프롬프트 예시만으로 새로운 작업을 수행할 수 있음을 보여주었다. 이는 표면적으로 모델이 단일 순방향 패스 내에서 "학습"하는 것처럼 보였기 때문에, 인컨텍스트 학습이라는 용어는 가중치를 변경하는 일반적인 훈련 시간 학습과 작업별 데이터에 대한 명시적 최적화 단계를 요구하는 Transfer learning 또는 Fine-tuning과 구별하기 위해 채택되었다.
작동 방식
인컨텍스트 학습에 대한 단일한 확립된 기계적 설명은 없지만, 여러 보완적 설명이 널리 인용된다. 한 관점은 이를 일종의 암묵적 패턴 매칭으로 취급한다. 모델의 Pretraining 말뭉치에는 작업이 설명되고, 시연되며, 텍스트로 해결되는 수많은 예시가 포함되어 있기 때문에, 모델은 "작업, 예시, 그리고 새로운 사례" 시퀀스를 암시된 패턴을 충족하는 방식으로 계속하는 일반적인 절차를 학습했다는 것이다. 더 기계적인 해석 가능성 연구 계열은 트랜스포머 내부의 Attention mechanism이 내부적으로 단순한 학습 알고리즘과 유사한 것을 구현할 수 있다고 제안하며, 프롬프트의 토큰에 걸쳐 경량 형태의 패턴 완성 또는 심지어 경사 하강과 유사한 계산을 효과적으로 수행한다고 본다. 다만 이는 여전히 활발하고 논쟁 중인 연구 영역으로, 더 넓은 Mechanistic interpretability 연구와 연결된다. 인컨텍스트 학습은 또한 규모에 따른 능력의 출현과 밀접하게 연관되어 있으며, 이는 Emergent abilities에서 논의된다. 더 작은 모델은 충분히 큰 모델에 비해 추가된 컨텍스트로부터 훨씬 적은 이점을 얻는 경향이 있기 때문이다.
용도
인컨텍스트 학습은 Prompt engineering의 대부분의 실제 사용을 뒷받침하며, 여기에는 퓨샷 시연, System prompt을 통한 역할 및 페르소나 지침, 그리고 모델이 그에 대해 질문에 답할 수 있도록 참조 자료를 프롬프트에 직접 제공하는 것이 포함된다. 이 패턴은 참조 자료가 수동으로 붙여넣기보다 외부 소스에서 동적으로 가져와질 때 Retrieval-augmented generation으로 확장된다. 또한 단일 대화 내에서 빠른 작업 전환을 가능하게 한다. 채팅 어시스턴트는 각각의 새 지침이 모델의 행동을 재조건화하기 때문에 턴 사이에 재훈련 없이 코드 작성에서 문단 번역, 문서 요약으로 이동할 수 있다.
한계와 중요성
인컨텍스트 학습은 컨텍스트 창의 크기에 의해 제한되며, 프롬프트의 정보량이 매우 커지거나 관련 세부 사항이 긴 입력의 중간에 묻혀 있을 때 성능이 저하되는 경향이 있다. 이는 모델이 컨텍스트를 "놓치는" 것으로 비공식적으로 설명되기도 한다. 또한 지속적이지 않다. 가중치가 변경되지 않기 때문에 컨텍스트에서 학습된 모든 것은 대화가 끝나거나 컨텍스트가 지워지면 즉시 잊혀지며, 이는 모델에 지속적인 변화를 생성하는 파인튜닝과 대조된다. 이러한 한계에도 불구하고, 인컨텍스트 학습은 실용적 배포를 위한 트랜스포머 아키텍처의 가장 중요한 속성 중 하나로 간주된다. 단일 범용 모델이 추론 시점에 사실상 무제한의 작업 범위로 재목적화될 수 있게 하며, 재훈련이나 파인튜닝에 필요한 비용, 지연 또는 인프라 없이 가능하기 때문이다.