컨텍스트 엔지니어링은 언어 모델이 추론 시점에 보는 모든 것을 의도적으로 구성하는 관행으로, 시스템 지침, 검색된 문서, 도구 출력, 대화 기록, 작업 메모리를 포함하며, 여러 단계에 걸쳐 작동하는 AI 에이전트로부터 신뢰할 수 있는 동작을 얻기 위한 것이다. 이 용어는 2025년에 Prompt engineering을 대체하는 프레임으로 주목받았으며, 단일한 교묘한 지시문을 만드는 데서 모델의 제한된 컨텍스트 창에 공급되는 전체적이고 동적으로 조합된 상태를 관리하는 쪽으로 초점이 이동했음을 반영한다.
이 용어의 지지자들은 AI 연구자 안드레이 카파시를 포함해, 애플리케이션이 단일 턴 채팅에서 다단계 에이전트로 이동함에 따라 실패의 주요 원인이 빈약한 프롬프트 문구에서 빈약한 컨텍스트 관리로 옮겨갔다고 주장했다. 즉 관련 없거나 누락된 정보, 오래된 도구 출력, 낮은 가치의 콘텐츠로 어수선한 컨텍스트 창이 문제였다.
기법
일반적인 컨텍스트 엔지니어링 기법에는 검색된 콘텐츠를 선택하고 압축하는 것이 포함되며, 주로 Retrieval-augmented generation을 통해 가장 관련성이 높은 자료만 부족한 컨텍스트 공간을 차지하도록 한다. 또한 도구 정의, 출력, 오류 메시지를 에이전트가 모호함 없이 처리할 수 있도록 구조화하는 것도 포함되며, 이 영역에서 개방형 모델 컨텍스트 프로토콜이 모델 간에 도구와 데이터를 일관되게 공급하기 위한 공유 인프라로 등장했다. 턴이나 세션 간 메모리를 관리하고, 무엇을 요약하거나 버리거나 유지할지 결정하는 것도 핵심 요소인데, 매우 큰 컨텍스트 창을 가진 모델조차 긴 컨텍스트 중간에 배치된 정보에 대한 주의력이 저하되기 때문이다. 정보의 순서와 형식을 의도적으로 지정하는 것도 중요하다. 모델 행동이 프롬프트 내 핵심 사실의 위치에 민감하다는 것이 입증되었기 때문이며, 이 효과는 때때로 콘텐츠가 "중간에서 손실"된다고 비공식적으로 설명된다.
프롬프트 엔지니어링과의 관계
컨텍스트 엔지니어링은 Prompt engineering을 대체하기보다 그 범위를 확장한다. 좋은 지시문을 작성하는 것은 여전히 필요하지만, 지시문이 작동하는 데이터, 도구, 기록을 결정하는 더 큰 시스템의 한 구성 요소로 취급된다. 이 구분은 단일 샷 완성에서 순차적으로 여러 모델 호출을 수행하는 에이전트 시스템으로의 광범위한 분야 변화를 반영하며, 여기서 컨텍스트 관리는 단일한 잘 작성된 프롬프트가 해결할 수 없는 방식으로 단계별로 누적 효과를 발휘한다. 2026년까지 이 용어는 AI 기업의 엔지니어링 채용 공고와 내부 도구 문서에 흔해졌지만, 검색 시스템 설계 및 에이전트 오케스트레이션 같은 관련 관행과의 경계는 여전히 느슨하게 정의되어 있었다.