InstructGPT는 OpenAI가 개발한 대규모 언어 모델 계열로, 2022년 1월에 처음 소개되었다. 이 모델들은 이전 GPT-3 모델들보다 사용자 지시를 더 잘 따르고 인간의 의도와 더 잘 일치하도록 설계되었다. 이들은 인간 피드백 기반 강화 학습(RLHF)이라는 훈련 기법을 사용하는데, 여기서 인간 평가자가 모델 출력을 순위 매기고, 모델은 더 유용하고, 진실하며, 덜 유해한 응답을 생성하도록 유도된다.
InstructGPT는 생성적 사전 훈련 변환기(GPT) 아키텍처의 기반 위에 구축되었으며, 이는 2017년 변환기 아키텍처 도입에서 시작된 변환기 모델의 한 유형이다. 2020년 OpenAI가 출시한 원래 GPT-3는 1,750억 개의 매개변수를 가진 디코더 전용 변환기였지만, 때때로 작업에서 벗어나거나 사용자 의도와 일치하지 않는 출력을 생성할 수 있었다. InstructGPT는 인간 피드백으로 모델을 정제하여 이러한 문제를 해결하는 것을 목표로 했다.
훈련 및 방법론
InstructGPT 모델은 지도 학습으로 GPT-3를 미세 조정한 후 인간 피드백 기반 강화 학습을 적용하여 생성되었다. 인간 평가자는 다른 모델이 생성한 응답을 비교하도록 요청받았고, 그들의 선호도는 보상 모델을 훈련하는 데 사용되었다. 정책(즉, 모델)은 이 보상을 최대화하도록 업데이트되었으며, 동시에 원래 GPT-3 분포에서의 편차에 대한 패널티를 포함하여 과도한 드리프트를 방지했다.
OpenAI는 InstructGPT 모델이 지시를 따르는 데 있어 GPT-3보다 훨씬 우수하고, 발명된 사실(환각으로 알려진 현상)을 더 적게 생성하며, 다소 덜 유해한 콘텐츠를 생성하면서도 요약 및 질의응답과 같은 특정 작업에서 향상된 성능을 보였다고 보고했다.
능력 및 한계
InstructGPT는 GPT-3의 핵심 능력, 즉 일관된 텍스트 생성, 질문에 답변, 언어 번역, 코드 작성 능력을 계승했다. 또한 퓨삿 및 제로샷 프롬프트를 처리할 수 있었다. 그러나 이전 모델과 마찬가지로 유해한 입력이 주어지면 여전히 유해하거나 편향된 콘텐츠를 생성할 수 있었다. OpenAI는 API를 사용하는 개발자를 위한 콘텐츠 조정 도구를 구현했으며, 2022년 1월 기준으로 InstructGPT는 OpenAI API 고객을 위한 기본 모델이 되었다.
이전 모델과의 비교
원래 GPT-3 모델과 비교하여 InstructGPT는 인간 평가에서 입증된 바와 같이 사용자 의도 정렬에서 눈에 띄는 개선을 보여주었다. 예를 들어, 기계 학습 연구에서 평가자는 다양한 프롬프트에 걸쳐 InstructGPT 출력이 GPT-3 출력보다 더 유리하다고 판단했으며, 의도하지 않은 주제 이탈 응답을 줄이는 것도 포함되었다. 그럼에도 불구하고 InstructGPT는 문구에 대한 민감성과 가끔 발생하는 사실적 오류와 같은 대규모 언어 모델에 공통적인 한계를 유지했다.
InstructGPT의 개발은 모델이 인간 윤리 및 안전 기준에 더 잘 정렬되도록 훈련되는 생성적 인공 지능의 더 넓은 추세를 반영한다. 이 접근 방식은 유사한 정렬 방법론을 사용하는 ChatGPT와 같은 후속 모델에 영향을 미쳤다.
수용 및 영향
InstructGPT는 유용하고 안전한 AI에 초점을 맞춘 AI 모델의 성장하는 생태계에 기여했다. Anthropic 및 Google DeepMind와 같은 다른 조직의 연구자들도 유사한 정렬 기법을 탐구했다. 이 모델은 더 실용적인 AI 어시스턴트를 향한 한 단계였지만, AI 생성 잘못된 정보의 위험과 AI 시스템의 투명성 중요성에 대한 논의도 제기했다. 2025년 기준으로 OpenAI는 InstructGPT가 확립한 기반 위에 정렬 기법을 계속 반복하고 있다.
같이 보기
기계 학습, 변환기, OpenAI, 및 생성적 인공 지능과 같은 관련 주제에 대한 임의의 링크를 만들 수 있다.