GPT-4는 OpenAI가 개발한 대규모 멀티모달 대규모 언어 모델로, 2023년 3월 14일에 GPT-3의 후속 모델이자 업그레이드된 버전의 ChatGPT를 구동하는 기반 모델로 출시되었다. 전작들과 달리 GPT-4는 텍스트와 이미지 입력을 모두 받아들일 수 있지만, 원래 출시 버전에서는 출력이 텍스트 전용으로 유지되었으며, OpenAI는 다양한 전문 및 학술 벤치마크에서 상당히 개선된 성능을 보고했는데, 여기에는 인간 응시자와 비교하여 OpenAI가 유리하게 평가한 백분위수에서 모의 변호사 시험에 합격한 것이 포함된다.
비밀 유지 및 기술 공개
GPT-4의 출시는 OpenAI의 공개 관행에 있어 주목할 만한 변화를 나타냈다. 아키텍처와 훈련 데이터를 상세히 설명한 초기 GPT 논문들과 달리, OpenAI의 GPT-4 기술 보고서는 모델 크기, 아키텍처 세부 사항, 훈련 계산량, 또는 데이터 세트 구성에 관한 정보를 전혀 공개하지 않았으며, 그 이유로 경쟁 및 안전 고려 사항을 들었다. 이는 OpenAI의 이전 개방성 규범에서 벗어난 것으로, 연구 커뮤니티 일부에서 비판을 받았는데, 그들은 이것이 해당 분야를 특징지었던 과학적 재현성을 훼손한다고 주장했으며, 프론티어 모델 개발자들 사이의 투명성에 대한 광범위한 논쟁에서 자주 인용되는 사례가 되었다.
AGI의 불꽃
출시 직후, 마이크로소프트 연구원 그룹은 "인공 일반 지능의 불꽃"이라는 논문을 발표했는데, 이 논문은 코딩, 수학, 의학, 법학 및 기타 영역에서 GPT-4의 능력을 검토하며, 이 모델이 좁은 패턴 매칭을 넘어서는 초기 단계의 범용 문제 해결 능력을 보여주며, 인공 일반 지능과 관련하여 논의될 수 있다고 주장했다. 이 논문은 대중 및 연구 담론을 전환하는 데 영향력이 있었지만, 엄격한 벤치마킹보다는 일화적이고 비체계적인 평가에 의존한다는 방법론적 비판도 받았다.
훈련 및 안전
GPT-4는 인간의 선호도에 맞춰 출력을 정렬하기 위해 대규모 사전 훈련 후 RLHF를 사용하여 훈련되었으며, 출시 전에 외부 연구자들과 함께 광범위한 레드 팀 활동을 수행했는데, 이는 업계 전반의 레드 팀 및 가드레일 작업과 관련된 관행의 적용이다. OpenAI는 이후 컨텍스트 길이를 확장하고 비용을 줄인 GPT-4 Turbo 및 기타 반복 업데이트를 출시했으며, 유료 ChatGPT 등급 뒤의 기본 모델로 GPT-4를 제공하여 지속적인 구독 수익 성장에 기여했다.
영향
GPT-4의 출시는 AI 업계 전반에 걸쳐 경쟁 압력을 강화하여 Google DeepMind, Anthropic 및 기타 연구소의 출시를 가속화했으며, 프론티어 언어 모델 개발이 학계 인접 연구 문화에서 대규모 자본 집약적 상업 경쟁으로 결정적으로 전환된 시점으로 자주 인용되며, 이 시기는 때때로 더 넓은 AI boom (2022-present)의 일부로 언급된다. OpenAI는 이후 2024년에 GPT-4급 기본 모델 위에 구축된 별도의 추론 중심 후속 모델 계열로 OpenAI o1을 출시했다.