GPT-4는 OpenAI가 개발한 대규모 언어 모델로, GPT 기반 모델 시리즈 중 네 번째에 해당한다. 2023년 3월 14일에 출시되었으며, GPT-3.5의 뒤를 이었고 이후 GPT-5가 그 뒤를 이었다. 전작들과 달리 GPT-4는 텍스트와 이미지 입력을 모두 처리할 수 있는 멀티모달 모델이다. OpenAI는 모델의 정확한 크기를 포함한 기술적 세부 사항을 공개하지 않았다.
배경
OpenAI는 2018년에 첫 GPT 모델(GPT-1)을 소개하며 "생성적 사전 훈련을 통한 언어 이해 개선"이라는 제목의 논문을 발표했는데, 이는 트랜스포머 아키텍처를 기반으로 방대한 도서 말뭉치로 훈련된 것이었다. 2019년에는 일관된 텍스트를 생성할 수 있는 더 큰 모델인 GPT-2를 소개했다. 2020년에는 GPT-2보다 100배 이상 많은 매개변수를 가진 모델인 GPT-3를 출시했다. GPT-3는 GPT-3.5로 더욱 정교화되었으며, 이는 ChatGPT 챗봇을 만드는 데 사용되었다.
기능
GPT-4는 2023년 3월 14일에 출시되었다. 기본 버전은 8K 컨텍스트 창을 갖추었으며, API에는 최대 32K 토큰을 지원하는 특별 버전도 있었다. 전작들과 달리 GPT-4는 멀티모달 모델로, 텍스트뿐만 아니라 이미지도 입력으로 받을 수 있다. 음성으로 사용자와 상호작용하고 이미지에 응답할 수 있어, 사진 업로드를 기반으로 제안이나 답변을 제공할 수 있다.
GPT-4는 외부 인터페이스와 상호작용하도록 프롬프트를 지정할 수 있다. 예를 들어, 모델에게 쿼리를 <search></search> 태그 안에 넣어 웹 검색을 수행하도록 지시할 수 있으며, 그 결과가 모델의 프롬프트에 삽입되어 응답을 형성할 수 있게 한다. 이를 통해 모델은 API 사용, 이미지 생성, 웹페이지 접근 및 요약과 같은 일반적인 텍스트 예측 능력을 넘어선 작업을 수행할 수 있다.
Nature에 실린 2023년 기사에 따르면, 프로그래머들은 GPT-4가 오류를 범하기 쉬움에도 불구하고 기존 코드의 오류 찾기 및 성능 개선을 위한 최적화 제안과 같은 코딩 작업을 돕는 데 유용하다는 것을 발견했다. 이 기사는 한 생물물리학자가 자신의 프로그램 중 하나를 MATLAB에서 Python으로 포팅하는 데 걸린 시간이 며칠에서 "약 한 시간"으로 줄었다고 말한 것을 인용했다. 89가지 보안 시나리오 테스트에서 GPT-4는 5%의 경우에 SQL 주입 공격에 취약한 코드를 생성했는데, 이는 2021년의 GitHub Copilot이 40%의 경우에 취약점을 생성한 것보다 개선된 것이다.
2023년 11월, OpenAI는 128K 컨텍스트 창을 갖추고 가격이 크게 저렴해진 GPT-4 Turbo 및 GPT-4 Turbo with Vision 모델을 발표했다.
표준화 시험 성취도
연구들은 챗봇을 표준화 시험에 통과시키는 것의 신뢰성에 대해 이의를 제기해 왔다. 토런스 창의성 검사에서 GPT-4는 독창성과 유창성 부문에서 상위 1%에 들었으며, 유연성 점수는 93번째에서 99번째 백분위수에 해당했다.
의료 응용
Microsoft의 연구자들은 GPT-4를 의료 문제에 테스트했으며, "GPT-4는 특별한 프롬프트 제작 없이도 USMLE 합격 점수를 20점 이상 초과하며, 이전의 일반 목적 모델(GPT-3.5) 및 의료 지식에 특별히 미세 조정된 모델(Med-PaLM, Flan-PaLM 540B의 프롬프트 조정 버전)을 능가한다"는 것을 발견했다. GPT-4의 시험 성적이 우수함에도 불구하고, 보고서는 대규모 언어 모델을 의료 응용에 사용하는 것의 "중대한 위험"을 경고했는데, 이는 부정확한 권장 사항을 제공하고 주요 사실 오류를 환각할 수 있기 때문이다.
2023년 4월, Microsoft와 Epic Systems는 환자 질문 응답 및 의료 기록 분석을 지원하기 위해 GPT-4 기반 시스템을 의료 제공자에게 제공할 것이라고 발표했다.
GPT-4o
2024년 5월 13일, OpenAI는 GPT-4o("o"는 "omni"를 의미)를 소개했는데, 이는 GPT-4의 후속 모델로 텍스트, 오디오, 이미지 양식에 걸쳐 실시간으로 출력을 처리하고 생성하는 중요한 발전을 나타냈다. GPT-4o는 대화에서 인간의 반응에 필적하는 빠른 응답 시간을 보였고, 비영어 언어에서의 성능이 크게 향상되었으며, 시각 및 오디오 이해가 강화되었다. 또한 GPT-4와 달리 무료 사용자에게도 제공되었다.
한계
전작들과 마찬가지로 GPT-4는 환각을 일으키는 것으로 알려져 있는데, 이는 출력에 훈련 데이터에 없는 정보나 사용자 프롬프트와 모순되는 정보가 포함될 수 있음을 의미한다.
GPT-4는 또한 의사 결정 과정에서 투명성이 부족하다. 요청이 있으면 모델은 결정을 내리는 방법과 이유에 대한 설명을 제공할 수 있지만, 이러한 설명은 사후에 형성된 것이다. 이러한 설명이 실제 과정을 진정으로 반영하는지 검증하는 것은 불가능하다. 많은 경우, GPT-4가 논리를 설명하도록 요청받으면 이전 진술과 직접적으로 모순되는 설명을 제공한다.
2023년, 연구자들은 추상적 추론을 측정하도록 설계된 새로운 벤치마크인 ConceptARC에 대해 GPT-4를 테스트했으며, 모든 범주에서 33% 미만의 점수를 기록한 반면, 유사한 작업에 특화된 모델은 대부분에서 60%를 기록했고 인간은 모든 범주에서 최소 91%를 기록했다. 연구에 참여하지 않은 Sam Bowman은 이 결과가 반드시 추상적 추론 능력의 부족을 나타내는 것은 아니라고 말했는데, 이는 테스트가 시각적이고 GPT-4는 언어 모델이기 때문이다.
편향
GPT-4는 두 단계로 훈련되었다. 첫째, 모델은 인터넷에서 가져온 대규모 텍스트 데이터 세트를 받아 해당 데이터 세트에서 다음 토큰(대략 단어에 해당)을 예측하도록 훈련되었다. 둘째, 인간 검토를 통해 시스템을 미세 조정하는 과정인 인간 피드백 기반 강화 학습을 사용하여, 불법 활동 수행 방법에 대한 질문, 자신이나 타인에게 해를 끼치는 방법에 대한 조언, 또는 그래픽, 폭력적, 성적 콘텐츠 설명 요청과 같은 OpenAI의 유해 행동 정의에 반하는 프롬프트를 거부하도록 모델을 훈련했다.
Microsoft 연구자들은 GPT-4가 확인 편향, 고정 편향, 기준율 무시와 같은 인지 편향을 나타낼 수 있다고 제안했다.
훈련
OpenAI는 GPT-4의 기술적 세부 사항을 공개하지 않았다. 기술 보고서는 모델 크기, 아키텍처, 훈련 또는 추론 중 사용된 하드웨어를 명시적으로 언급하지 않았다. 보고서는 모델이 대규모 데이터 세트에 대한 지도 학습과 인간 및 AI 피드백을 모두 사용한 강화 학습의 조합으로 훈련되었다고 설명했지만, 훈련 데이터 세트 구성 과정, 필요한 컴퓨팅 성능, 학습률, 에폭 수, 옵티마이저와 같은 하이퍼파라미터를 포함한 훈련 세부 사항은 제공하지 않았다. 보고서는 "경쟁 환경과 대규모 모델의 안전성 영향"이 이러한 결정에 영향을 미친 요인이라고 주장했다.
Sam Altman은 GPT-4 훈련 비용이 1억 달러 이상이라고 밝혔다.
수용 및 영향
GPT-4는 모델 공식 출시 전인 2023년 2월에 시작된 Microsoft의 Bing Chat에 통합되었다. 이 모델은 다양한 영역에서 GPT 모델의 잠재력을 입증하며 수많은 애플리케이션과 서비스의 기반이 빠르게 되었다.
가용성
GPT-4는 2023년 3월에 ChatGPT에서 출시되었으며 2025년에 제거될 때까지 사용 가능했다. 이 모델은 2026년 10월 23일에 OpenAI API에서 제거되었다.