GPT-4는 OpenAI가 개발한 대규모 언어 모델로, 2023년 3월 14일에 Generative pre-trained transformer 시리즈의 네 번째 모델로 출시되었다. 이전 모델들과 달리 GPT-4는 멀티모달 모델로, 이미지와 텍스트 입력을 모두 수용하여 시각 정보를 문자 언어와 함께 처리할 수 있다. 이러한 능력은 인공지능 연구에서 중요한 이정표를 세웠으며, 대규모 언어 모델의 잠재적 응용 분야를 텍스트 전용 상호작용을 넘어 확장했다. GPT-4는 GPT-3.5의 뒤를 이었고 GPT-5가 뒤따랐으며, ChatGPT와 이후 OpenAI API에 통합되었고, 이미지 처리에 특화된 GPT-4V라는 버전도 존재한다.
OpenAI는 GPT-4의 정확한 모델 크기, 아키텍처, 또는 훈련 하드웨어와 같은 기술적 세부 사항을 공개하지 않았다. 기술 보고서는 경쟁 및 안전 고려 사항을 이유로 이러한 매개변수를 명시하지 않았다. 이러한 투명성 부족은 더 많은 정보가 제공되었던 GPT-3와 같은 초기 모델과 대조되었다. 그럼에도 불구하고 GPT-4의 능력은 표준화된 시험과 의학 질문 응답을 포함한 다양한 벤치마크와 실제 응용 사례를 통해 입증되었다.
배경
OpenAI는 2018년에 Transformer (architecture) 아키텍처를 기반으로 하고 대규모 책 말뭉치로 훈련된 첫 GPT 모델(GPT-1)을 도입했다. 다음 해에는 일관된 텍스트를 생성할 수 있는 더 큰 모델인 GPT-2가 출시되었다. 2020년에는 GPT-2보다 100배 이상 많은 매개변수를 가진 GPT-3가 등장하여 이 분야를 더욱 발전시켰다. GPT-3는 GPT-3.5로 개선되었고, 이는 2022년 11월에 출시된 Chatbot 제품인 ChatGPT를 구동했다. ChatGPT의 성공은 대규모 언어 모델의 잠재력을 부각시켜 GPT-4 개발의 토대를 마련했다.
능력
GPT-4의 기본 버전은 8K 컨텍스트 창을 특징으로 했으며, 특수 API 버전은 최대 32K 토큰을 지원했다. 멀티모달 모델로서 이미지와 텍스트를 처리할 수 있어 사용자가 사진을 업로드하고 시각적 콘텐츠를 기반으로 제안이나 답변을 받을 수 있었다. 이러한 능력은 텍스트 전용 전임자들과의 차별점이었으며 상호작용의 새로운 경로를 열었다.
GPT-4는 외부 인터페이스와 상호작용하도록 프롬프트될 수도 있었다. 예를 들어, 모델은 <search></search> 태그 내에 쿼리를 포함하도록 지시받아 웹 검색을 수행할 수 있었고, 결과가 프롬프트에 삽입되어 응답에 정보를 제공했다. 이를 통해 GPT-4는 API 사용, 이미지 생성, 웹페이지 접근과 같은 텍스트 예측을 넘어선 작업을 수행할 수 있었다.
Nature에 게재된 2023년 기사는 프로그래머들이 GPT-4가 오류를 범하기 쉬움에도 불구하고 코딩 지원에 유용하다는 점을 발견했다고 언급했다. 이는 기존 코드의 오류를 찾고 성능 최적화를 제안하는 데 도움이 될 수 있었다. 한 생물물리학자는 MATLAB에서 Python으로 프로그램을 이식하는 데 며칠이 걸리던 작업이 GPT-4의 도움으로 "약 한 시간"으로 줄었다고 보고했다. 89개의 보안 시나리오 테스트에서 GPT-4는 SQL 주입 공격에 취약한 코드를 5%의 비율로 생성했으며, 이는 2021년의 GitHub Copilot의 40% 취약성 비율에 비해 현저히 개선된 수치였다.
2023년 11월, OpenAI는 128K 컨텍스트 창과 훨씬 낮은 가격을 특징으로 하는 GPT-4 Turbo와 GPT-4 Turbo with Vision을 발표했다.
표준화된 시험에서의 적성
챗봇을 표준화된 시험에 사용하는 것의 신뢰성에 대한 연구는 논쟁이 있어 왔다. Torrance 창의성 사고력 검사에서 GPT-4는 독창성과 유창성에서 상위 1%에 속했으며, 유연성 점수는 93번째에서 99번째 백분위수 범위였다.
의학 응용
Microsoft의 연구자들은 의학 문제에 대해 GPT-4를 테스트했으며, 특수 프롬프트 작성 없이도 USMLE 합격 점수를 20점 이상 초과하여 GPT-3.5와 같은 초기 범용 모델 및 Med-PaLM과 같은 의학 지식에 미세 조정된 모델보다 우수한 성능을 보였다. 이러한 강력한 성능에도 불구하고 보고서는 부정확한 권장 사항과 환각으로 인한 사실 오류를 포함하여 의학 응용에서 대규모 언어 모델 사용의 "중대한 위험"을 경고했다. 2023년 4월, Microsoft와 Epic Systems는 의료 제공자에게 환자 질문 응답 및 의료 기록 분석을 위한 GPT-4 기반 시스템을 제공할 계획을 발표했다.
GPT-4o
2024년 5월 13일, OpenAI는 텍스트, 오디오, 이미지 모달리티를 실시간으로 처리하고 생성하는 GPT-4의 후속 모델인 GPT-4o("o"는 "omni"를 의미)를 도입했다. GPT-4o는 인간 대화에 필적하는 빠른 응답 시간, 비영어 언어에서의 개선된 성능, 향상된 시각 및 오디오 이해를 보여주었다. 또한 GPT-4와 달리 무료 계층 사용자에게도 제공되었다.
한계
전임자들과 마찬가지로 GPT-4는 환각을 일으키는 것으로 알려져 있으며, 훈련 데이터에 없는 정보나 사용자 프롬프트와 모순되는 출력을 생성할 수 있다. 이러한 한계는 높은 신뢰성이 요구되는 응용 분야에 도전 과제를 제기한다.
GPT-4는 또한 의사 결정 과정에서 투명성이 부족하다. 결정에 대한 설명을 제공할 수 있지만, 이러한 설명은 사후에 형성되며 실제 과정을 반영하는지 검증하는 것은 불가능하다. 많은 경우, 논리를 설명하라는 요청을 받으면 GPT-4는 이전 진술과 직접 모순되는 설명을 제공한다.
2023년, 연구자들은 추상적 추론을 측정하도록 설계된 벤치마크인 ConceptARC에 대해 GPT-4를 테스트했으며 모든 범주에서 33% 미만의 점수를 기록한 반면, 특수 모델은 대부분에서 60%, 인간은 모든 범주에서 최소 91%를 기록했다. 연구에 참여하지 않은 Sam Bowman은 테스트가 시각적이고 GPT-4가 언어 모델이기 때문에 결과가 추상적 추론의 부족을 나타내지 않을 수 있다고 제안했다.
편향
GPT-4는 두 단계로 훈련되었다. 첫째, 대규모 인터넷 텍스트 데이터 세트에서 다음 토큰을 예측하도록 훈련되었다. 둘째, 인간 검토자가 인간 피드백 기반 강화 학습을 사용하여 시스템을 미세 조정했으며, 불법 활동, 자해 조언, 또는 그래픽 콘텐츠 요청과 같은 OpenAI의 유해 행동 정의에 반하는 프롬프트를 거부하도록 훈련했다. Microsoft 연구자들은 GPT-4가 확인 편향, 앵커링, 기저율 무시와 같은 인지 편향을 나타낼 수 있다고 제안했다.
훈련
OpenAI는 GPT-4 훈련의 기술적 세부 사항을 공개하지 않았다. 기술 보고서는 모델 크기, 아키텍처, 또는 사용된 하드웨어를 명시하지 않았다. 대규모 데이터 세트에 대한 지도 학습과 인간 및 AI 피드백을 통한 강화 학습을 사용한 훈련을 설명했지만, 데이터 세트 구성, 컴퓨팅 성능, 하이퍼파라미터에 대한 세부 사항은 생략했다. 보고서는 이러한 결정의 이유로 "경쟁 환경과 대규모 모델의 안전 영향"을 인용했다.
Sam Altman은 GPT-4 훈련 비용이 1억 달러 이상이라고 밝혔다. 이러한 상당한 투자는 모델의 규모와 개발에 필요한 자원을 반영했다.
수용 및 영향
GPT-4의 출시는 AI 커뮤니티와 그 너머에서 상당한 관심을 불러일으켰으며, 생성형 AI의 급속한 발전을 부각시켰다. 멀티모달 능력은 새로운 표준을 설정하여 GPT-4o 및 Google의 Gemini와 같은 후속 모델에 영향을 미쳤다. 2023년 2월 Microsoft의 Bing Chat에 GPT-4가 통합된 것은 검색 및 대화형 AI에서의 실용적 응용을 입증했다.
GPT-4의 표준화된 시험 및 USMLE와 같은 전문 시험에서의 성능은 교육 및 의료 분야에서 AI의 잠재력에 대한 논의를 촉발했다. 그러나 편향, 환각, 투명성에 대한 우려는 지속되었으며, 더 책임 있는 AI 개발에 대한 요구로 이어졌다.
유산
GPT-4는 2023년 3월 ChatGPT에서 출시되었으며 2025년까지 사용 가능하다가 제거되었다. 또한 2026년 10월 23일에 OpenAI API에서 제거되었다. 후속 모델인 GPT-5는 GPT 시리즈의 진화를 계속했다. GPT-4의 멀티모달 입력 처리 도입은 AI에서 중추적인 순간을 표시했으며, 대규모 언어 모델이 텍스트를 넘어 시각 정보를 이해하고 추론할 수 있음을 입증하여 더 다재다능하고 통합된 AI 시스템의 길을 열었다.