GPT-4는 OpenAI가 개발한 대규모 언어 모델로, 2023년 3월 14일에 GPT 기반 모델 시리즈의 네 번째 모델로 출시되었다. 이는 다중 모드 모델로, 텍스트와 이미지를 모두 입력으로 받아들이며, 표준화된 시험과 코딩 작업을 포함한 다양한 벤치마크에서 강력한 성능으로 주목받았다. OpenAI는 경쟁 및 안전 문제를 이유로 모델 크기, 아키텍처, 훈련 하드웨어와 같은 기술적 세부 사항을 공개하지 않았다. GPT-4는 GPT-3.5의 뒤를 잇고 GPT-5의 앞선 모델이며, GPT-4V라는 버전은 이미지 입력을 처리하고, 이후 GPT-4o 모델(2024년 5월)은 실시간 오디오 및 비디오 처리로 확장되었다. GPT-4는 2023년 2월 마이크로소프트의 빙 채팅에 통합되었고, 2023년 3월 ChatGPT에 출시되었으며, 2025년 ChatGPT에서 제거되었지만 OpenAI의 API를 통해 계속 사용 가능하다.
배경 및 개발
OpenAI는 2018년에 트랜스포머 아키텍처를 기반으로 한 첫 번째 GPT 모델을 소개했으며, 언어 이해를 위해 책 말뭉치로 훈련되었다. GPT-2(2019)는 일관된 텍스트를 생성할 수 있는 더 큰 모델이었고, GPT-3(2020)는 GPT-2에 비해 매개변수를 100배 이상 확장했다. GPT-3.5는 2022년 말에 출시된 ChatGPT 챗봇을 구동했다. GPT-4는 이 계보를 기반으로 구축되었으며, 다중 모드 학습, 강화 학습, 안전 정렬의 개선을 통합했다. 초기 버전은 2023년 2월부터 빙 채팅에서 테스트되어 공개 출시 전에 마이크로소프트 사용자에게 조기 접근을 제공했다.
기능 및 특징
기본 GPT-4 모델은 8K 토큰 컨텍스트 창을 가졌으며, 특수 API 버전은 최대 32K 토큰을 지원했다. 이전 모델과 달리 이미지를 처리할 수 있어 사용자가 사진을 업로드하여 분석하거나 질문할 수 있었다. 이 모델은 <search> 태그를 사용한 웹 검색과 같은 외부 도구와 상호 작용하도록 프롬프트될 수 있어, 실시간 정보를 가져오고 API 호출 및 이미지 생성과 같은 텍스트 예측을 넘어선 작업을 수행할 수 있었다. 2023년 11월, OpenAI는 GPT-4 Turbo와 GPT-4 Turbo with Vision을 발표하여 더 낮은 비용으로 128K 컨텍스트 창을 제공했다.
표준화된 시험 성능
GPT-4는 다양한 시험에서 높은 적성을 보여주었다. 토런스 창의성 사고 검사에서 독창성과 유창성 부문에서 상위 1%에 속했으며, 유연성 점수는 93번째에서 99번째 백분위수 범위였다. 마이크로소프트 연구원들은 GPT-4가 USMLE 합격 점수를 20점 이상 초과했으며, 프롬프트 엔지니어링 없이도 GPT-3.5와 Med-PaLM과 같은 전문 의료 모델을 능가한다는 것을 발견했다. 그러나 같은 연구는 잠재적인 부정확성과 환각으로 인해 의료 응용에서 상당한 위험이 있다고 경고했다.
응용 및 영향
2023년 Nature 기사는 디버깅 및 최적화와 같은 코딩에서 GPT-4의 유용성을 강조했다. 한 생물리학자는 MATLAB 프로그램을 Python으로 포팅하는 데 며칠이 아닌 몇 시간이 걸렸다고 보고했다. 보안 테스트에서 GPT-4는 SQL 주입 취약 코드를 5%의 비율로 생성했으며, 2021년 GitHub Copilot의 40%와 비교되었다. 의료 분야에서 마이크로소프트와 Epic Systems는 2023년 4월에 GPT-4를 환자 질문 응답 및 의료 기록 분석에 사용할 계획을 발표했지만, 주의가 권고되었다.
한계 및 위험
GPT-4는 훈련 데이터에 근거하지 않거나 사용자 프롬프트와 모순되는 출력을 생성하는 환각으로 알려져 있다. 그 의사 결정은 불투명하며, 설명은 사후에 생성되어 이전 진술과 충돌할 수 있다. 2023년 ConceptARC 벤치마크에서 GPT-4는 추상 추론 작업에서 33% 미만의 점수를 기록했으며, 전문 모델과 인간은 더 높은 점수를 받았지만, 회의론자들은 테스트의 시각적 특성이 언어 모델에 불리할 수 있다고 지적했다.
편향 및 정렬
GPT-4의 훈련은 두 단계로 구성되었다: 인터넷 텍스트에 대한 초기 비지도 학습과 유해한 출력을 줄이기 위한 인간 피드백 기반 강화 학습이다. 마이크로소프트 연구원들은 GPT-4가 확인 편향, 고정 효과, 기준율 무시와 같은 인지 편향을 나타낼 수 있으며, 배포에서 공정성에 대한 우려를 제기한다고 제안했다.
훈련 및 기술적 비밀 유지
GPT-4에 대한 OpenAI의 기술 보고서는 모델 크기, 아키텍처, 하드웨어, 훈련 데이터 세트 구성, 컴퓨팅 성능, 학습률이나 최적화기와 같은 하이퍼파라미터를 생략했다. 회사는 "경쟁 환경 및 안전 영향"을 이유로 들었다. CEO 샘 알트만은 훈련 비용이 1억 달러를 초과했다고 밝혔으며, Semafor의 보고서는 더 높은 수치를 시사했지만 정확한 숫자는 검증되지 않았다.
후속 모델 및 진화
2024년 5월 13일에 도입된 GPT-4o는 텍스트, 오디오, 이미지를 실시간으로 처리하며 인간과 유사한 응답 시간을 제공한다. 이는 비영어 언어 성능을 개선했으며 GPT-4와 달리 무료 사용자에게 제공되었다. 이전에 출시된 GPT-4V는 GPT-4에 이미지 입력을 특별히 추가했다. 이 모델의 유산은 다중 모드 AI를 발전시키고 대규모 언어 모델의 투명성과 안전성에 대한 논쟁을 촉발한 것을 포함한다.