2024년 5월 13일, OpenAI는 텍스트, 오디오, 이미지를 실시간으로 처리하고 생성하도록 설계된 네이티브 멀티모달 대규모 언어 모델인 GPT-4o를 출시했습니다. 이번 출시는 Generative AI 분야에서 중요한 진전을 의미하며, 음성, 시각, 텍스트 처리를 단일 모델로 통합하여 이전 시스템에 비해 지연 시간을 줄이고 대화의 유창성을 개선했습니다. GPT-4o는 무료 사용자를 포함한 모든 ChatGPT 사용자와 OpenAI API를 통해 제공되어, 고급 AI 기능의 광범위한 대중화를 알렸습니다.
모델 이름의 'o'는 'omni'를 의미하며, 여러 양식을 원활하게 처리하는 능력을 반영합니다. 음성 인식, 텍스트 생성, 텍스트 음성 변환을 위한 별도의 파이프라인에 의존했던 이전 모델과 달리, GPT-4o는 다양한 데이터로 훈련된 단일 엔드투엔드 Neural network를 사용하여 더 빠르고 자연스러운 상호 작용을 가능하게 합니다. 이 아키텍처는 이전 GPT 반복의 기반 위에 구축된 Deep learning 및 Transformer (architecture) 모델의 추세와 일치합니다.
기술 아키텍처
GPT-4o는 이전 모델과 유사한 Transformer (architecture) 아키텍처를 기반으로 하지만, 오디오 및 시각 입력을 직접 처리할 수 있는 향상된 기능을 갖추고 있습니다. 모델은 텍스트와 이미지에 대해 통합 토크나이저를 사용하는 반면, 오디오는 토큰으로 이산화되는 연속 표현을 통해 처리됩니다. 이 설계는 별도의 인코더 없이 양식 간에 추론할 수 있게 하여 계산 오버헤드와 지연 시간을 줄입니다.
주요 혁신에는 톤, 감정, 여러 화자를 포착하는 새로운 오디오 처리 방법과 고해상도 이미지를 더 정확하게 처리하는 개선된 비전 인코더가 포함됩니다. 모델은 또한 Multi-Head Attention 및 Cross-Attention과 같은 기술을 통합하여 양식 간에 정보를 정렬하고, Positional Encoding을 사용하여 공간 및 시간적 맥락을 유지합니다.
기능 및 성능
GPT-4o는 여러 벤치마크에서 최첨단 성능을 보여줍니다. MMLU(Massive Multitask Language Understanding) 벤치마크에서 88.7%의 점수를 달성하여 이전 모델을 능가했습니다. 비전 작업에서는 시각적 추론과 문서 이해에서 뛰어난 성능을 보였으며, DocVQA 벤치마크에서 92.8%의 정확도를 기록했습니다. 오디오의 경우 Speech Recognition(LibriSpeech) 테스트 세트에서 94.7%의 정확도를 달성했으며, 음성 쿼리에 평균 320밀리초의 지연 시간으로 응답하여 인간 대화에 필적했습니다.
모델은 50개 이상의 언어를 지원하며, 저자원 언어에서 개선된 성능을 보여줍니다. 또한 이미지를 생성하고 이해할 수 있어 이미지 캡셔닝, 시각적 질문 응답, 실시간 비디오 분석과 같은 작업을 가능하게 하지만, 비디오 처리는 출시 당시 제한적이었습니다.
가용성 및 통합
GPT-4o는 OpenAI의 제품 전반에 걸쳐 점진적으로 출시되었습니다. ChatGPT 사용자는 출시 당일 새 모델에 액세스할 수 있었으며, 무료 사용자는 시간당 제한된 메시지 수를 받았고 Plus 및 Enterprise 사용자는 더 높은 한도를 받았습니다. 모델은 또한 ChatGPT 모바일 앱에 통합되어 중단 및 중단에 대한 응답이 가능한 실시간 음성 대화를 가능하게 했습니다.
개발자는 OpenAI API를 통해 GPT-4o에 액세스할 수 있었으며, 가격은 입력 토큰 100만 개당 5달러, 출력 토큰 100만 개당 15달러로 GPT-4 Turbo에 비해 50% 할인되었습니다. API는 텍스트 및 이미지 입력을 지원했으며, 오디오 지원은 나중에 추가되었습니다. 이 가격 전략은 AI 시장에서 더 넓은 채택과 경쟁을 장려하는 것을 목표로 했습니다.
안전 및 정렬
OpenAI는 GPT-4o 개발에서 안전을 강조하며, Reinforcement Learning from AI Feedback (RLAIF)(Reinforcement Learning from AI Feedback) 및 Curriculum Learning과 같은 기술을 사용하여 모델을 인간 가치에 정렬했습니다. 회사는 편향, 잘못된 정보, 오용을 포함한 위험을 식별하고 완화하기 위해 70명 이상의 외부 전문가가 참여한 광범위한 레드팀 활동을 수행했습니다. 모델은 또한 유해한 요청을 거부하고 허용되지 않는 콘텐츠 생성을 피하도록 훈련되었습니다.
그러나 딥페이크 및 음성 사칭 가능성에 대한 우려가 남아 있어, OpenAI는 워터마킹 및 사용 정책을 구현했습니다. 회사는 또한 책임 있는 배포를 보장하고 피드백을 수집하기 위해 초기 출시에서 특정 오디오 기능에 대한 액세스를 제한했습니다.
경쟁 구도
GPT-4o의 출시는 AI 산업의 경쟁을 강화했습니다. Anthropic은 2024년 3월 Claude 3를 출시했고, Google DeepMind는 2024년 2월 Gemini 1.5 Pro를 공개하여 둘 다 강력한 멀티모달 기능을 제공했습니다. GPT-4o의 실시간 음성 기능은 경쟁사들이 초기에 그러한 원활한 상호 작용을 갖추지 못했기 때문에 차별화되었습니다. Meta 및 다른 연구소들도 오픈소스 모델을 계속 개발했지만, GPT-4o의 성능과 접근성은 상업용 AI 공간에서 OpenAI의 리더십을 강화했습니다.
하드웨어 공급업체도 대응했습니다. Nvidia의 GPU는 주요 훈련 인프라로 남아 있었지만, AMD 및 Intel은 AI 칩 노력을 가속화했으며, Amazon Web Services, Microsoft Azure, Google Cloud와 같은 클라우드 제공업체는 플랫폼을 통해 GPT-4o를 제공하여 그 범위를 확장했습니다.
AI 연구에 미치는 영향
GPT-4o의 아키텍처와 훈련 방법은 멀티모달 AI의 후속 연구에 영향을 미쳤습니다. 그 성공은 여러 양식에 대해 단일 모델을 훈련하는 접근 방식을 검증하여 모듈식 파이프라인에서 전환을 주도했습니다. MIT CSAIL, Stanford AI Lab, BAIR (Berkeley AI Research)와 같은 기관의 연구자들은 유사한 통합 모델을 탐구하기 시작했으며, 모델의 개방형 API는 Machine learning 및 Artificial intelligence 실험을 촉진했습니다.
또한 GPT-4o의 실시간 오디오 및 이미지 처리 능력은 인간-컴퓨터 상호 작용, 로봇 공학, 접근성에서 새로운 길을 열었습니다. Figure AI 및 Sanctuary AI와 같은 회사는 휴머노이드 로봇에 이러한 모델을 통합하는 것을 탐구했으며, Waymo 및 Tesla은 자율 주행에서의 응용을 고려했습니다.
반응 및 논란
초기 반응은 대체로 긍정적이었으며, 사용자들은 자연스러운 음성 상호 작용과 무료 제공을 칭찬했습니다. 그러나 논란이 발생했습니다. 일부 비평가들은 모델이 실시간 비디오와 오디오를 분석할 수 있는 능력으로 인해 감시 및 개인 정보 침해 가능성이 증가할 수 있다는 우려를 제기했습니다. 다른 이들은 강력한 벤치마크 점수에도 불구하고 의학 및 법률과 같은 고위험 영역에서 모델의 정확성에 의문을 제기했습니다.
OpenAI는 또한 모델이 저작권 자료를 포함한 방대한 양의 인터넷 데이터로 훈련되었기 때문에 데이터 관행에 대한 조사를 받았습니다. 이는 저자와 예술가들이 자신의 작품의 무단 사용을 이유로 소송을 제기하면서 지속적인 법적 분쟁으로 이어졌습니다. 회사는 공정 사용 하에 자신의 관행을 변호했지만, 문제는 해결되지 않은 채 남아 있었습니다.
향후 방향
출시 후 OpenAI는 GPT-4o를 계속 개선하여 오디오 품질을 향상하고 비디오 이해를 추가한 업데이트를 출시했습니다. 회사는 또한 멀티모달 추론을 더욱 향상하고 환각을 줄이기 위한 계획으로 GPT-4.5 및 GPT-5 개발을 시작했습니다. GPT-4o의 성공은 AWS Trainium 및 Groq 칩과 같은 특수 하드웨어에 대한 투자를 촉진하여 AI 추론을 더 빠르고 저렴하게 만들었습니다.
더 넓은 맥락에서 GPT-4o는 AI의 사회적 영향에 대한 지속적인 논쟁에 기여하여 규제와 책임 있는 개발을 요구했습니다. 2024년 중반 현재, 이 모델은 가장 고급 공개 AI 시스템 중 하나로 남아 있으며, 향후 혁신의 벤치마크를 설정했습니다.
결론
2024년 5월 OpenAI의 GPT-4o 출시는 Large language model의 진화에서 이정표를 나타내며 실시간 멀티모달 상호 작용의 실현 가능성을 입증했습니다. 속도, 정확성, 접근성의 조합은 사용자 기대를 재편하고 일상 생활에 AI 통합을 가속화했습니다. 안전 및 윤리 문제가 지속되었지만, 이번 출시는 산업, 연구, 사회 전반에 걸쳐 시사점을 가진 분야의 빠른 진전 속도를 강조했습니다.