Google Gemini 1.5는 Google DeepMind가 개발한 멀티모달 대규모 언어 모델로, 2024년 2월 Gemini 1.0 시리즈의 업그레이드 버전으로 발표되었다. 이 모델은 mixture-of-experts 아키텍처와 최대 100만 토큰의 컨텍스트 창을 도입하여, 단일 요청으로 방대한 양의 정보를 처리하고 이해할 수 있게 했다. 이번 출시는 대규모 언어 모델의 진화에 중요한 진전을 의미하며, Gemini 1.5를 당시 가장 강력한 AI 시스템 중 하나로 자리매김하게 했다.
Gemini Pro, Gemini Flash, Gemini Ultra와 같은 모델을 포함하는 Gemini 제품군은 2023년 12월 6일 LaMDA 및 PaLM 2와 같은 이전 Google 모델의 후속작으로 처음 발표되었다. Gemini 1.5는 이러한 기반 위에 구축되어 향상된 성능과 효율성을 제공했다. 이 모델은 Google Cloud의 Vertex AI 플랫폼과 AI Studio를 통해 개발자와 기업 고객에게 제공되었으며, 실험을 위한 무료 티어도 포함되었다.
아키텍처 및 기술 혁신
Gemini 1.5는 이전 버전에서 사용된 밀집 트랜스포머 모델과 달리 mixture-of-experts(MoE) 아키텍처를 채택했다. MoE 모델에서는 각 입력에 대해 네트워크의 매개변수 중 일부만 활성화되어 더 효율적인 계산과 확장이 가능하다. 이러한 설계 덕분에 Gemini 1.5는 계산 비용의 비례적 증가 없이 더 높은 성능을 달성할 수 있었다.
이 모델은 또한 트랜스포머 메커니즘을 포함한 고급 기술을 통합했으며, 여기에는 멀티헤드 어텐션과 위치 인코딩이 포함되어 긴 시퀀스를 효과적으로 처리했다. 100만 토큰의 컨텍스트 창은 주요 기술적 성과로, 모델이 전체 책, 긴 코드베이스 또는 수 시간 분량의 비디오를 단일 패스로 처리할 수 있게 했다. 이러한 기능은 어텐션 및 메모리 관리의 혁신 덕분에 가능했으며, 모델이 매우 긴 입력에서도 일관성을 유지할 수 있게 했다.
컨텍스트 창 돌파구
100만 토큰의 컨텍스트 창은 Gemini 1.5의 핵심 기능이었다. 비교를 위해, OpenAI의 GPT-4와 같은 대부분의 현대 LLM은 약 32,000~128,000 토큰의 컨텍스트 창을 가지고 있었다. 확장된 컨텍스트 덕분에 Gemini 1.5는 전체 영화 대본 분석, 긴 법률 문서 요약, 긴 대화에서의 맥락 유지와 같이 이전에는 비현실적이었던 작업을 처리할 수 있었다.
데모에서 Google은 Gemini 1.5가 402페이지 분량의 소설을 처리하고 이에 대한 질문에 높은 정확도로 답변하는 모습을 보여주었다. 이 모델은 또한 비디오 영상, 오디오 녹음, 코드 저장소를 분석할 수 있어 생성형 AI 애플리케이션을 위한 다재다능한 도구가 되었다. 이러한 돌파구는 딥러닝으로 가능한 범위를 확장했으며 AI 모델의 컨텍스트 처리에 새로운 기준을 세웠다.
성능 및 벤치마크
출시 당시 플래그십 모델인 Gemini 1.5 Pro는 다양한 벤치마크에서 이전 모델인 Gemini 1.0 Ultra를 능가했다. 추론, 코딩, 멀티모달 이해와 같은 작업에서 최첨단 결과를 달성했다. 예를 들어, 57개 과목을 다루는 MMLU(Massive Multitask Language Understanding) 테스트에서 높은 점수를 받았으며, 수학 및 코드 생성 작업에서도 강력한 성능을 보여주었다.
이 모델은 또한 긴 컨텍스트 검색에서 뛰어난 성능을 보였으며, 100만 토큰 입력 내에서 정보를 정확하게 찾아 종합할 수 있었다. 이는 긴 문서를 처리할 때 일관성이나 정확성을 잃는 경우가 많았던 이전 모델에 비해 크게 개선된 점이었다. Gemini 1.5의 성능은 MoE 아키텍처와 Google DeepMind가 사용한 방대한 학습 데이터 덕분으로 평가되었다.
제공 및 통합
Gemini 1.5는 처음에 Google AI Studio와 Vertex AI를 통해 개발자용 미리보기로 출시되었다. 복잡한 작업을 위해 설계된 Gemini 1.5 Pro와 나중에 도입된 더 빠르고 비용 효율적인 변형인 Gemini 1.5 Flash의 두 가지 크기로 제공되었다. 이 모델은 API를 통해 접근할 수 있어 개발자가 애플리케이션에 통합할 수 있었다.
2024년 2월, Google은 Gemini 연구에서 파생된 오픈소스 모델 제품군인 Gemma도 출시했다. Gemma는 상업적 사용이 가능하게 되어 Google의 AI 배포 방식에 변화를 의미했다. Gemma의 출시는 Meta와 같은 경쟁사가 자체 오픈 모델을 출시하면서 AI의 오픈소스 운동에 대한 대응으로 여겨졌다.
Gemini 1.5는 Gemini 챗봇, Google Workspace, Android를 포함한 다양한 Google 제품에 통합되었다. 2024년 1월, Google은 Samsung과 파트너십을 맺어 Gemini Nano를 Galaxy S24 스마트폰에 탑재했으며, 이후 Gemini 1.5는 Google One 구독 서비스를 통해 더 넓은 사용자에게 제공되었다.
AI 산업에 미친 영향
Gemini 1.5의 출시는 인공지능 산업에 상당한 영향을 미쳤다. 100만 토큰의 컨텍스트 창은 경쟁사들이 혁신하도록 압박했으며, 이 분야 전반에 걸쳐 컨텍스트 처리의 빠른 발전을 이끌었다. Anthropic과 OpenAI 같은 기업들은 자체 모델의 컨텍스트 한도를 늘려 최종 사용자에게 혜택을 주었다.
이 모델은 또한 mixture-of-experts 아키텍처의 잠재력을 입증했으며, 이는 이후 LLM에서 인기 있는 설계 선택이 되었다. 또한 텍스트, 이미지, 오디오, 비디오 처리를 포함한 Gemini 1.5의 멀티모달 기능은 AI 시스템이 할 수 있는 범위를 확장하여 생성형 AI 애플리케이션 개발에 영향을 미쳤다.
평가 및 비판
Gemini 1.5는 개발자와 연구자들로부터 일반적으로 긍정적인 평가를 받았으며, 긴 컨텍스트 처리와 성능을 칭찬받았다. 그러나 일부 비평가들은 모델의 기능이 실제 애플리케이션에서 항상 완전히 구현되지 않는다는 점을 지적했으며, AI 안전성과 편향성에 대한 우려도 남아 있었다. Google은 책임 있는 AI 개발에 대한 약속을 강조하며 광범위한 안전 테스트를 수행하고 신흥 규정 준수를 보장하기 위해 정부와 협력했다.
향후 개발
Gemini 1.5 출시 이후, Google은 모델을 계속 개선했다. 2024년 9월에는 성능이 향상된 업데이트 버전인 Gemini-1.5-Pro-002와 Gemini-1.5-Flash-002가 출시되었다. 2024년 12월, Google은 실시간 오디오 및 비디오 상호작용 기능을 도입한 Gemini 2.0 Flash Experimental을 발표했다. 이러한 개발은 AI 연구에 대한 Google의 지속적인 투자와 이 분야를 선도하려는 야망을 강조했다.
Gemini 1.5는 대규모 언어 모델의 진화에서 중요한 이정표를 나타냈으며, 컨텍스트 확장과 효율성이 함께 갈 수 있음을 입증했다. 그 유산은 Google 및 다른 AI 연구소의 후속 출시에서 분명하게 드러나며, AI가 달성할 수 있는 한계를 계속 확장하고 있다.