Gemini 1.5 001은 Google DeepMind가 개발한 Gemini 1.5 제품군의 첫 번째 안정적인 릴리스입니다. 이 제품군은 2024년 2월 15일에 발표되었으며, 001 지정은 구성 모델의 초기 API 버전을 나타냅니다. 이러한 모델은 생성형 AI의 예시로, 인공지능의 하위 분야이며, 텍스트, 이미지, 오디오 및 비디오 입력을 허용하고, 트랜스포머 아키텍처와 혼합 전문가 설계를 기반으로 구축되었습니다.
Gemini 1.5 제품군은 Chatbot Arena 및 Artificial Analysis를 포함한 공개 LLM 리더보드에 등장했으며, 해당 변형 모델은 다른 모델과 벤치마킹되었습니다. 001 버전은 Google AI Studio 및 Google Cloud의 Vertex AI 플랫폼을 통해 개발자에게 처음 제공된 버전입니다.
배경 및 출시
Google DeepMind는 2024년 2월 15일에 Gemini 1.5를 이전 Gemini 1.0 모델의 업그레이드로 발표했습니다. 초기 릴리스에는 플래그십 모델인 Gemini 1.5 Pro가 포함되었고, 이후 대용량 작업에 최적화된 더 가볍고 빠른 변형 모델인 Gemini 1.5 Flash로 확장되었습니다. 모델 이름의 "001" 접미사(예: gemini-1.5-pro-001 및 gemini-1.5-flash-001)는 제품군에서 각 모델의 첫 번째 안정적인 버전을 식별합니다. 이러한 버전은 Google AI Studio 및 Vertex AI를 통해 개발자와 기업 고객에게 제공되었으며, 가격은 토큰 사용량을 기준으로 책정되었습니다.
아키텍처
Gemini 1.5 모델은 신경망 설계의 혼합 전문가와 함께 트랜스포머 기반 아키텍처를 사용하며, 각 토큰에 대해 매개변수의 하위 집합만 활성화하여 효율성을 향상시킵니다. 최대 100만 토큰의 컨텍스트 창을 지원하여 긴 문서, 코드베이스 및 비디오를 처리할 수 있습니다. 모델은 다양한 데이터 유형에 대해 딥러닝 기술을 사용하여 훈련되었으며 텍스트, 이미지, 오디오 및 비디오 전반에 걸쳐 작업을 수행할 수 있습니다. 아키텍처에는 현대 대규모 언어 모델의 일반적인 구성 요소인 멀티 헤드 어텐션 및 위치 인코딩이 포함됩니다.
변형 모델
001 릴리스에는 공개 벤치마크 스냅샷에 세 가지 주요 변형 모델이 포함됩니다.
- Gemini 1.5 Pro: 복잡한 추론 및 멀티모달 작업을 위해 설계된 플래그십 모델.
- Gemini 1.5 Flash: 대규모 애플리케이션을 위한 더 빠르고 비용 효율적인 모델.
- Gemini 1.5 Flash-Lite: 더 낮은 지연 시간과 비용에 최적화된, 나중에 도입된 경량 변형 모델.
이러한 변형 모델은 동일한 기본 아키텍처를 공유하지만 매개변수 수와 추론 속도에서 차이가 있습니다. Flash 및 Flash-Lite 모델은 응답 시간과 비용이 중요한 사용 사례를 위해 설계되었습니다.
추론 및 배포
개발자는 Google AI Studio 및 Vertex AI를 통해 Gemini 1.5 001 모델에 액세스할 수 있습니다. 추론 중에는 top-k 샘플링, top-p 샘플링 및 온도와 같은 생성 매개변수를 조정하여 출력 무작위성을 제어할 수 있습니다. 모델은 또한 빔 검색을 통한 결정적 디코딩을 지원합니다. API 엔드포인트는 Google Cloud 인프라에 호스팅되며, 모델은 저지연 애플리케이션을 위한 스트리밍 응답을 지원합니다.
성능 및 평가
Gemini 1.5 001 모델은 Chatbot Arena 및 Artificial Analysis와 같은 공개 리더보드에서 평가되었으며, OpenAI, Anthropic 및 기타 조직의 모델과 경쟁했습니다. 모델은 추론, 코딩 및 멀티모달 벤치마크에서 강력한 성능을 입증했으며, 이는 머신러닝의 발전을 반영합니다. 100만 토큰 컨텍스트 창은 이 제품군을 많은 동시대 모델과 구별하는 주목할 만한 기능이었습니다.
유산
001 버전은 이후 성능을 개선하고 지연 시간을 줄인 002 시리즈를 포함한 업데이트 버전으로 대체되었습니다. Gemini 1.5 제품군 자체는 2024년 말에 Gemini 2.0 제품군으로 이어졌습니다. 업데이트에도 불구하고 001 버전은 안정적인 장기 API 엔드포인트가 필요한 개발자를 위해 계속 사용할 수 있습니다.