Gemini 2.0 Experimental는 Google DeepMind가 개발한 대규모 언어 모델 제품군으로, Gemini 1.5 시리즈의 후속 모델이다. 이 모델들은 공개 LLM 및 미디어 리더보드에 "Gemini 2.0 Experimental"이라는 이름으로 등장했으며, 벤치마크 스냅샷에는 세 가지 뚜렷한 변형이 기록되어 있다. 2025년 초 현재, 이 제품군은 미공개 상태이며, 접근은 익명 아레나 항목으로 제한되고 공식 기술 보고서나 API 문서는 게시되지 않았다.
Gemini 2.0 Experimental의 존재는 크라우드소싱 평가 플랫폼에 등장하면서 알려졌으며, 다른 최첨단 모델들과 함께 목록에 포함되었다. 세 가지 변형은 일반적으로 "Exp-01", "Exp-02", "Exp-03"과 같은 접미사로 표시되지만, 정확한 명명 규칙은 리더보드마다 다르다. 이러한 변형들은 공개 벤치마크인 MMLU, HumanEval, MATH에서 측정된 추론, 코딩, 멀티모달 작업에서 점진적인 개선을 보여준다.
벤치마크 성능
공개 리더보드에서 Gemini 2.0 Experimental 변형들은 지속적으로 최상위 모델 중 하나로 순위에 올랐으며, 종종 OpenAI의 GPT-4 시리즈 및 Anthropic의 Claude 3.5와 경쟁한다. 예를 들어, 2024년 11월 스냅샷에서 Exp-01 변형은 MMLU에서 87.2%를 기록하여 GPT-4 Turbo의 86.4%를 능가했지만 Claude 3.5 Sonnet의 88.7%에는 미치지 못했다. HumanEval에서 동일한 변형은 pass@1 92.1%를 기록했고, MATH에서는 78.5%에 도달했다. 이후 변형인 Exp-02와 Exp-03은 미미한 개선을 보였으며, Exp-03은 MMLU에서 88.0%, HumanEval에서 93.4%를 기록했다.
이러한 점수는 익명 평가에서 파생된 것이며, 정확한 모델 구성(예: 매개변수 수, 학습 데이터)은 공개되지 않았다. "Experimental"이라는 명칭은 이전 Google DeepMind 릴리스인 Gemini 1.5 Pro Experimental과 유사한 연구 미리보기를 시사한다.
기술적 특성
공개 정보와 벤치마크 동작 추론에 기반하여, Gemini 2.0 Experimental 모델은 생성형 AI 패러다임과 일치하는 트랜스포머 아키텍처로 구축되었다. 이들은 Gemini 1.5에서 볼 수 있듯이 멀티 헤드 어텐션 및 혼합 전문가 레이어를 사용할 가능성이 높다. 모델은 텍스트, 이미지, 오디오, 비디오 입력을 수용하고 텍스트 및 코드 출력을 생성하는 멀티모달이다. 컨텍스트 창 길이는 Gemini 1.5 Pro 사양과 일치하는 1백만 토큰으로 추정되지만, 이는 확인되지 않았다.
RLHF 또는 RLHF 변형과 같은 학습 세부 사항은 공개적으로 문서화되지 않았다. 그러나 추론 작업에서 모델의 강력한 성능은 chain-of-thought 프롬프팅과 최근 연구에서 주목받은 테스트 시 컴퓨팅 확장의 사용을 시사한다.
가용성 및 접근
Gemini 2.0 Experimental 제품군은 공식 Google API나 Google AI Studio를 통해 제공되지 않는다. 대신 LMArena(이전 Chatbot Arena)와 같은 익명 아레나 플랫폼을 통해 접근할 수 있으며, 사용자는 모델의 정체를 모른 채 상호 작용할 수 있다. 이러한 접근 방식은 Google DeepMind가 공개 릴리스를 약속하지 않고 인간 선호도 데이터를 수집하고 실제 시나리오에서 모델을 스트레스 테스트할 수 있게 한다.
2025년 1월 현재, 안정적인 릴리스에 대한 공식 발표는 없다. "Experimental"이라는 라벨은 모델이 테스트 단계에 있음을 시사하며, 전체 출시는 2025년 후반에 Gemini 2.0이라는 이름으로 이루어질 수 있다.
이전 모델과의 비교
Gemini 2.0 Experimental는 2024년 2월에 출시된 Gemini 1.5의 기반 위에 구축되었다. Gemini 1.5 Pro는 1백만 토큰 컨텍스트 창과 고급 멀티모달 기능을 도입했다. 2.0 Experimental 변형은 표준 벤치마크에서 개선된 성능을 보여주며, MMLU, HumanEval, MATH에서 Gemini 1.5 Pro 대비 평균 3-5% 증가를 기록했다. 예를 들어, Gemini 1.5 Pro는 MMLU에서 81.9%를 기록한 반면, Exp-01은 87.2%를 기록했다.
실험적 특성은 또한 더 빠른 반복 주기를 의미하며, 여러 변형이 몇 주 내에 출시되어 Google DeepMind의 민첩한 개발 방식을 반영한다.
수용 및 영향
리더보드에 Gemini 2.0 Experimental의 등장은 AI 커뮤니티에서 관심을 불러일으켰으며, 이는 Google DeepMind가 OpenAI 및 Anthropic과 경쟁하려는 지속적인 노력을 시사한다. 그러나 공식 문서의 부재로 모델의 아키텍처와 학습 방법에 대한 추측이 이어졌다. 일부 연구자들은 익명 모델에서 흔한 우려인 테스트 세트 오염으로 인해 벤치마크 점수가 부풀려졌을 수 있다고 지적했다.
이러한 불확실성에도 불구하고, Gemini 2.0 Experimental는 강력한 추론 및 코딩 능력으로 호평을 받았으며, 종종 더 큰 모델을 능가한다. 시각적 질문 응답과 같은 멀티모달 작업에서의 성능도 주목할 만하지만, 구체적인 점수는 공개적으로 집계되지 않았다.
2025년 초 현재, 이 모델은 여전히 익명 아레나 항목으로 남아 있으며, 그 미래는 불확실하다. 출시된다면 AI 환경에서 주요 플레이어가 되어 다른 연구소의 후속 모델 개발에 잠재적으로 영향을 미칠 수 있다.