Kimi K2는 중국 인공지능 기업 Moonshot AI가 개발한 대규모 언어 모델 제품군이다. 이 모델은 2024년 11월에 출시되었으며, 회사의 이전 모델인 Kimi K1에 이어 등장했다. Kimi K2는 공개 벤치마크, 특히 코딩 및 수학적 추론 작업에서 경쟁력 있는 성능을 보여 주목을 받았으며, 해당 세대의 주요 오픈 가중치 모델 중 하나로 자리 잡았다.
Kimi K2 제품군에는 공개 LLM 및 미디어 리더보드에 등장한 여러 변형이 포함되어 있다. 2024년 말과 2025년 초의 벤치마크 스냅샷에서는 매개변수 수와 컨텍스트 창 크기가 다른 최소 네 가지 구성이 기록되었다. 가장 큰 변형은 1조 개의 매개변수를 가진 것으로 알려졌으며, 더 작은 버전은 리소스가 제한된 환경에서 배포를 위한 계산 요구 사항을 줄여준다.
아키텍처 및 학습
Kimi K2는 대부분의 현대 대규모 언어 모델 시스템과 일치하는 Transformer (architecture) 아키텍처를 기반으로 한다. 이 모델은 추론 중에 매개변수의 하위 집합만 활성화하여 용량을 희생하지 않으면서 효율성을 개선하는 성능을 발휘하는 여혼합 모델(MoE) 설계를 채택한다. 1조개 매개변수 버전은 토큰당 약 320억 개의 활성 매개변수를 사용한다.
Kimi K2의 학습 데이터는 다양한 다국어 텍스트 코퍼스를 포함하며, 특히 중국어와 영어 자료에 중점을 둔다. 모델은 감독 학습과 인간 피드백에서의 강화 학습(Reinforcement Learning from AI Feedback (RLAIF))의 조합을 통해 학습되었으며, 이는 OpenAI 및 Anthropic과 같은 조직도 사용하는 기술이다. 학습 데이터 세트 크기 및 계산 예산에 대한 세부 정보는 Moonshot AI에 의해 완전히 공개되지 않았다.
성능 및 벤치마크
Artificial intelligence 벤치마크 리더보드에서 Kimi K2는 코딩 작업에서 강력한 결과를 보여주었으며, 기존 연구소의 동시대 모델과 동일하거나 더 높은 점수를 달성했다. HumanEval 코딩 벤치마크에서 최고 변형은 pass@1 점수 92.5%를 기록했으며, MATH-500 데이터 세트에서는 94.1% 정확도를 달성했다. 이러한 수치는 Google DeepMind 및 Alibaba Cloud에서 제공하는 일부 모델을 포함하여 같은 기간에 출시된 여러 모델보다 높은 점수를 만들었다.
이 모델은 MMLU-Pro와 같은 일반 지식 및 추론 테스트에서도 84.7% 점수를 기록하며 우수한 성능을 나타냈다. 그러나 특정 대화 및 지시 따르기 평가에서는 Kimi K2가 최신 독점 모델보다 낮은 점수를 기록하여, 상호 작용 능력보다 분석적 능력에 초점을 맞춘 것을 나타냈다.
출시 및 가용성
Moonshot AI는 Kimi K2를 허용적 오픈소스 라이선스로 출시하여 학술 및 상업적 사용을 모두 허용했다. 모델 가중치는 회사 웹사이트와 Hugging Face 및 Amazon Web Services SageMaker를 포함한 주요 모델 호스팅 플랫폼을 통해 제공되었다. 이 오픈 릴리스 전략은 OpenAI의 GPT-4 시리즈와 같은 일부 경쟁사의 폐쇄적 접근 방식과 대조되며, 연구 커뮤니티에서 광범위한 채택을 촉진했다.
출시 이후 Kimi K2는 여러 서드파티 응용 프로그램과 서비스에 통합되었다. 독립 개발자들은 코드 생성 및 수학 문제 해결을 특화된 작업을 위해 세부 조정된 버전을 만들었다. 이 모델은 기술 출판물이 정리한 미디어 리더보드에도 등장하여 2024년 말 주요 오픈 가중치 모델 중 하나로 선정되었다.
반응 및 영향
Kimi K2의 출시는 상태 설정 오픈 가중치 모델의 성장 트렌드에 기여하며, 최첨단 결과가 독점 시스템만 요구한다는 가정에 도전하고 있다. 강력한 코딩 성능은 개발자와 연구자들의 주목을 끌었으며, 일부는 Anthropic 및 Google DeepMind에서 동시에 출시된 모델의 능력과 비교했다.
비평가들은 Kimi K2가 벤치마크 환경에서 뛰어나지만, 실제 성능은 애플리케이션에 따라 달라질 수 있다고 지적했다. 이 모델의 많은 매파라미터 수는 MoE 아키텍처에도 불구하고 전체 규모 배포에 상당한 계산 자원이 필요하며, NVIDIA GPU 또는 AWS Trainium 하드웨어와 같은 고사양 하드웨어에 접근할 수 있는 조직에만 사용이 제한된다.
미래 개발
Moonshot AI는 Kimi K2를 지속적인 연구 프로그램의 일부로 발표했으며, 이후 버전이 계획되어 있다. 회사는 특정 출시 날짜를 공개하지 않았지만, 초기 보고에 따르면 다국어 능력과 더 긴 컨텍스트 처리에 대한 개선이 시사된다. 2025년 초 현재 Kimi K2는 대규모 언어 모델의 급속한 진화 환경에서 주목할 기준점으로, 중국 AI 연구 커뮤니티의 상당한 기여를 나타낸다.
같이 보기
- Large language model 대규모 언어 모델
- Transformer (architecture) 트랜스포머
- Generative AI 생성형 AI
- Reinforcement Learning from AI Feedback (RLAIF) RLHF