Kimi K2.5는 중국의 인공지능 기업인 Moonshot AI가 개발한 대규모 언어 모델 제품군이다. 이 모델들은 고급 추론, 코딩, 일반 목적의 텍스트 생성에 맞게 설계되었으며, 이전의 Kimi K2 아키텍처를 기반으로 한다. 2025년 초 기준으로 Kimi K2.5 제품군은 LMArena 및 Open LLM Leaderboard를 포함한 여러 공개 LLM 리더보드에 등장했으며, 벤치마크 스냅샷에는 다섯 가지의 서로 다른 변형 모델이 포착되었다. 그러나 Moonshot AI는 모든 변형 모델을 공식적으로 출시하지 않았으며, 일부 항목은 익명의 아레나 제출로 등재되어 있고, 상세한 기술 사양은 일부 공개되지 않은 상태로 남아 있다.
Kimi K2.5 제품군은 2024년 말에 출시된 이전 모델인 Kimi K2에 대한 반복적인 개선을 나타낸다. 이 모델들은 Transformer (architecture) 아키텍처를 사용하며, 멀티 헤드 어텐션 및 Cross-Attention 메커니즘을 활용하여 긴 맥락을 처리하고 일관된 응답을 생성한다. 각 변형 모델의 정확한 파라미터 수는 공개적으로 확인되지 않았지만, 제품군은 더 작은 효율적인 모델부터 더 크고 강력한 버전까지 다양한 크기에 걸쳐 있다. 이 모델들은 지도 미세 조정과 인간 피드백 기반 강화 학습(RLHF)의 조합을 사용하여 훈련되며, 출력을 인간의 선호도에 맞춘다.
공개 리더보드 등재 현황
Kimi K2.5 모델은 주요 공개 벤치마크에서 평가되었다. 인간 선호도 대결을 기반으로 모델을 순위 매기는 LMArena 리더보드에서 K2.5 변형 모델들은 경쟁력 있는 Elo 점수를 달성했으며, 종종 OpenAI, Anthropic, Google DeepMind의 모델들과 함께 최상위권에 위치했다. MMLU, GSM8K, HumanEval과 같은 작업의 점수를 집계하는 Open LLM Leaderboard에서 K2.5 제품군은 특히 수학적 추론과 코드 생성에서 강력한 성능을 보여준다. 예를 들어, 한 변형 모델은 코드 합성 벤치마크인 HumanEval에서 90% 이상, 초등학교 수준 수학 문제 세트인 GSM8K에서 85% 이상의 점수를 기록한 것으로 알려졌다. 그러나 이러한 점수는 2025년 초의 스냅샷 데이터를 기반으로 하며, 최신 모델 버전을 반영하지 않을 수 있다.
변형 모델 및 스냅샷
벤치마크 스냅샷에서 확인된 Kimi K2.5의 다섯 가지 변형 모델은 다음과 같이 명명된다: Kimi K2.5-7B, Kimi K2.5-14B, Kimi K2.5-32B, Kimi K2.5-70B, Kimi K2.5-MoE. 7B 및 14B 변형 모델은 효율성을 위해 설계되어 소비자용 하드웨어와 엣지 디바이스에 적합하다. 32B 및 70B 변형 모델은 성능과 리소스 요구 사항 사이의 균형을 제공한다. MoE(Mixture of Experts) 변형 모델은 총 파라미터 수가 약 100B이지만 활성 파라미터 수는 더 적을 것으로 추정되며, 낮은 추론 비용으로 높은 성능을 달성하는 것을 목표로 한다. 최신 스냅샷 기준으로 Moonshot AI가 공식적으로 출시한 것은 7B 및 14B 변형 모델뿐이며, 더 큰 변형 모델은 리더보드에 익명 항목으로만 나타나 내부 평가 또는 제한된 베타 테스트 중일 수 있음을 시사한다.
기술적 특징
Kimi K2.5 모델은 여러 고급 기술을 통합한다. 이 모델들은 위치 인코딩을 사용하여 긴 시퀀스를 처리하며, 최대 128,000 토큰의 컨텍스트 창을 지원하여 긴 문서와 다중 턴 대화를 처리할 수 있다. 이 모델들은 생성 중 top-k 샘플링 및 top-p 샘플링을 사용하여 출력의 무작위성과 다양성을 제어한다. 또한 온도 스케일링을 사용하여 응답의 창의성을 조정한다. 훈련 과정에는 모델이 점진적으로 더 어려운 예제에 대해 훈련되는 커리큘럼 러닝과 훈련을 안정화하기 위한 그래디언트 클리핑이 포함되었을 가능성이 높다. 이 모델들은 심층 신경망 훈련에 널리 사용되는 Adam 옵티마이저의 변형을 사용하여 최적화된다.
개발 및 출시
2023년에 설립된 Moonshot AI는 중국 AI 환경의 핵심 플레이어로 자리매김했다. K2 및 K2.5를 포함한 Kimi 시리즈는 생성형 AI 분야의 글로벌 선두 기업들과 경쟁하려는 회사의 노력의 일부이다. Kimi K2.5의 개발은 연구원 팀이 주도했으며, 회사 전반의 엔지니어들이 기여했다. 더 작은 변형 모델의 공식 출시는 2025년 초에 이루어졌으며, 7B 모델은 Hugging Face에, 14B 모델은 회사 자체 플랫폼에 공개되었다. 더 큰 변형 모델은 2025년 3월 현재 출시되지 않은 상태로 남아 있으며, 공개 제공에 대한 공식 발표는 없다. 익명의 아레나 등재 항목은 그 성능에 대한 추측을 불러일으켰지만, Moonshot AI는 이들의 존재를 확인하거나 공식 벤치마크 결과를 제공하지 않았다.
반응 및 영향
리더보드에 Kimi K2.5가 등장하면서 AI 커뮤니티의 관심을 불러일으켰다. 독립적인 평가에 따르면 이 모델들은 특히 추론 작업에서 Llama 및 Mistral과 같은 기존 오픈소스 모델과 경쟁력 있는 성능을 보여준다. 그러나 더 큰 변형 모델에 대한 공식 문서 부족은 보고된 점수에 대한 일부 회의론을 낳았다. 2025년 초 현재 Kimi K2.5 제품군은 더 넓은 AI 생태계에 아직 큰 영향을 미치지 않았지만, 리더보드에 등장한 것은 Moonshot AI가 모델 성능의 경계를 적극적으로 넓히고 있음을 나타낸다. 향후 출시와 공식 벤치마크는 이 모델의 분야 내 입지를 더욱 명확히 할 것이다.