Qwen2.5는 2024년 9월에 출시된 알리바바 클라우드가 개발한 오픈 가중치 대규모 언어 모델 제품군입니다. 이는 Qwen2 시리즈의 후속작으로, 0.5억에서 720억 개의 매개변수에 이르는 모델을 포함하며 지속적인 생성형 AI 진화에서 중요한 반복을 나타냅니다. 이 제품군에는 기본 모델, 지시 조정 변형, 그리고 코딩 및 수학적 추론에 최적화된 도메인 특화 버전이 포함됩니다.
Qwen2.5 출시는 이전 버전의 아키텍처와 훈련 방법론을 확장하여 데이터 품질과 훈련 규모의 개선을 통합했습니다. 모델은 허용적인 오픈 라이선스로 제공되어 학술 및 상업적 사용이 모두 가능하며, 캐주얼한 머신 러닝 실험부터 AWS, Azure 및 기타 클라우드 플랫폼에서의 프로덕션 LLM 배포에 이르기까지 다양한 애플리케이션에서 사용할 수 있습니다.
이 제품군은 공개 AI 벤치마크 리더보드에서 주목할 만한 성능을 달성했으며, 종종 유사한 매개변수 수에서 OpenAI, Anthropic, Google DeepMind의 모델과 경쟁력 있게 비교되었습니다. 접근성과 경쟁력 있는 성능은 오픈 소스 AI 커뮤니티 내에서의 광범위한 채택에 기여했습니다.
아키텍처 및 훈련
모든 Qwen2.5 변형은 트랜스포머 아키텍처를 기반으로 하며, 현대 인과 언어 모델의 전형적인 디코더 전용 구조를 사용합니다. 이 아키텍처는 멀티 헤드 어텐션 메커니즘과 위치 인코딩 함수를 통합하고, 레이어 정규화 및 잔차 연결을 사용하여 대규모 훈련의 안정성을 촉진합니다.
모델은 대규모 어휘 토크나이저를 사용하며, 영어와 중국어에 특히 강한 다국어 데이터 혼합으로 훈련됩니다. 훈련은 Adam 옵티마이저와 학습률 스케줄, 그래디언트 클리핑, 드롭아웃을 포함한 고급 최적화 기술을 활용했습니다.
모델 크기는 0.5B, 1.5B, 3B, 7B, 14B, 32B, 72B 매개변수에 걸쳐 있습니다. 각 크기에는 지속적인 미세 조정을 위한 기본 모델과 RLHF 스타일 방법으로 정렬된 지시 조정 버전이 있습니다. 이러한 계층 구조는 사용자가 리소스 제약이 있는 엣지 디바이스부터 고성능 클러스터까지 적절한 컴퓨팅 및 성능 절충을 선택할 수 있게 합니다.
전문 코딩 변형인 Qwen2.5-Coder는 프로그래밍 말뭉치에 대한 추가 훈련과 긴 코드 시퀀스를 처리하는 능력으로 출시되었습니다. 수학 중심 변형인 Qwen2.5-Math는 경쟁 수학 문제 해결 및 추론 작업을 대상으로 했습니다.
성능 및 벤치마크
Qwen2.5-72B-Instruct는 MMLU, HumanEval, GSM8K와 같은 널리 인용된 벤치마크에서 강력한 결과를 입증했습니다. 여러 평가에서 유사한 크기의 다른 개발자 모델을 능가했지만, 공개 리더보드에 따르면 2024년에 출시된 오픈 가중치 모델 중 종종 최상위 계층에 속했습니다.
코딩 특화 모델은 코드 완성, 버그 수정, 저장소 수준 이해와 같은 작업에서 탁월했습니다. 수학 특화 변형은 경쟁 수준 문제 세트에서 높은 통과율을 달성했으며, 일부 평가에서는 더 큰 독점 시스템과 경쟁했습니다.
LMArena 및 Open LLM 리더보드의 독립 평가는 그 성능을 포착했으며, 많은 커뮤니티 벤치마크는 7B 및 72B 변형을 새로운 오픈 모델의 참조 지점으로 포함했습니다.
사용 사례 및 생태계
Qwen2.5 모델은 Hugging Face Transformers, vLLM, Groq 하드웨어 가속기를 포함한 다양한 프레임워크와 플랫폼에 통합되었습니다. SambaNova와 Graphcore는 저지연 배포를 원하는 기업을 위한 최적화된 추론 경로도 제공했습니다.
개발자는 챗봇 애플리케이션, 콘텐츠 생성, 구조화된 데이터 추출, 도메인 특화 말뭉치에 대한 미세 조정에 모델을 사용했습니다. 오픈 가중치는 모델 가지치기와 양자화를 가능하게 하여 엣지 디바이스 및 모바일 플랫폼에 배포할 수 있게 했습니다.
알리바바 클라우드, 구글 클라우드, 오라클 클라우드와 같은 클라우드 제공업체는 관리형 서비스를 제공했습니다. 헬스케어, 금융, 고객 지원 분야의 기업 사용자는 기본 모델을 적응시켰지만, 정확한 배포는 종종 공개적으로 상세히 설명되지 않습니다.
영향 및 유산
Qwen 시리즈의 일부로서 Qwen2.5는 글로벌 LLM 환경에서 알리바바 클라우드의 입지를 강화했습니다. 이 출시는 고성능 오픈 가중치 모델이 독점 제공을 도전하는 추세를 계속했으며, 버클리 AI 연구 및 스탠포드 AI 연구소 커뮤니티를 더 개방적인 평가 관행으로 밀어붙였습니다.
다양한 매개변수 크기의 가용성은 소규모 연구소와 개별 연구자의 장벽을 낮추어 적당한 하드웨어에서 미세 조정을 가능하게 했습니다. 모델 제품군은 또한 라이선스, 재현성, 고급 AI 기능에 대한 공평한 접근에 관한 오픈 패널 논의에 기여했습니다.
빠르게 진화하는 분야가 곧 후속작을 보았지만, Qwen2.5는 2024년 내내 그리고 2025년까지 경쟁력 있는 참조 지점으로 남았으며, 지시 조정 변형은 2025년 초에도 여전히 활발히 사용 중입니다.