Qwen(통이첸원, 중국어: 通义千问; 병음: Tōngyì Qiānwèn)은 알리바바 클라우드가 개발한 주로 오픈 가중치를 사용하는 대형 및 소형 언어 모델(LLM 및 SLM) 제품군이다. 이 시리즈는 밀집(dense) 및 혼합 전문가(mixture-of-experts) 아키텍처를 포함하며, 엣지 디바이스에 적합한 소형 모델부터 수조 개의 매개변수를 가진 대규모 모델까지 다양하다. Qwen 모델은 오픈소스 커뮤니티에서 파인튜닝 및 앱리터레이션(abliteration)의 기반으로 널리 사용되며, 현지 버전은 중국의 애플 인텔리전스를 구동한다.
첫 번째 버전은 메타 AI의 Llama 1 아키텍처를 기반으로 2023년 4월 베타로 출시되었으며, 2023년 12월 72B 가중치를 공개했다. 이후 버전인 Qwen2와 Qwen3는 시각, 오디오 및 옴니모달 기능을 확장하고 추론 중심 모델을 도입했다. 최신 릴리스인 Qwen3.8은 2.4조 매개변수의 Qwen3.8-Max를 포함하며, 이는 2026년 8월 12일 기준 Kimi K3 다음으로 두 번째로 크고 두 번째로 강력한 오픈 가중치 LLM 및 중국어 LLM이었다.
모델 아키텍처 및 훈련
Qwen 모델은 트랜스포머 아키텍처를 기반으로 구축되었으며, 초기에는 메타 AI의 Llama 설계를 채택했다. 이후 버전은 멀티 헤드 어텐션, 희소 혼합 전문가(MoE) 레이어 및 긴 컨텍스트 윈도우와 같은 혁신을 통합한다. 예를 들어, Qwen3.8-Max는 순방향 패스당 약 950억 개의 활성 매개변수를 가진 희소 MoE 아키텍처를 사용하며 최대 100만 토큰의 컨텍스트 윈도우를 지원한다. Qwen3의 훈련 데이터는 119개 언어 및 방언에 걸쳐 36조 토큰을 포함하여 광범위한 다국어 기능을 가능하게 한다.
이 제품군은 밀집 모델(예: 0.6B에서 32B 매개변수의 Qwen3 밀집 변형)과 MoE 모델(예: Qwen3-30B-A3B 및 Qwen3-235B-A22B)을 모두 포함한다. 2.4조 총 매개변수의 Qwen3.8-Max는 시리즈에서 가장 큰 오픈 가중치 모델이다. 모델은 Adam 최적화 및 학습률 스케줄링을 포함한 표준 딥러닝 기술을 사용하여 훈련되지만, 구체적인 훈련 세부 사항은 종종 완전히 공개되지 않는다.
모델 변형 및 기능
Qwen은 여러 특수 모델 라인을 포함한다. Qwen-VL 시리즈는 시각 언어 작업을 위해 비전 트랜스포머와 LLM을 결합하며, Qwen2-VL(2B 및 7B) 및 Qwen2.5-VL(3B, 7B, 32B, 72B)과 같은 변형이 있다. Qwen2.5-Omni-7B는 텍스트, 이미지, 비디오 및 오디오를 입력으로 받아들이고 텍스트와 오디오 출력을 모두 생성하여 실시간 음성 상호작용을 가능하게 한다. Qwen-Audio는 오디오 작업을 처리하고, Qwen2-Math는 수학적 추론에 중점을 둔다. 2024년 11월 QwQ-32B-Preview로 시작된 QwQ 시리즈는 OpenAI의 o1과 유사한 추론을 강조하며 32K 토큰 컨텍스트 길이를 가진다.
Qwen3는 켜거나 끌 수 있는 사고 모드를 도입하여 모델이 답변 전에 숙고하거나 직접 응답할 수 있게 한다. 2026년 8월 12일 오픈 가중치로 출시된 Qwen3.8-Max는 이미지 입력 및 비사고 모드와 같은 일부 클라우드 기능을 생략하지만, 증류된 Qwen3.8-27B는 이러한 기능을 포함하며 허용적인 Apache 라이선스로 제공된다.
릴리스 및 라이선스
알리바바는 100개 이상의 오픈 가중치 모델을 출시했으며, 2025년 초 기준 누적 다운로드 수가 4000만 건을 초과했다. 라이선스는 모델에 따라 다르다: 많은 소형 및 증류 버전은 Apache 2.0 라이선스를 사용하는 반면, 대형 모델은 종종 연간 5000만 달러 이상을 생성하는 제공자에게 수익 공유 계약을 요구한다. 예를 들어, Qwen3.8-2.4T-A95B는 상업 라이선스가 필요한 반면, Qwen3.8-27B는 Apache 2.0이다. 이 전략은 개방성과 상업적 이익의 균형을 맞추며, Qwen을 커뮤니티 파인튜닝의 일반적인 출발점으로 만든다.
주요 릴리스 날짜는 다음과 같다: 2023년 4월 Qwen 베타; 2023년 8월 Qwen 7B 가중치; 2023년 12월 Qwen 72B 및 1.8B; 2024년 6월 Qwen2; 2025년 1월 Qwen2.5-VL; 2025년 1월 29일 Qwen2.5-Max; 2025년 3월 24일 Qwen2.5-VL-32B-Instruct; 2025년 3월 26일 Qwen2.5-Omni-7B; 2025년 4월 28일 Qwen3; 2026년 2월 Qwen3.5; 2026년 7월 Qwen3.8-Max 미리보기; 2026년 8월 3일 클라우드 릴리스; 2026년 8월 12일 오픈 가중치; 및 2026년 8월 14일 Qwen3.8-27B.
생태계 및 응용
Qwen 모델은 알리바바의 클라우드 서비스 및 소비자 애플리케이션에 통합된다. 2026년 1월 업데이트된 Qwen 모바일 앱은 알리바바 생태계에 연결되며, 음식 배달 서비스로 시작하여 타오바오 및 플리기와 같은 플랫폼으로 확장할 계획이다. Qwen의 현지 버전은 중국의 애플 인텔리전스에서 운영 체제와 통합되어 사용된다. 2024년 11월 출시된 Accio 애플리케이션은 AI 기반 쇼핑 지원을 위해 Qwen을 활용한다.
오픈소스 커뮤니티에서 Qwen의 허용적 라이선스는 콘텐츠 제한을 제거한 Abacus AI의 "Liberated Qwen" 및 Anthropic의 Fable 5의 튜닝 데이터를 통합한 "Qwable"과 같은 수많은 파인튜닝 및 앱리터레이션 파생 모델을 이끌어냈다. 이러한 파생 모델은 실험을 위한 기반 모델로서 Qwen의 역할을 강조한다.
최근 개발
2026년 3월, Qwen AI 모델 부문 전 책임자였던 린쥔양은 Qwen3.5 및 Qwen3.5-Plus 출시 후 사임하여 그 해 알리바바를 떠난 세 번째 임원이 되었다. 알리바바는 이러한 이탈에도 불구하고 오픈소스 AI에 대한 약속을 재확인했다. 같은 달, 회사 발표에서 새로운 법인의 설립이 밝혀졌지만, 2026년 초 현재 세부 사항은 제한적이다. 독점 Qwen3.8-Max 및 오픈 Qwen3.8-27B를 포함한 Qwen3.8 시리즈는 최신 발전을 대표하며, 알리바바는 오픈 가중치 모델 규모와 기능의 경계를 계속 확장하고 있다.