Arctic은 클라우드 데이터 플랫폼 기업인 Snowflake가 개발한 오픈소스 대규모 언어 모델이다. 2024년 4월에 출시된 Arctic은 기업 워크로드를 위해 특별히 설계되었으며, 단순한 규모보다 효율성과 비용 효율성을 우선시한다. 혼합 전문가(MoE) 아키텍처를 사용하여 SQL 생성, 코드 완성, 지시 수행과 같은 작업에서 강력한 성능을 제공하면서도, 유사한 모델보다 훨씬 적은 컴퓨팅 자원으로 학습 및 배포가 가능하다.
이 모델의 개발은 생성형 AI 분야에서 조직이 자체 인프라에서 맞춤화하고 실행할 수 있는 오픈 가중치 모델로 향하는 더 넓은 추세를 반영한다. Arctic의 출시와 함께 상세한 기술 보고서와 오픈소스 코드가 공개되어, 연구자와 기업이 독점 API에 의존하지 않고 모델을 검사, 미세 조정, 배포할 수 있게 되었다. 이는 Arctic을 Llama 및 Mistral과 같은 다른 오픈 모델의 직접적인 경쟁자로 자리매김하게 하지만, 데이터 중심의 기업 애플리케이션에 특화된 초점을 둔다.
아키텍처 및 학습
Arctic은 각 토큰에 대해 매개변수의 일부만 활성화하는 희소 혼합 전문가(MoE) 아키텍처를 사용한다. 이 모델은 총 4,800억 개의 매개변수를 가지지만, 추론 중에는 170억 개만 활성화된다. 이 설계는 높은 용량을 유지하면서 계산 비용을 줄인다. 아키텍처는 100억 개의 매개변수를 가진 밀집 트랜스포머 백본과 각각 36.6억 개의 매개변수를 가진 128개의 전문가 모듈로 구성된다. 이 구성 덕분에 Arctic은 많은 벤치마크에서 Llama 2 70B와 같은 밀집 모델과 유사한 성능을 달성하면서도 실행 비용은 훨씬 낮다.
학습은 2단계 접근 방식을 사용했다. 첫 번째 단계는 4,096 토큰의 컨텍스트 길이로 일반 웹 텍스트와 코드에 초점을 맞췄다. 두 번째 단계는 컨텍스트를 8,192 토큰으로 확장하고 SQL 쿼리와 기업 문서를 포함한 더 전문화된 데이터를 통합했다. 학습 코퍼스에는 RedPajama, SlimPajama, StarCoder와 같은 공개 데이터셋과 Snowflake 플랫폼의 독점 데이터가 포함되었다. 총 학습 컴퓨팅은 약 3.5조 토큰으로, GPT-4와 같은 최첨단 모델에 비해 적은 수치이지만 대상 작업에는 충분하다.
기업 초점 및 벤치마크
Arctic은 Llama 2 70B, Mixtral 8x7B, DBRX를 포함한 여러 주요 오픈 및 폐쇄 모델과 벤치마크로 비교되었다. 코드 생성 벤치마크인 HumanEval에서 Arctic은 pass@1 점수 60.6%를 달성하여 Llama 2 70B(29.9%)와 Mixtral(40.2%)을 능가했다. Spider 벤치마크를 사용한 SQL 생성 작업에서 Arctic은 82.3%를 기록하여 Mixtral의 76.6%를 넘어섰고 더 큰 독점 모델의 성능에 근접했다. 이 모델은 또한 MT-Bench와 같은 지시 수행 벤치마크에서 10점 만점에 7.9점을 기록하여 GPT-3.5와 유사한 강력한 결과를 보여주었다.
이러한 결과는 데이터베이스 쿼리 생성, 금융 문서 요약, 코드 리뷰 자동화와 같은 기업 환경에서 흔한 구조화된 데이터 작업에서 탁월한 성과를 내려는 Arctic의 설계 목표를 강조한다. Snowflake는 Arctic을 기존 데이터 클라우드 서비스의 보완재로 포지셔닝하여 사용자가 자체 데이터에서 맞춤형 AI 애플리케이션을 직접 구축할 수 있게 했다.
오픈소스 및 생태계
Arctic은 상업적 사용, 수정, 재배포를 최소한의 제한으로 허용하는 Apache 2.0 라이선스로 출시되었다. 이는 사용 제한을 부과하거나 저작자 표시를 요구하는 일부 다른 오픈 모델과 대조적이다. 모델 가중치는 Hugging Face에서 제공되며, 학습 및 추론 코드는 GitHub에 호스팅되어 있다. Snowflake는 또한 최적화된 배포를 위해 vLLM 및 NVIDIA TensorRT-LLM과 같은 인기 프레임워크와의 통합을 제공했다.
오픈소스 특성은 법률 및 의료 텍스트와 같은 특정 도메인을 위한 미세 조정 변형을 포함한 커뮤니티 기여를 촉진했다. Snowflake는 또한 문서와 사용 사례 예시를 포함한 전용 개발자 포털을 시작했다. 2024년 말 기준으로 Arctic은 Hugging Face에서 50만 회 이상 다운로드되어 기업과 연구자 사이에서 상당한 채택을 나타냈다.
평가 및 영향
업계 분석가들은 최첨단 벤치마크를 추구하기보다 비용 효율적인 추론에 초점을 맞춘 Arctic의 실용적 접근 방식을 주목했다. Arctic의 출시는 일부 최첨단 모델이 사용하는 학습 컴퓨팅의 1/100만으로 기업 작업에서 경쟁력 있는 성능을 달성할 수 있음을 보여주면서 대규모 모델 학습의 지속 가능성에 대한 성장하는 논쟁에 기여했다. 비평가들은 일반 지식 및 추론 작업에서 Arctic의 성능이 GPT-4 및 Claude 3와 같은 모델에 뒤처진다고 지적했지만, 도메인 특화 애플리케이션에서의 강점은 인정했다.
Arctic은 또한 Snowflake의 제품 로드맵에 영향을 미쳐, 회사는 자연어 쿼리 및 문서 요약과 같은 기능을 위해 이 모델을 Cortex AI 플랫폼에 통합했다. 이 통합을 통해 Snowflake 고객은 자체 인프라를 관리하지 않고도 Arctic을 사용할 수 있어 그 영향력을 더욱 확장했다.
향후 방향
Snowflake는 더 긴 컨텍스트 창과 개선된 다국어 지원을 갖춘 Arctic의 업데이트 버전을 출시할 계획을 밝혔다. 회사는 또한 멀티모달 기능을 탐색하고 있지만, 구체적인 일정은 발표되지 않았다. 2025년 현재 Arctic은 오픈소스 모델이 특정 산업에 맞게 조정될 수 있는 방법의 주목할 만한 사례로 남아 있으며, 그 개발은 효율적인 MoE 설계에 대한 후속 연구에 정보를 제공했다.
같이 보기
- 혼합 전문가
- SQL 생성
- Apache 2.0 라이선스
- Hugging Face
참고 문헌
- Snowflake AI Research. "Arctic: A Dense-MoE Hybrid Transformer for Enterprise AI." 기술 보고서, 2024.
- Snowflake/snowflake-arctic-instruct에 대한 Hugging Face 모델 카드.
- Arctic 기술 보고서에 보고된 HumanEval, Spider, MT-Bench의 벤치마크.