Snowflake Arctic는 2024년 4월 Snowflake Inc.가 출시한 오픈소스 엔터프라이즈 대규모 언어 모델이다. 이 모델은 특히 SQL 생성 및 코딩과 같은 엔터프라이즈 워크로드에서 높은 성능을 제공하면서도 비용 효율성을 유지하도록 설계되었다. Arctic은 밀집 트랜스포머와 전문가 혼합(MoE) 방식을 결합한 하이브리드 아키텍처를 사용하여, 유사한 규모의 다른 모델에 비해 낮은 계산 비용으로 경쟁력 있는 결과를 달성한다.
이 모델은 Snowflake의 데이터 클라우드 플랫폼에 생성형 AI를 통합하려는 광범위한 전략의 일환으로 발표되었다. Arctic은 Apache 2.0 라이선스로 제공되어 연구 및 상업적 목적으로 자유롭게 사용할 수 있다. 이 모델은 공개 웹 데이터, 코드 저장소, SQL 쿼리의 대규모 말뭉치로 훈련되었으며, 엔터프라이즈 데이터 관리와 관련된 작업에 중점을 두었다.
아키텍처 및 설계
Arctic은 Dense-MoE 하이브리드 트랜스포머 아키텍처를 사용한다. 총 4800억 개의 파라미터를 보유하지만, 추론 중에는 170억 개만 활성화된다. 이 설계는 높은 정확도를 유지하면서 모델 실행의 계산 비용을 줄인다. 밀집 구성 요소는 일반적인 언어 이해를 처리하고, MoE 레이어는 SQL 및 프로그래밍 언어와 같은 다양한 도메인을 전문적으로 처리한다.
이 모델은 2단계 프로세스로 훈련되었다. 첫 번째 단계는 텍스트와 코드의 다양한 데이터 세트에 대한 사전 훈련을 포함했다. 두 번째 단계는 SQL 생성, 코드 완성, 지시 따르기와 같은 특정 작업에 대한 미세 조정에 중점을 두었다. 이 접근 방식을 통해 Snowflake는 일반적인 기능을 희생하지 않으면서 엔터프라이즈 사용 사례에 맞게 Arctic을 최적화할 수 있었다.
훈련 데이터 및 방법론
Snowflake Arctic은 공개적으로 이용 가능한 웹 페이지, GitHub와 같은 플랫폼의 코드 저장소, 구조화된 질의 언어(SQL) 예제를 포함하는 데이터 세트로 훈련되었다. 훈련 말뭉치는 중복 및 저품질 콘텐츠를 제거하기 위해 신중하게 선별되었다. 회사는 또한 "품질 필터링"이라는 기법을 사용하여 고가치 데이터를 우선시했으며, 이를 통해 다운스트림 작업에서 모델의 성능이 향상되었다.
훈련 프로세스는 GPU 클러스터를 활용했지만, 구체적인 하드웨어 세부 사항은 완전히 공개되지 않았다. Snowflake는 Arctic이 비용 효율적인 방식으로 훈련되었으며, 총 훈련 비용이 약 200만 달러로 추정되어 다른 조직의 유사한 모델보다 훨씬 낮다고 보고했다.
성능 및 벤치마크
Arctic은 여러 업계 표준 벤치마크에서 평가되었다. 코드 생성용 HumanEval 벤치마크에서는 61.1%를 기록하여 CodeLlama 70B와 같은 모델과 경쟁력을 보였다. SQL 생성의 경우 Spider 벤치마크에서 강력한 결과를 달성하여 많은 대형 모델을 능가했다. MMLU와 같은 일반적인 언어 이해 작업에서는 75.3%를 기록하여 다양성을 입증했다.
엔터프라이즈 중심 평가에서 Arctic은 구조화된 데이터 및 데이터베이스 쿼리와 관련된 작업에서 특히 강점을 보였다. 또한 IFEval과 같은 지시 따르기 벤치마크에서도 우수한 성능을 보여, 정확한 응답이 필요한 AI 기반 애플리케이션 구축에 적합함을 나타냈다.
가용성 및 통합
Arctic은 여러 채널을 통해 제공된다. 대규모 언어 모델 실행을 위한 관리형 환경을 제공하는 Snowflake의 Cortex 플랫폼을 통해 접근할 수 있다. 또한 모델 가중치는 Hugging Face에서 다운로드할 수 있어 개발자가 자체 인프라에 Arctic을 배포할 수 있다.
Snowflake는 또한 Arctic을 Data Cloud에 통합하여 사용자가 플랫폼 내에서 직접 SQL 쿼리를 실행하고 코드를 생성할 수 있도록 했다. 이 통합을 통해 기업은 데이터를 외부 시스템으로 이동하지 않고도 Arctic의 기능을 활용할 수 있어 데이터 보안 및 거버넌스 문제를 해결한다.
다른 모델과의 비교
Arctic은 OpenAI의 GPT-4 및 Google의 Gemini와 같은 대형 모델에 대한 비용 효율적인 대안으로 포지셔닝되었다. 모든 벤치마크에서 이러한 모델의 최고 수준 성능에는 미치지 못할 수 있지만, 정확성과 효율성의 매력적인 균형을 제공한다. 예를 들어, Arctic의 훈련 비용은 훈련 비용이 1억 달러 이상으로 추정되는 GPT-4보다 훨씬 낮았다.
오픈소스 모델 측면에서 Arctic은 Llama 3, Mistral, CodeLlama과 경쟁한다. SQL 특정 작업에서는 이러한 많은 모델을 능가하며, 이는 엔터프라이즈 사용자에게 핵심 차별화 요소이다. 그러나 일반 코딩 벤치마크에서는 일부 특수 코드 모델과 비슷하거나 우월하지는 않다.
영향 및 반응
Arctic의 출시는 특히 독점 모델에 대한 오픈소스 대안을 찾는 기업들 사이에서 AI 커뮤니티에서 호평을 받았다. SQL 및 코딩에 대한 초점은 혼잡한 LLM 시장에서 독특한 제안으로 만들었다. 업계 분석가들은 Arctic의 비용 효율적인 훈련 접근 방식이 다른 회사들이 대형 모델을 개발하는 방식에 영향을 미칠 수 있다고 지적했다.
Snowflake가 Arctic을 오픈소스로 공개한 결정은 데이터 플랫폼 주변에 생태계를 구축하려는 전략적 움직임으로 여겨졌다. 고품질 모델을 무료로 제공함으로써 Snowflake는 개발자와 기업을 클라우드 서비스로 유치하여 다른 Snowflake 제품과 함께 Arctic을 사용할 수 있도록 하는 것을 목표로 했다.
향후 개발
Arctic 출시 이후 Snowflake는 생성형 AI에 계속 투자했다. 2025년에 회사는 구조화 및 비구조화 데이터를 자연어로 쿼리하는 엔터프라이즈 AI 어시스턴트인 Snowflake Intelligence를 도입했다. 이 제품은 Arctic이 입증한 기능을 기반으로 하여 대규모 언어 모델을 Snowflake의 데이터 거버넌스 및 보안 기능과 통합한다.
Snowflake는 또한 커뮤니티 피드백과 모델 아키텍처의 발전을 통합하여 Arctic의 새 버전으로 업데이트할 계획을 발표했다. 회사는 오픈소스 AI에 대한 약속을 강조하며, 향후 반복 버전이 계속 허용적 라이선스로 출시될 것임을 시사했다.
같이 보기
- 대규모 언어 모델
- 생성형 AI
- 인공지능
- 기계 학습
- 트랜스포머
- 신경망
- 심층 학습
- OpenAI
- Google DeepMind
- Anthropic
- Amazon Web Services
- Azure
- Google Cloud
- snowflake-inc
- data-cloud
- sql-generation
- code-generation
- 전문가 혼합
- open-source-software
- enterprise-ai