IBM Granite은 IBM이 만든 디코더 전용 대규모 언어 모델 및 파운데이션 모델 시리즈이다. 2023년 9월 7일에 발표되었으며, 4일 후 초기 논문이 게재되었다. 이 모델들은 처음에 IBM의 클라우드 기반 데이터 및 생성형 AI 플랫폼인 Watsonx를 위해 다른 모델들과 함께 설계되었다. IBM은 이후 일부 코드 중심 변형의 소스 코드를 공개하여, 허용적 라이선스 하에 무료로 사용할 수 있게 했다.
Granite 모델은 인터넷, 학술 출판물, 코드 저장소, 법률 및 금융 문서에서 수집된 큐레이션된 데이터셋으로 훈련되었다. 이 시리즈는 30억에서 340억 개의 파라미터 범위를 포함하며, 다양한 배포 요구를 충족한다.
파운데이션 모델 아키텍처
파운데이션 모델은 광범위한 데이터로 대규모 훈련된 AI 모델로, 다양한 하위 작업에 적응할 수 있게 한다. IBM Granite 모델은 디코더 전용 트랜스포머로, 시퀀스의 다음 토큰을 예측하는 생성형 언어 모델의 일반적인 아키텍처이다. 첫 번째 파운데이션 모델인 Granite.13b.instruct 및 Granite.13b.chat은 각각 130억 개의 파라미터를 가졌으며, 이는 당시 많은 대형 모델보다 작은 규모였다. 이후 변형들은 파라미터 범위를 30억에서 340억 개로 확장하여, 다양한 계산 예산과 사용 사례에 유연성을 제공했다
훈련 데이터 큐레이션은 품질과 다양성을 강조했으며, 학술 논문, 코드 데이터셋, 법률 및 금융과 같은 전문 분야를 포함했다. 이 접근 방식은 기업 중심 작업에서의 성능을 개선하는 것을 목표로 했으며, 이는 IBM의 상업적 제품의 핵심 초점이었다
출시 및 오픈소스 코드 모델
2024년 5월 6일, IBM은 Granite Code Models의 네 가지 변형 소스 코드를 Apache 2.0 라이선스 하에 공개했다. 이는 자유로운 사용, 수정, 공유를 허용하는 허용적 오픈소스 라이선스이다. 이 모델들은 AI 모델 호스팅의 인기 플랫폼인 Hugging Face에 제공되었다. IBM의 내부 보고서에 따르면, Granite 8b 모델은 유사한 파라미터 범위 내에서 여러 코딩 관련 벤치마크에서 Llama 3을 능가했으며, 코드 생성 및 이해에서의 경쟁력 있는 성능을 강조했다
오픈소스 출시는 다른 공급업체의 일부 독점 모델과 대조되는, 커뮤니티 채택과 협력을 촉진하려는 더 넓은 전략의 일부였다. IBM은 Granite을 맞춤형 AI 솔루션을 원하는 기업을 위한 유연한 대안으로 포지셔닝했다
애플리케이션 및 생태계
Granite 모델은 데이터 분석, 생성형 AI, 모델 배포를 위한 도구를 제공하는 IBM의 Watsonx 플랫폼에 통합되어 있다. 이 모델들은 코드 생성, 문서 요약, 질문 응답과 같은 작업에 사용되며, 특히 데이터 프라이버시와 규정 준수가 중요한 금융 및 법률과 같은 규제 산업에서 사용된다. 오픈소스 및 클라우드 기반 접근을 모두 제공함으로써, IBM은 스타트업부터 대기업까지 다양한 고객을 대상으로 했다
오픈소스 코드 모델의 출시는 제3자 개발자가 자체 인프라, Amazon Web Services 및 기타 클라우드 제공업체에서 Granite을 미세 조정하고 배포할 수 있게 했다. 이러한 생태계 접근 방식은 LLaMA 및 Mistral AI와 같은 오픈 모델이 주목을 받은 더 넓은 AI 커뮤니티의 트렌드를 반영했다
성능 및 비교
IBM은 Granite 모델이 표준 NLP 및 코딩 작업에서 경쟁력 있는 결과를 보여주는 벤치마크를 발표했다. 예를 들어, Granite 8b 모델은 유사한 파라미터 수를 가졌음에도 불구하고 코딩 벤치마크에서 Llama 3을 능가했다고 보고되었다. 그러나, 이러한 주장에 대한 독립적 검증은 제한적이며, 성능은 특정 작업과 평가 방법론에 따라 달라질 수 있다. 이 모델들은 효율적으로 설계되었으며, 더 작은 변형은 엣지 배포에 적합하고 더 큰 변형은 클라우드 기반 워크로드에 적합하다
같이 보기
- Mistral AI, 오픈소스 모델도 제공하는 회사
- GPT
- LLaMA
- Gemini
참조
(이 기사의 스타일에 따라 외부 링크는 포함되지 않는다.)