2024년 8월의 Jamba 1.5 출시는 자연어 처리에 특화된 이스라엘 기업 AI21 Labs의 대규모 언어 모델 진화에 중요한 이정표가 되었다. 이번 출시로 Jamba 1.5 Large와 Jamba 1.5 Mini 두 가지 모델이 공개되었으며, 향상된 효율성과 긴 컨텍스트 처리를 갖춘 고성능을 제공하도록 설계되었다. 이 모델들은 트랜스포머와 Mamba 상태 공간 모델의 강점을 결합한 하이브리드 아키텍처를 기반으로, 계산 비용과 출력 품질의 균형을 맞추기 위해 혼합 전문가 방식을 사용한다.
Jamba 1.5 모델은 최대 256,000개의 토큰 컨텍스트 창을 지원하여 전체 도서나 광범위한 코드베이스와 같은 매우 긴 문서를 처리하고 추론할 수 있다. 이러한 능력은 효율성에 대한 초점과 결합되어 Jamba 1.5를 오픈 가중치 모델 중에서 경쟁력 있는 옵션으로 자리매김하게 했으며, 특히 대량의 텍스트를 처리해야 하는 기업용 애플리케이션에 적합하다.
배경 및 개발
AI21 Labs는 2017년 11월 이스라엘 텔아비브에서 Yoav Shoham, Ori Goshen, Amnon Shashua에 의해 설립되었다. 이 회사는 처음에 2020년 10월에 출시된 AI 기반 작문 도우미인 Wordtune으로 주목을 받았으며, 구글은 이후 이를 2021년 가장 선호하는 확장 프로그램 중 하나로 선정했다. 2021년 8월, AI21 Labs는 AI21 Studio와 250,000개 이상의 토큰 어휘를 갖춘 Jurassic-1 언어 모델을 소개했다.
회사의 궤적에는 여러 차례의 자금 조달이 포함되었다: 2019년 1월 950만 달러의 시드 라운드, 2021년 11월 Walden Catalyst로부터의 2,000만 달러 투자, Pitango First가 주도한 2,500만 달러의 시리즈 A, 2022년 7월 6,400만 달러의 시리즈 B, 그리고 Google과 Nvidia가 참여한 2023년 8월 1억 5,500만 달러의 시리즈 C가 있었다. 이러한 투자들은 2023년 3월 Jurassic-2의 출시를 포함하여 점점 더 정교한 모델의 개발을 지원했다.
Jamba 1.5의 직접적인 전신은 2024년 3월 29일에 출시된 원래의 Jamba 모델이었다. Jamba는 혼합 전문가 설계를 갖춘 하이브리드 Mamba-SSM 트랜스포머 아키텍처를 기반으로 한 오픈 가중치 모델로, 최대 256,000개의 토큰 컨텍스트 길이를 지원했다. Jamba 1.5 제품군은 이 접근 방식을 개선하여 효율성과 성능을 향상시켰다.
기술 아키텍처
Jamba 1.5 모델은 트랜스포머의 멀티 헤드 어텐션과 Mamba 상태 공간 모델을 통합하는 하이브리드 아키텍처를 사용한다. 이러한 결합은 복잡한 의존성을 모델링하는 트랜스포머의 능력과 긴 시퀀스를 처리하는 상태 공간 모델의 효율성이라는 두 가지의 강점을 포착하는 것을 목표로 한다. 혼합 전문가(MoE) 메커니즘은 각 토큰에 대해 모델의 매개변수 중 일부만 활성화하여 계산 비용을 줄이면서도 높은 용량을 유지한다.
이 설계는 Jamba 1.5가 순수 트랜스포머 모델의 전형적인 2차 스케일링 없이 긴 컨텍스트를 처리할 수 있게 하여, 문서 요약, 긴 텍스트에 대한 질문 응답, 코드 분석과 같은 작업에서 더 효율적으로 만든다. 이 모델들은 다양한 데이터 세트로 훈련되었으며, 오픈 가중치 특성 덕분에 연구자와 개발자가 특정 애플리케이션에 맞게 미세 조정할 수 있다.
출시 및 가용성
Jamba 1.5는 2024년 8월에 두 가지 변형으로 출시되었다: Jamba 1.5 Large와 Jamba 1.5 Mini. 이 모델들은 오픈 라이선스로 제공되어 폭넓은 사용과 수정이 가능했다. 2024년 9월, AI21 Labs는 아마존 웹 서비스 (AWS)와 파트너십을 맺고 Amazon Bedrock에서 Jamba 1.5 제품군을 제공했으며, 이는 기업 애플리케이션에 AI 모델을 통합할 수 있게 하는 관리형 서비스다. 이 파트너십은 Jamba의 긴 컨텍스트 기능을 활용하려는 기업들의 배포를 촉진했다.
이번 출시는 Jamba 1.5를 OpenAI, Anthropic, Google DeepMind 같은 조직의 다른 오픈 가중치 모델과의 경쟁 구도에 놓았지만, 이들 회사는 주로 독점 모델을 제공한다. Jamba 1.5의 효율성과 긴 컨텍스트 처리에 대한 강조는 높은 계산 비용을 감수하지 않고 대규모 데이터 세트를 처리해야 하는 개발자들에게 매력적으로 다가갔다.
성능 및 벤치마크
AI21 Labs는 Jamba 1.5 모델이 자연어 이해, 추론, 코드 생성 작업을 포함한 다양한 벤치마크에서 경쟁력 있는 결과를 달성했다고 보고했다. 이 모델들은 특히 최대 256,000개의 토큰 시퀀스에 걸쳐 정확성을 유지할 수 있는 긴 컨텍스트 작업에서의 성능으로 주목받았다. 이는 많은 모델이 당시 이러한 확장된 컨텍스트에 어려움을 겪고 있었기 때문에 핵심 차별화 요소였다.
하이브리드 아키텍처의 효율성 향상 덕분에 Jamba 1.5는 유사한 성능의 모델에 비해 더 낮은 추론 비용으로 이러한 결과를 제공할 수 있었다. 이는 계산 리소스가 제한된 조직에게 매력적인 선택이 되었다.
기업 채택 및 파트너십
2024년 9월 AWS와의 파트너십은 기업 채택을 향한 주요 단계였다. Jamba 1.5를 Amazon Bedrock에서 제공함으로써 AI21 Labs는 기업들이 AWS 인프라의 보안과 확장성을 갖춘 워크플로우에 모델을 통합할 수 있게 했다. 이러한 움직임은 더 넓은 청중에게 도달하기 위해 AI 기업들이 클라우드 제공업체와 파트너십을 맺는 더 큰 추세의 일부였다.
2025년 3월, AI21 Labs는 민간 기업 배포용으로 Jamba 1.6을 출시했으며, 여러 벤치마크에서 다른 오픈 모델을 능가한다고 주장했다. 같은 달, 회사는 GPT-4o와 Claude 3.5 Sonnet과 같은 모델의 복잡한 작업에서의 정확성을 개선하는 것을 목표로 한 AI 계획 및 오케스트레이션 시스템인 Maestro를 출시했다. 이러한 발전은 AI21 Labs가 기업 솔루션에 계속 집중하고 있음을 나타냈다.
영향 및 평가
Jamba 1.5 출시는 특히 혁신적인 하이브리드 아키텍처와 긴 컨텍스트 기능으로 AI 커뮤니티에서 좋은 반응을 얻었다. 이는 2017년 트랜스포머 도입 이후 분야를 지배해 온 순수 트랜스포머 아키텍처의 대안으로서 상태 공간 모델에 대한 관심 증가에 기여했다. 연구자와 실무자들은 실험과 맞춤 설정을 허용하는 오픈 가중치 접근 방식을 높이 평가했다.
이 모델들은 또한 AI 효율성에 대한 논의를 촉발시켰는데, 혼합 전문가 설계가 대규모 모델 실행의 환경적 및 재정적 비용을 줄였기 때문이다. 이는 AI를 더 지속 가능하게 만들기 위한 업계의 광범위한 노력과 일치했다.
향후 방향
Jamba 1.5 이후, AI21 Labs는 모델 제품군을 계속 반복하여 2025년 3월 기업 사용을 위한 개선된 성능으로 Jamba 1.6을 출시했다. 회사는 또한 복잡한 다단계 작업에서 AI 시스템의 신뢰성을 향상시키는 것을 목표로 한 Maestro로 제품 생태계를 확장했다. 이러한 노력은 단순히 벤치마크 점수를 높이는 것보다 실용적이고 배포 가능한 AI 솔루션에 초점을 맞춘 전략을 시사했다.
Jamba 모델에서 개척된 하이브리드 아키텍처는 연구자들이 더 나은 효율성과 성능을 달성하기 위해 다양한 모델 유형을 결합하는 방법을 탐구함에 따라 머신 러닝의 미래 발전에 영향을 미칠 수 있다. Jamba 1.5의 성공은 상태 공간 모델이 트랜스포머와 효과적으로 통합될 수 있음을 입증하여 새로운 연구 방향을 열었다.
같이 보기
참고 문헌
- AI21 Labs 공식 문서 및 보도 자료.
- Jamba 1.5 출시에 대한 업계 보고서.
- 하이브리드 트랜스포머-상태 공간 모델에 대한 학술 논문.