Jurassic는 2017년에 설립된 이스라엘 인공지능 기업인 AI21 Labs가 개발한 대규모 언어 모델 계열이다. Jurassic 시리즈는 상업용 대규모 트랜스포머 기반 모델 중 가장 이른 시기에 출시된 제품군 중 하나로, OpenAI와 Anthropic의 모델에 대항하는 경쟁자로 자리매김했다. 이 계열은 2021년에 출시된 원조 Jurassic-1부터 최신 Jurassic-2 및 특수 변형 모델까지 여러 세대를 포함하며, 모두 텍스트 완성, 요약, 질의응답과 같은 자연어 이해 및 생성 작업을 위해 설계되었다.
이 모델들은 2017년에 도입된 딥러닝 프레임워크로 대부분의 현대 생성형 AI 시스템의 기반이 되는 트랜스포머 아키텍처를 기반으로 구축되었다. AI21 Labs는 방대한 텍스트 말뭉치를 사용하여 Jurassic 모델을 훈련했으며, 신경망 기법과 Adam, 학습률 스케줄링과 같은 최적화 방법을 활용했다. Jurassic 모델은 AI21 Labs의 독점 API를 통해 제공될 뿐만 아니라 Amazon Web Services(AWS), Microsoft Azure, Google Cloud를 포함한 클라우드 플랫폼에서도 이용할 수 있어 개발자와 기업이 쉽게 접근할 수 있다.
역사 및 개발
AI21 Labs는 2021년 8월에 두 가지 모델 크기로 Jurassic-1을 발표했다: J1-Jumbo(1780억 개 파라미터)와 J1-Large(75억 개 파라미터). 당시 J1-Jumbo는 1750억 개 파라미터를 가진 OpenAI의 GPT-3와 견줄 만한, 공개적으로 이용 가능한 가장 큰 언어 모델 중 하나였다. 개발 팀에는 AI21 공동 창업자인 Eilon Reshef와 Dafna Sharon을 비롯해 머신러닝 및 전산언어학 배경을 가진 연구원들이 포함되었다.
2022년에 AI21 Labs는 지시 수행 및 추론 능력이 개선된 Jurassic-2를 출시했다. Jurassic-2 계열에는 J2-Jumbo, J2-Grande, J2-Mid와 같은 모델이 포함되었으며, 파라미터 수는 78억 개에서 1780억 개에 이른다. 이 모델들은 고객 서비스, 콘텐츠 제작, 코드 생성 분야의 생성형 AI 애플리케이션 등 특정 사용 사례에 맞게 최적화되었다.
2023년까지 AI21 Labs는 특수 모델로 Jurassic 라인을 확장했다. 2023년 10월, 회사는 다국어 기능이 강화된 1780억 개 파라미터 모델인 Jurassic-2 Ultra를 출시했다. 이듬해 AI21은 Jurassic-2 Mid와 Jamba를 선보였는데, Jamba는 트랜스포머 레이어와 상태 공간 모델을 결합한 하이브리드 아키텍처로, 긴 맥락 작업의 효율성을 개선했다.
아키텍처 및 훈련
Jurassic 모델은 OpenAI의 GPT 시리즈에서도 사용되는 디코더 전용 변형인 트랜스포머 아키텍처를 기반으로 한다. 이 모델들은 입력 시퀀스를 처리하기 위해 멀티 헤드 어텐션 메커니즘과 단어 순서를 포착하기 위한 위치 인코딩을 사용한다. 일부 변형에서는 크로스 어텐션을 사용하여 훈련하지만, 핵심 아키텍처는 시퀀스의 다음 토큰을 예측하는 자기회귀 방식이다.
AI21 Labs는 대규모 분산 컴퓨팅 리소스를 사용하여 Jurassic 모델을 훈련했으며, 구체적인 하드웨어 세부 사항은 공개적으로 문서화되지 않았지만 NVIDIA GPU를 사용했을 가능성이 높다. 훈련 과정에는 일반화를 개선하기 위한 데이터 증강 및 커리큘럼 학습 전략이 포함되었다. 최적화는 Adam과 같은 확률적 경사 하강법 변형에 의존했으며, 훈련을 안정화하기 위해 그래디언트 클리핑과 레이어 정규화를 사용했다.
이 모델들은 텍스트 생성을 위해 top-k 및 top-p 샘플링 방법과 출력 무작위성을 제어하기 위한 온도 스케일링을 사용한다. 번역이나 요약과 같이 더 결정적인 출력이 필요한 작업에는 빔 서치를 사용할 수 있다.
기능 및 특징
Jurassic 모델은 광범위한 자연어 처리 작업을 지원한다. 텍스트 완성, 요약, 의역, 질의응답을 수행할 수 있다. 또한 코드 생성 및 완성도 처리하여 소프트웨어 개발 워크플로우에 유용하다. Jurassic-2 및 이후 버전에는 지시 수행 기능이 포함되어 사용자가 파인튜닝 없이 자연어로 작업을 지정할 수 있다.
주목할 만한 특징은 여러 언어 지원이다. Jurassic-2 모델은 100개 이상의 언어로 된 데이터로 훈련되었으며, 특히 영어, 스페인어, 프랑스어, 독일어, 히브리어에서 강점을 보인다. 이는 AI21 Labs의 이스라엘 기원을 반영한다. 이 모델들은 JSON 및 SQL과 같은 구조화된 입력도 지원하여 데이터베이스 및 API와의 통합을 가능하게 한다.
AI21 Labs는 사용자 지정 모델 파인튜닝, 의미 검색, 그리고 "Wordtune Read" 및 "Wordtune Write"라는 사실 확인 도구를 포함하는 기능을 갖춘 API를 갖춘 개발자 플랫폼을 제공한다. 이 도구들은 별도의 제품이지만 기본 기술을 공유한다.
다른 모델과의 비교
Jurassic 모델은 OpenAI의 GPT-3 및 GPT-4, Anthropic의 Claude, Google DeepMind의 Gemini와 직접 경쟁한다. 벤치마크 평가에서 Jurassic-1 Jumbo는 SuperGLUE 및 LAMBADA와 같은 작업에서 GPT-3와 비슷한 성능을 보였지만 일부 추론 벤치마크에서는 뒤처졌다. Jurassic-2는 특히 다중 턴 대화 및 지시 수행에서 이러한 점수를 개선했다.
주요 차별점은 기업용 애플리케이션에 대한 AI21 Labs의 초점이다. 이 회사는 데이터 프라이버시를 강조하며 엄격한 규정 준수 요구 사항이 있는 조직에 적합한 온프레미스 배포 옵션을 제공한다. 또한 Jurassic 모델은 Amazon Bedrock을 통한 AWS, Microsoft의 AI 서비스를 통한 Azure, Google Cloud Vertex AI에서 제공되어 여러 통합 경로를 제공한다.
애플리케이션 및 사용 사례
Jurassic 모델은 다양한 산업에서 사용된다. 고객 서비스에서는 문의를 처리하고 문제를 해결하는 챗봇 및 가상 비서를 구동한다. 콘텐츠 제작에서는 기사, 마케팅 카피, 소셜 미디어 게시물 초안 작성에 도움을 준다. 법률 및 금융 기업은 문서 요약 및 계약 분석에 Jurassic을 사용한다.
AI21 Labs는 또한 Jurassic을 기반으로 구축된 특수 도구를 제공한다. 예를 들어 문구 변경 및 어조 조정을 제안하는 AI 기반 글쓰기 도우미인 Wordtune이 있다. 이 회사는 모바일 기기에 AI 기능을 통합하기 위해 Samsung과, 하드웨어 최적화를 위해 Intel과 파트너십을 맺었다.
성능 및 벤치마크
Jurassic 모델은 표준 NLP 벤치마크에서 평가되었다. SuperGLUE 벤치마크에서 J1-Jumbo는 82.4점을 기록하여 GPT-3의 83.5점보다 약간 낮았다. LAMBADA 언어 모델링 테스트에서 J1-Jumbo는 82.5%의 정확도를 달성했다. Jurassic-2 모델은 퓨삿 러닝에서 개선을 보였으며, J2-Jumbo는 MMLU 벤치마크의 여러 작업에서 GPT-3를 능가했다.
2023년에 AI21 Labs는 Jurassic-2 Ultra가 일부 작업에서 HELM 벤치마크에서 최첨단 결과를 달성했다고 보고했지만, 독립적인 검증은 제한적이다. 이 회사는 웹사이트에 성능 지표를 게시하지만 상세한 평가 방법론이 항상 공개되는 것은 아니다.
이용 가능성 및 가격
Jurassic 모델은 처리된 토큰 수를 기준으로 한 종량제 가격 모델을 제공하는 AI21 Labs의 API를 통해 접근할 수 있다. 2024년 기준으로 가장 작은 모델의 경우 1,000토큰당 $0.01부터 시작하며 더 큰 모델로 갈수록 가격이 올라간다. API는 동기 및 비동기 요청을 모두 지원하며, 대부분의 모델의 최대 컨텍스트 길이는 8,192토큰이다.
AI21 Labs는 개발자가 모델을 실험할 수 있는 무료 티어도 제공한다. 기업 고객은 전용 인프라 및 서비스 수준 계약을 포함한 맞춤 계약을 협상할 수 있다. 이 모델들은 AWS Marketplace 및 Azure Marketplace와 같은 클라우드 마켓플레이스에서도 제공된다.
향후 방향
AI21 Labs는 효율성 개선과 계산 비용 절감에 초점을 맞춰 Jurassic 계열을 계속 개발하고 있다. 이 회사는 성능 손실을 크게 줄이면서 더 작고 빠른 모델을 만들기 위해 모델 프루닝 및 잔차 네트워크 기법을 탐구했다. 2024년에 AI21은 트랜스포머 레이어와 순환 구성 요소를 결합한 하이브리드 아키텍처에 대한 연구를 발표하여 더 긴 시퀀스를 더 효율적으로 처리하는 것을 목표로 했다.
이 회사는 또한 AI 피드백 기반 강화 학습과 같은 방법을 사용하여 유해한 출력을 줄이는 정렬 및 안전성에 투자하고 있다. 생성형 AI 분야가 진화함에 따라 Jurassic 모델은 텍스트 외에도 이미지와 오디오를 처리할 수 있는 다중 모드 기능을 더 많이 통합할 것으로 예상된다.
평가 및 영향
Jurassic 모델은 강력한 성능과 접근성으로 AI 커뮤니티에서 좋은 평가를 받았다. AI21 Labs는 2022년 2억 800만 달러 규모의 시리즈 C 라운드를 포함하여 상당한 자금을 조달했으며, 회사 가치는 14억 달러 이상으로 평가되었다. 이 모델들은 학술 연구 및 산업 애플리케이션에 사용되어 미국의 주요 기술 기업 외부에서 대규모 언어 모델의 광범위한 채택에 기여했다.
비평가들은 Jurassic 모델이 덜 공격적인 마케팅으로 인해 GPT-4나 Claude만큼 대중의 인지도를 얻지 못했다고 지적한다. 그러나 이 모델들은 다국어 기능과 기업 중심성으로 존중받고 있으며, AI21 Labs를 경쟁적인 AI 환경에서 주목할 만한 플레이어로 만들고 있다.