Jurassic-1은 이스라엘 인공지능 기업 AI21 Labs가 개발한 대규모 언어 모델(LLM) 제품군이다. 2021년 8월에 공개되었으며, 가장 큰 변형 모델인 Jurassic-1 Jumbo는 1,780억 개의 매개변수를 포함하여 OpenAI의 GPT-3 규모에 필적하는 최초의 상용 LLM 중 하나였다. 이 모델들은 텍스트 생성, 요약, 질문 응답, 코드 생성 등 다양한 자연어 처리 작업을 위해 설계되었으며, 상용 API를 통해 접근할 수 있다.
Jurassic-1은 Transformer (architecture) 아키텍처, 특히 GPT-3와 유사한 자기회귀 디코더 전용 모델을 기반으로 구축되었다. 공개적으로 이용 가능한 대규모 텍스트 및 코드 말뭉치로 훈련되었으며, 고품질 필터링과 중복 제거에 중점을 두었다. 모델 제품군에는 Jurassic-1 Jumbo(1,780억 개 매개변수)와 Jurassic-1 Large(75억 개 매개변수)라는 두 가지 주요 변형이 포함되며, 둘 다 동일한 아키텍처를 공유하지만 규모에서 차이가 있다. 이 모델들은 GPT-3의 50,000개 토큰 어휘보다 큰 250,000개 토큰 어휘를 가진 토크나이저를 사용하여 텍스트를 더 효율적으로 인코딩할 수 있다.
아키텍처 및 훈련
Jurassic-1 모델은 다중 헤드 어텐션과 피드포워드 레이어를 갖춘 표준 디코더 전용 Transformer (architecture)을 사용한다. Layer Normalization 및 잔차 연결 구조를 사용하며, 다른 대규모 LLM과 유사한 구성이다. 훈련 과정은 Adam 최적화, Gradient Clipping, 워밍업 및 코사인 감쇠가 있는 학습률 스케줄의 조합을 활용했다. 모델은 웹 페이지, 서적 및 기타 공개 텍스트에서 수집된 약 3,000억 개의 토큰 데이터셋으로 훈련되었으며, 상당 부분이 영어이지만 다른 언어도 포함한다.
AI21 Labs는 저품질 또는 중복 콘텐츠를 제거하기 위한 맞춤형 데이터 필터링 파이프라인의 사용을 강조했다. 훈련은 NVIDIA GPU 클러스터에서 수행되었지만, 구체적인 하드웨어 세부 사항은 완전히 공개되지 않았다. 회사는 또한 모델이 지침을 따르고 질문 응답 및 추론과 같은 작업을 수행하는 능력을 향상시키기 위해 "구조화된 프롬프팅"이라는 기법을 도입했다.
기능 및 성능
Jurassic-1은 SuperGLUE 및 기타 NLP 작업을 포함한 다양한 벤치마크에서 강력한 성능을 입증했으며, 종종 유사한 평가에서 GPT-3의 결과와 일치하거나 초과했다. 모델의 더 큰 어휘와 훈련 데이터는 희귀 단어와 다국어 텍스트를 더 효과적으로 처리할 수 있게 했다. 표준 텍스트 생성 외에도 Jurassic-1은 파인튜닝 없이 퓨샷 학습을 사용하여 개체명 인식, 감정 분석, 텍스트 분류와 같은 작업을 수행할 수 있었다.
이 모델은 또한 사전 예시 없이 질문에 답하거나 문제를 해결할 수 있는 "제로샷" 추론 기능을 지원했다. AI21 Labs는 개발자가 Jurassic-1을 애플리케이션에 통합할 수 있도록 공개 플레이그라운드와 API를 출시했다. API는 온도 제어, top-p 샘플링 및 기타 생성 매개변수에 대한 옵션을 제공했다.
동시대 모델과의 비교
출시 당시 Jurassic-1은 2020년에 출시된 OpenAI의 GPT-3의 직접적인 경쟁자로 자리매김했다. GPT-3가 1,750억 개의 매개변수를 가진 반면, Jurassic-1 Jumbo는 1,780억 개로 약간 더 컸다. 그러나 Jurassic-1의 토크나이저는 더 큰 어휘를 사용하여 주어진 텍스트에 필요한 토큰 수를 줄여 추론 속도와 비용을 개선할 수 있었다. AI21 Labs는 또한 GPT-3와 유사한 최대 시퀀스 길이 2,048 토큰으로 더 긴 컨텍스트를 처리하는 모델의 능력을 강조했다.
Anthropic의 이후 모델이나 Google DeepMind의 노력과 달리, Jurassic-1은 출시 시점에 인간 피드백 기반 강화 학습(RLHF)에 초점을 맞추지 않고 지도 학습과 퓨샷 프롬프팅에 중점을 두었다. 이는 접근 방식에서 원래 GPT-3와 더 유사하게 만들었다.
영향 및 유산
Jurassic-1은 OpenAI 이외의 기업에서 나온 최초의 주요 LLM 중 하나로, AI21 Labs를 생성형 AI 분야의 중요한 플레이어로 자리매김하는 데 기여했다. 글쓰기 지원, 고객 서비스 챗봇, 콘텐츠 생성 등 다양한 상용 애플리케이션에서 사용되었다. 이 모델의 출시는 또한 모델 규모 증가와 대규모 언어 모델 서비스화라는 광범위한 추세에 기여했다.
AI21 Labs의 이후 모델인 Jurassic-2는 Jurassic-1의 아키텍처와 교훈을 바탕으로 훈련 데이터와 정렬 측면에서 개선 사항을 통합했다. 회사는 한동안 API를 통해 Jurassic-1을 계속 제공했지만, 결국 최신 모델로 대체되어 단종되었다. Jurassic-1은 경쟁력 있는 LLM이 대형 기술 기업 외부에서도 개발될 수 있음을 보여준 인공지능 연구 역사에서 주목할 만한 이정표로 남아 있다.
평가 및 비판
Jurassic-1은 성능과 접근성에 대해 긍정적인 평가를 받았으며, 많은 개발자가 API의 사용 용이성과 모델이 일관되고 맥락에 맞는 텍스트를 생성하는 능력을 칭찬했다. 그러나 다른 LLM과 마찬가지로 훈련 데이터의 잠재적 편향과 대규모 모델 훈련의 환경적 영향에 대한 비판에 직면했다. AI21 Labs는 이러한 우려를 인정하고 책임 있는 사용에 대한 문서를 게시했지만, 모델 가중치를 공개적으로 공개하지 않아 독립적인 연구를 제한했다.
일부 연구자들은 특정 추론 작업에서 Jurassic-1의 성능이 더 작은 모델보다 크게 나아지지 않았다고 지적하며 규모만으로는 한계가 있음을 강조했다. 이러한 비판에도 불구하고, 이 모델의 출시는 LLM 시장의 경쟁을 촉진하여 해당 분야의 빠른 발전을 이끌었다.