Jais는 아랍어와 영어로 고품질 텍스트를 생성하도록 설계된 오픈소스 대규모 언어 모델이다. 2023년 8월에 출시되었으며, 아랍에미리트의 AI 기업 G42, 모하메드 빈 자이드 인공지능 대학교(MBZUAI), 그리고 미국의 하드웨어 기업 Cerebras Systems 간의 협력을 통해 개발되었다. 이 모델은 생성형 인공지능에서 아랍어의 과소 대표 문제를 해결하기 위해 만들어졌으며, 전 세계 4억 명의 아랍어 사용자에게 문화적·언어적으로 정확한 출력을 제공하는 것을 목표로 한다. 그 이름은 아랍에미리트에서 가장 높은 산인 제벨 자이스(Jebel Jais)에서 유래했다.
배경 및 개발
Jais는 기존의 대규모 언어 모델이 제한적이거나 낮은 품질의 훈련 데이터로 인해 아랍어에서 종종 성능이 저조하다는 인식에서 출발했다. 이 프로젝트는 국가 전략의 일환으로 아랍에미리트가 인공지능에 투자한 중요한 사례를 나타낸다. 개발 파트너십에는 G42의 자회사인 Inception(현재 Core42), AI 연구에 특화된 연구 대학인 MBZUAI, 그리고 특수 AI 하드웨어를 제공한 Cerebras Systems가 포함되었다. 이 협력은 주로 영어 데이터로 훈련된 모델에서 종종 간과되었던 아랍어의 다양한 방언과 문화적 뉘앙스를 처리할 수 있는 모델을 만드는 것을 목표로 했다.
훈련
2023년 8월에 출시된 Jais의 초기 버전은 130억 개의 매개변수를 가졌다. 2023년 11월, Core42는 300억 개의 매개변수를 가진 개선된 버전인 Jais 30B를 출시했다. 두 모델 모두 대규모 딥러닝 작업을 위해 설계된 강력한 컴퓨팅 시스템인 Cerebras Condor Galaxy 1 슈퍼컴퓨터의 일부에서 훈련되었다. 훈련 데이터 세트는 아랍어, 영어, 컴퓨터 코드의 혼합으로 구성되었다. MBZUAI의 자연어 처리 교수인 티모시 볼드윈에 따르면, 다양한 아랍어 데이터 세트로 훈련하면 모델이 방언 간 전환을 할 수 있어 아랍어 사용자에게 실용적 유용성이 향상된다.
특징
Jais는 영어와 아랍어 모두에서 텍스트를 생성하도록 설계되어 다양한 응용 분야에서 사용할 수 있는 이중 언어 도구이다. 이 프로젝트는 또한 13B 및 30B 모델 모두에 대해 지시 조정된 "Chat" 변형을 출시했으며, 이는 대화형 사용 사례에 특별히 최적화되어 있다. 이러한 변형은 다른 트랜스포머 기반 모델과 유사하게 사용자 지시를 따르고 대화에 참여하도록 미세 조정되었다. 향후 출시에는 이미지, 그래프, 표 형식 데이터 작업을 위한 추가 기능이 포함될 예정이며, 텍스트 생성 이상으로 모델의 역량을 확장할 계획이다.
영향 및 의의
Jais는 OpenAI 및 Google DeepMind와 같은 기업의 영어 중심 모델이 지배해 온 대규모 언어 모델 환경의 다양화에 기여한다. 아랍어에 초점을 맞춤으로써 Jais는 기존 기술로 충분히 서비스를 받지 못한 대규모 인구를 위한 AI 접근성 격차를 해소하는 데 도움을 준다. 모델의 오픈소스 특성은 연구자와 개발자가 이를 적응시키고 개선할 수 있게 하여 아랍어 자연어 처리 및 관련 분야의 혁신을 촉진한다. 출시 당시 Jais는 보다 포용적인 AI를 향한 주목할 만한 진전을 나타냈지만, 장기적 영향은 커뮤니티 채택과 지속적인 개발에 달려 있다.
참고 문헌
외부 링크
공식 웹사이트