Amália는 2025년에 출시된 AI21 Labs가 개발한 대규모 언어 모델이다. 이 모델은 기업 중심의 생성형 AI 시스템으로 포지셔닝되며, 효율성, 신뢰성, 비즈니스 워크플로우 통합을 강조한다. 이 모델은 트랜스포머 아키텍처와 딥러닝 기술의 발전을 기반으로, 더 큰 프론티어 모델에 대한 비용 효율적인 대안을 제공하면서 추론 및 언어 작업에서 경쟁력 있는 성능을 유지하는 것을 목표로 한다.
Amália의 개발은 일반 목적의 챗봇보다는 상업적 사용에 맞춰진 특화 모델로의 AI 산업의 광범위한 추세를 반영한다. 그 아키텍처는 멀티 헤드 어텐션과 위치 인코딩의 혁신을 통합하며, Google DeepMind와 OpenAI의 연구를 활용하지만 자원 제약 환경에서의 배포에 맞게 조정되었다. 이 모델은 AI21의 플랫폼과 Amazon Web Services 및 Microsoft Azure를 통해 제공되며, 기존 클라우드 인프라와의 통합을 가능하게 한다.
아키텍처 및 설계
Amália는 다른 현대 대규모 언어 모델과 유사한 디코더 전용 트랜스포머 아키텍처를 기반으로 구축되었다. 훈련 안정화를 위해 레이어 정규화와 잔차 네트워크 연결을 사용하며, 대규모 데이터셋의 효율적 처리를 위해 배치 정규화를 활용한다. 이 모델은 텍스트의 장거리 의존성을 포착하기 위해 멀티 헤드 어텐션 메커니즘을 사용하며, 입력 및 출력 시퀀스 간의 정렬이 필요한 작업을 용이하게 하는 크로스 어텐션 레이어를 포함한다.
주목할 만한 설계 선택은 훈련 중 모델 가지치기와 데이터 증강 기술의 사용이다. 이러한 방법은 성능 손실 없이 모델의 매개변수 수를 줄여 AMD 및 Intel 하드웨어에서의 배포에 적합하게 만든다. 훈련 파이프라인은 모델이 점진적으로 복잡한 예제에 노출되는 커리큘럼 학습과 기울기 폭발을 방지하기 위한 기울기 클리핑을 통합한다. 최적화에는 Adam 옵티마이저 변형이 사용되며, 수렴 개선을 위해 학습률 스케줄 조정이 적용된다.
이 모델은 텍스트 생성을 위한 top-k 샘플링과 top-p 샘플링을 지원하여 사용자가 창의성과 결정성을 제어할 수 있게 한다. 온도 스케일링도 제공되어 출력 무작위성에 대한 세밀한 제어를 가능하게 한다. 이러한 기능은 개발자 친화적인 도구에 초점을 맞춘 AI21의 방침에 따라 간단한 API를 통해 노출된다.
훈련 데이터 및 방법론
Amália는 책, 기사, 웹 콘텐츠를 포함한 공개적으로 이용 가능한 다양한 텍스트 코퍼스와 AI21 파트너의 독점 데이터셋을 보충하여 훈련되었다. 훈련 과정은 시퀀스-투-시퀀스 학습 목표를 사용했으며, 손실 함수는 다음 토큰 예측에 최적화되었다. 드롭아웃과 가중치 초기화 전략은 과적합을 방지하고 안정적인 훈련 역학을 보장하기 위해 사용되었다.
AI21 Labs는 정확한 데이터셋 크기나 컴퓨팅 예산을 공개하지 않았지만, 보고서에 따르면 모델은 NVIDIA GPU와 TSMC 제조 칩을 사용하는 클러스터에서 훈련되었다. 회사는 양보다 질을 강조하며 저품질 소스를 필터링하고 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백 기반 강화 학습)를 사용하여 모델을 인간 선호도에 맞추었다. 이 접근 방식은 감독된 미세 조정에만 의존했던 초기 모델과는 다르다.
성능 및 벤치마크
Amália는 추론, 코딩, 다국어 작업에 대한 표준 벤치마크에서 강력한 결과를 달성한다. 내부 평가에서 유사한 크기의 비교 모델보다 MMLU(대규모 다중 작업 언어 이해) 및 human-eval(코드 생성) 테스트에서 우수한 성능을 보인다. 이 모델은 사실적 정확성을 평가하도록 설계된 벤치마크인 truthful-qa와 수학적 추론을 위한 GSM8K에서도 견고한 성능을 입증한다.
Stanford AI Lab과 BAIR (Berkeley AI Research)의 독립적 평가는 이러한 결과를 확인했으며, Amália의 효율성 덕분에 많은 경쟁사보다 작은 하드웨어 구성에서 실행할 수 있다고 지적한다. 이는 Oracle Cloud Infrastructure 및 Google Cloud 고객과 같은 제한된 컴퓨팅 자원을 가진 조직에 특히 매력적이다.
기업 애플리케이션
Amália는 문서 요약, 고객 지원 자동화, 코드 생성 등 다양한 기업 사용 사례를 위해 설계되었다. Amazon Web Services 및 Microsoft Azure와의 통합은 기존 클라우드 환경에서의 원활한 배포를 가능하게 한다. 이 모델은 또한 독점 데이터에 대한 미세 조정을 지원하여 기업이 도메인 특정 작업에 맞게 사용자 정의할 수 있게 한다.
AI21 Labs는 Samsung Electronics 및 Nokia Bell Labs와 협력하여 엣지 컴퓨팅 및 통신 분야의 애플리케이션을 탐구하고 있다. 이러한 협력은 실시간 시스템의 핵심 요구 사항인 저지연 추론을 위해 Amália를 최적화하는 데 초점을 맞춘다. 이 모델의 작은 크기는 Apple의 온디바이스 AI 접근 방식과 유사하게 기기 내 배포에도 적합하다.
다른 모델과의 비교
Amália는 Anthropic 및 OpenAI의 모델과 직접 경쟁하지만, 더 효율적인 대안으로 자리매김한다. GPT-4와 Claude (AI model family)가 더 넓은 기능을 제공하는 반면, Amália의 작은 크기는 더 낮은 추론 비용과 더 빠른 응답 시간으로 이어진다. 이러한 절충은 원시 성능보다 비용 효율성을 우선시하는 기업을 대상으로 의도된 것이다.
Google DeepMind의 Gemini와 달리 Amália는 멀티모달 기능에 초점을 맞추지 않고 텍스트 기반 작업에 집중한다. 이러한 특화는 유사한 크기의 멀티모달 모델보다 언어 벤치마크에서 더 높은 정확도를 달성하게 한다. 회사는 또한 투명성을 강조하며 모델의 아키텍처와 훈련 과정에 대한 기술적 세부 사항을 공개하는데, 이는 일부 경쟁사의 더 비밀스러운 접근 방식과는 대조적이다.
개발 팀 및 역사
Amália는 AI21 Labs의 공동 창립자인 David Luan이 이끄는 팀에 의해 개발되었으며, Jack Clark과 Chen Wu가 기여했다. 프로젝트는 2024년 초에 시작되어 AI21의 이전 모델인 Jurassic-1과 Jurassic-2를 기반으로 구축되었다. 팀은 트랜스포머 아키텍처를 개척한 jacob-uszkoreit과 Lukasz Kaiser의 연구와 Google DeepMind의 Karen Simonyan 및 Koray Kavukcuoglu의 연구를 활용했다.
AI21 Labs는 2017년 amnon-shalom, yoav-shoham, oriel-levy에 의해 자연어 처리에 초점을 맞춰 설립되었다. 회사는 NVIDIA와 Samsung Electronics를 포함한 투자자로부터 3억 달러 이상의 자금을 모금했다. Amália는 전신인 Jurassic-2의 성공에 이어 기업 솔루션으로의 전략적 전환을 나타낸다.
평가 및 비판
Amália에 대한 초기 평가는 일반적으로 긍정적이며, 비평가들은 효율성과 사용 용이성을 칭찬한다. 그러나 일부 연구자들은 모델의 작은 크기가 복잡한 다단계 추론 작업을 처리하는 능력을 제한한다고 지적한다. Melanie Mitchell과 Brian Christian은 생성형 AI 시스템의 일반적인 문제인 편향되거나 유해한 콘텐츠 생성 가능성에 대한 우려를 제기했다.
AI21 Labs는 Reinforcement Learning from AI Feedback (RLAIF) 및 콘텐츠 필터링을 포함한 안전 조치를 구현하여 이러한 우려에 대응했다. 회사는 또한 OpenPanel 컨소시엄과 같은 책임 있는 AI 개발을 촉진하는 산업 이니셔티브에 참여한다. 이러한 노력에도 불구하고 일부 전문가들은 모델의 훈련 데이터와 잠재적 편향에 대해 더 많은 투명성이 필요하다고 주장한다.
향후 방향
AI21 Labs는 기업 고객의 피드백과 머신러닝 연구의 발전을 통합하여 Amália에 대한 정기적인 업데이트를 출시할 계획이다. 향후 버전에는 gpt-4v와 유사한 멀티모달 기능과 비영어 언어에 대한 개선된 지원이 포함될 수 있다. 회사는 또한 특수 하드웨어에서 추론 성능을 최적화하기 위해 AWS Trainium 및 Groq와의 파트너십을 탐구하고 있다.
인공지능 분야가 진화함에 따라, Amália의 효율성과 실용성에 대한 초점은 대규모 컴퓨팅 자원의 부담 없이 대규모 언어 모델을 배포하려는 조직에게 실행 가능한 옵션으로 자리매김한다. 그 성공은 성능과 비용 사이의 균형을 유지하는 AI21의 능력에 달려 있으며, 이는 생성형 AI의 경쟁 환경을 계속 형성하는 도전 과제이다.