ULA는 알리바바(Alibaba)가 개발한 다국어 대규모 언어 모델(Large language model)로, 2023년에 처음 출시되었다. 이 모델은 Transformer (architecture) 아키텍처를 기반으로 구축되었으며, Deep learning 기법을 활용하여 여러 언어에 걸쳐 텍스트를 처리하고 생성한다. 특히 디지털 자원이 제한된 언어에 대한 성능 향상에 중점을 둔다. 이 모델은 알리바바의 광범위한 Generative AI 포트폴리오의 일부이며, 다양한 자연어 처리 작업을 위한 오픈소스 및 독점 모델을 모두 포함한다.
이 모델의 개발은 알리바바의 AI 연구소 연구진이 주도했으며, Neural network 설계 및 Machine learning 방법론의 발전을 기반으로 한다. ULA의 아키텍처는 Multi-Head Attention 메커니즘과 Positional Encoding을 통합하여 텍스트의 장거리 의존성을 처리하며, 다국어 벤치마크에서 경쟁력 있는 결과를 달성할 수 있게 한다. 영어와 중국어 같은 고자원 언어를 우선시하는 많은 모델과 달리, ULA는 저대표 언어에 특별히 최적화되어 있어 다국어 Artificial intelligence 분야에 주목할 만한 기여를 한다.
아키텍처 및 학습
ULA는 인코더-디코더 구조를 채택하며, 이는 Sequence-to-Sequence (Seq2Seq) 모델에서 흔한 설계로, 이해 및 생성 작업을 모두 처리할 수 있게 한다. 이 모델은 Layer Normalization과 Residual Network (ResNet) 연결을 사용하여 학습을 안정화하고 그래디언트 흐름을 개선하며, 초기 transformer 모델에서 확립된 관행을 따른다. 학습은 대규모 다국어 말뭉치를 사용하여 수행되었으며, 저자원 언어의 범위를 확장하기 위한 데이터 증강 기법이 적용되었다. 학습 과정은 Adam (Optimizer)와 워밍업 및 감쇠 단계를 포함한 Learning Rate Scheduling, 그리고 그래디언트 폭주를 방지하기 위한 Gradient Clipping을 활용했다
이 모델은 GPU 클러스터에서 학습되었지만, 구체적인 하드웨어 세부 사항은 공개되지 않았다. 알리바바는 ULa의 학습 데이터가 100개 이상의 언어를 포함하며, 다른 모델에서 종종 간과되는 아시아 및 아프리카 언어에 초점을 맞췄다고 보고했다. 최종 모델 크기는 공식적으로 발표되지 않았지만, 유사한 다국어 모델의 일반적인 구성에 기반하여 약 10억에서 70억 개의 파라미터 범위로 추정된다
성능 및 벤치마크
ULA는 XNLI(교차 언어 자연어 추론) 및 MLQA(다국어 질의응답) 데이터셋을 포함한 여러 표준 다국어 벤치마크에서 평가되었다. XNLI에서 ULA는 mBERT 및 XLM-R과 같은 기존 다국어 모델과 비교하여, 특히 저자원 언어 쌍에서 유사하거나 더 높은 정확도 점수를 달성했다. 예를 들어, 스와힐리어와 우르두어에서 ULA는 제로샷 교차 언어 전이 작업에서 XLM-R보다 약 2-3퍼센트 포인트 더 높은 성능을 보였다
벤치마크 결과 외에도, 알리바바는 번역 및 텍스트 생성 작업에 대한 인간 평가를 수행했으며, ULA가 기준 모델과 비교하여 저자원 언어에서 더 유창하고 맥락에 적합한 출력을 생성했다고 보고했다. 그러나 이러한 결과는 제3자 연구자에 의해 독립적으로 검증되지 않았으며, 일부 주장은 여전히 검증 대상이다
응용 및 배포
ULA는 알리바바의 Alibaba Cloud 서비스에 통합되어, 개발자에게 기계 번역, 감정 분석, 텍스트 요약과 같은 작업을 위한 API를 통해 모델에 대한 접근을 제공한다. 또한 알리바바의 전자상거래 플랫폼 내부에서 여러 언어로 고객 지원을 개선하는 데 사용된다. 이 모델은 비상업적 연구용으로 허용적 라이선스 하에 제공되며, 상업적 접근은 알리바바 클라우드의 유료 등급을 통해 제공된다
개발자들은 다양한 언어 인구가 있는 지역에서 교차 언어 정보 검색 및 챗봇 응용 프로그램에 ULA를 사용했다고 보고했다. 이 모델이 단일 문장에서 여러 언어를 혼합하는 코드 스위칭을 처리하는 능력은 실제 배포에서 핵심 강점으로 강조되었다
다른 모델과의 비교
ULA는 OpenAI, Anthropic, 및 Google DeepMind가 개발한 모델과 같은 다른 다국어 모델과 경쟁하지만, 저자원 언어에 대한 초점에서 차별화된다. GPT-4 및 Claude와 같은 모델은 고자원 언어에서 뛰어나지만, 저자원 환경에서는 종종 상당한 성능 저하를 보인다. ULA는 이러한 언어에 더 많은 학습 데이터와 아키텍처 용량을 할애하여 이 격차를 해결한다
XLM-R과 같은 오픈소스 대안과 비교하여, ULA는 생성 시 Top-P (Nucleus) Sampling 및 디코딩 시 Beam Search와 같은 업데이트된 기법을 갖춘 더 최신의 학습 접근 방식을 제공한다. 그러나 ULA의 파라미터 수는 일부 최첨단 모델보다 작아, 고자원 언어의 복잡한 추론 작업에서 성능이 제한될 수 있다
한계 및 향후 방향
ULA에는 몇 가지 알려진 한계가 있다. 100만 명 미만의 화자가 있는 극도로 저자원 언어에 대한 성능은 여전히 일관되지 않으며, 의학이나 법률과 같은 분야의 도메인 특화 용어에 어려움을 겪을 수 있다. 이 모델은 또한 학습 데이터에 존재하는 편향을 나타내며, 알리바바는 이를 인정했지만 완전히 완화하지는 않았다
향후 개발 계획에는 ULa의 언어 범위를 200개 이상의 언어로 확장하고, 인간 선호도와의 정렬을 개선하기 위해 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백을 통한 강화 학습)을 통합하는 것이 포함된다. 알리바바는 또한 엣지 디바이스용 더 작고 효율적인 버전을 만들기 위해 Model Pruning 기법과 ULA를 통합하는 것을 탐구했지만, 출시 날짜는 발표되지 않았다
수용 및 영향
ULA는 저자원 언어 처리에 대한 기여로 학계에서 호평을 받았으며, 여러 논문이 다국어 연구의 기준선으로 인용하고 있다. 또한 언어 보존에 힘쓰는 비영리 단체에서도 채택되어, 멸종 위기 언어를 디지털화하고 번역하는 데 이 모델을 사용한다. 그러나 일부 비평가들은 알리바바의 ULA 문서화가 유사한 모델보다 덜 상세하여, 독립 연구자가 재현하기 어렵다고 지적했다