GLM-130B는 칭화대학교 연구진이 개발하여 2022년에 공개한 대규모 언어 모델이다. 1,300억 개의 매개변수를 가진 이 모델은 영어와 중국어를 모두 지원하는 오픈소스 이중 언어 모델로 설계되었으며, 이는 당시 폐쇄형이거나 주로 영어에 초점을 맞춘 많은 동시대 모델과 구별되는 특징이었다. 이 모델은 트랜스포머 기반 인코더-디코더 설계의 측면과 자기회귀 생성을 결합한 GLM(General Language Model) 아키텍처를 기반으로 하여, 이해 및 생성 작업을 모두 효과적으로 처리할 수 있다.
이 프로젝트는 독점 대규모 언어 모델과 공개적으로 이용 가능한 대안 사이의 격차를 해소하기 위해 시작되었다. 모델 가중치와 훈련 코드를 공개함으로써 개발자들은 연구 커뮤니티에 다국어 환경에서 대규모 언어 모델 역량을 연구하고 발전시키는 강력한 도구를 제공하는 것을 목표로 했다. GLM-130B는 영어와 중국어 텍스트로 구성된 다양한 말뭉치로 훈련되었으며, 그 성능은 OpenAI의 GPT-3 및 기타 대규모 시스템을 포함한 당시의 여러 저명한 모델과 비교 평가되었다.
아키텍처 및 훈련
GLM-130B는 이해 작업을 위한 양방향 주의 메커니즘과 생성을 위한 단방향 자기회귀 구성 요소를 통합하는 독특한 아키텍처를 사용한다. GLM 프레임워크에 자세히 설명된 이 하이브리드 접근 방식은 텍스트 분류, 질문 응답, 요약과 같은 작업에서 모델이 뛰어난 성능을 발휘하도록 하면서도 일관되고 맥락에 맞는 텍스트를 생성할 수 있게 한다. 이 모델은 다중 헤드 주의 메커니즘을 사용하며, 훈련을 안정화하고 기울기 흐름을 개선하기 위해 계층 정규화 및 잔차 네트워크 연결을 통합한다.
훈련은 대규모 GPU 클러스터에서 수행되었으며, 수렴을 보장하기 위해 기울기 클리핑 및 학습률 스케줄과 같은 기술이 활용되었다. 모델은 영어와 중국어 데이터의 혼합으로 훈련되었으며, 두 언어를 효율적으로 처리하도록 설계된 토크나이저를 사용했다. 훈련 과정에는 모델 가지치기 및 기타 최적화 전략도 적용되어 메모리 사용량을 줄이고 추론 속도를 개선하여 표준 하드웨어에서의 배포를 더욱 용이하게 했다.
성능 및 평가
벤치마크 평가에서 GLM-130B는 다른 대규모 모델과 비교하여 경쟁력 있는 성능을 보여주었으며, 특히 주로 영어 데이터로 훈련된 모델을 능가하는 경우가 많았던 중국어 작업에서 두드러졌다. LAMBADA 및 MMLU와 같은 영어 벤치마크에서는 일부 경쟁 모델보다 매개변수 수가 적음에도 불구하고 GPT-3와 비슷하거나 더 나은 결과를 달성했다. 모델의 이중 언어 능력은 교차 언어 작업에서 강조되었으며, 강력한 전이 학습 능력을 보여주었다.
그러나 이 모델은 당시 대규모 언어 모델의 공통적인 한계인 간헐적인 사실적 부정확성과 프롬프트 표현에 대한 민감성도 나타냈다. 개발자들은 Google DeepMind의 Chinchilla 및 Anthropic의 Claude와 같은 모델과의 비교를 포함한 상세한 평가 결과를 공개하여 강점과 약점에 대한 투명성을 제공했다.
오픈소스 영향
GLM-130B의 가장 중요한 기여 중 하나는 오픈소스라는 점이었다. 많은 주요 모델이 독점적이던 시기에 GLM-130B는 연구자들에게 최첨단 모델에 대한 접근을 제공하여 해석 가능성, 미세 조정 및 안전성에 대한 연구를 가능하게 했다. 공개에는 모델 가중치뿐만 아니라 훈련 코드와 상세한 문서도 포함되어 다양한 애플리케이션을 위해 모델을 기반으로 구축하는 개발자 커뮤니티를 조성했다.
모델의 공개는 인공지능의 민주화와 이 분야에서 공개 연구의 중요성에 대한 논의를 촉발했다. 이는 이후 더 크고 효율적인 모델을 포함한 GLM 변형의 기반이 되었으며, 머신러닝 및 딥러닝 분야의 다른 오픈소스 이니셔티브 개발에도 영향을 미쳤다.
한계 및 윤리적 고려 사항
다른 대규모 언어 모델과 마찬가지로 GLM-130B는 편향, 잘못된 정보 및 잠재적 오용과 관련된 윤리적 우려를 제기한다. 인터넷에서 수집된 훈련 데이터에는 모델이 증폭할 수 있는 편향이 포함될 수 있다. 개발자들은 이러한 문제를 인정하고, 모델 출력이 중요한 결과를 초래할 수 있는 애플리케이션에서는 인간의 감독을 포함한 신중한 사용을 권장했다. 또한 투명성과 책임성을 강조하는 책임 있는 배포 지침을 제공했다.
기술적 한계에는 비교적 큰 메모리 사용량이 포함되어 추론에 상당한 계산 리소스가 필요했다. 영어와 중국어 이외의 언어에 대한 모델의 성능은 훈련 데이터의 초점을 반영하여 제한적이었다. 공개 당시 GLM-130B는 오픈소스 AI의 중요한 진전을 나타냈지만, 강력하면서도 안전한 모델을 만드는 데 있어 지속적인 과제도 부각시켰다.
유산 및 영향
GLM-130B의 개발은 오픈소스 대규모 언어 모델의 광범위한 추세에 기여하여 LLaMA 및 기타 후속 프로젝트에 영향을 미쳤다. 그 아키텍처와 훈련 방법론은 수많은 연구 논문에서 인용되었으며, 이중 언어 능력은 다른 언어에서도 유사한 노력을 고무시켰다. 이 모델은 신경망 모델의 스케일링 법칙과 모델 크기, 데이터 및 성능 간의 절충을 연구하는 연구자들에게 여전히 기준점으로 남아 있다.
2024년 현재 GLM-130B는 더 이상 가장 크거나 가장 발전된 모델은 아니지만, 이 분야에 대한 영향은 지속적이다. 고품질의 오픈소스 모델이 독점 모델과 경쟁할 수 있음을 입증함으로써 AI 연구에 대한 보다 포용적이고 협력적인 접근 방식의 토대를 마련했다.