PaLM(Pathways Language Model)은 2022년 4월에 처음 발표된 Google AI가 개발한 대규모 언어 모델이다. 이는 5,400억 개의 매개변수를 가진 밀집형 디코더 전용 트랜스포머 기반 모델로, 출시 당시 가장 큰 언어 모델 중 하나였다. 이 모델은 여러 TPU 포드에서 효율적인 학습을 가능하게 하는 Google의 Pathways 시스템을 사용하여 학습되었다. 연구진들은 또한 모델 규모가 성능에 미치는 영향을 연구하기 위해 80억 및 620억 개의 매개변수를 가진 소규모 버전도 학습시켰다.
PaLM은 상식 추론, 산술 추론, 농담 설명, 코드 생성, 번역 등 다양한 작업에서 강력한 성능을 입증하였다. 연쇄 사고(chain-of-thought) 프롬프팅과 결합했을 때, PaLM은 단어 문제나 논리 기반 질문과 같은 다단계 추론이 필요한 데이터세트에서 상당히 더 나은 성능을 달성했다. 이 모델은 2023년 3월까지 비공개로 유지되었으며, 그때 Google이 PaLM을 위한 API를 출시하여 처음에는 소수의 개발자에게 대기 명단을 통해 제공한 후 공개적으로 배포되었다.
아키텍처 및 학습
PaLM은 Transformer (architecture) 아키텍처를 기반으로 하며, 특히 디코더 전용 설계이다. 540B 버전은 필터링된 웹 페이지, 인용문, 위키백과, 뉴스, GitHub 저장소의 소스 코드, 소셜 미디어 대화로 구성된 7,800억 개의 토큰으로 이루어진 코퍼스로 사전 학습되었다. 이 데이터 세트는 Google의 LaMDA 모델을 학습하는 데 사용된 것을 바탕으로 만들어졌으며, 소셜 미디어 대화가 코퍼스의 50%를 차지하여 대화 능력을 향상시켰다.
540B 모델을 학습하려면 각각 3,072개의 TPU v4 칩과 768개의 호스트로 구성된 두 개의 TPU v4 포드가 필요했으며, 이들은 모델 병렬화와 데이터 병렬화를 결합하여 연결되었다. 총 6,144개의 칩으로 구성된 이 구성은 당시 가장 큰 TPU 설정으로, 하드웨어 FLOPs 사용률 57.8%를 달성했는데, 이는 그 규모에서 학습 효율성이라는 기록이었다. 학습 과정은 여러 포드에 걸친 효율적인 확장을 가능하게 하는 Pathway 시스템을 활용했다.
변형 및 응용
Google은 DeepMind와 협력하여 의료 데이터에 미세 조정된 PaLM 540B 버전인 Med-PaLM을 개발했다. Med-PaLM은 의료 질문-답변 벤치마크에서 기존 모델보다 우수했으며, 미국 의료 면허 질문에서 처음으로 합격점을 얻었다. 이는 답변에 대한 근거를 제공하고 자체 응답을 평가할 수 있다.
Google은 또한 PaLM을 비전 트랜스포머로 확장하여 PaLM-E를 만들었는데, 이는 새 작업에 대한 재학습이나 미세 조정 필요 없이 작동하는 로봇 조작을 위한 비전-언어 모델이다. 2023년 6월에는 PaLM-2 아키텍처와 초기화를 사용하는 음성-음성 번역용 AudioPaLM을 발표했다.
후속 모델: PaLM 2
2023년 5월, Google은 연례 Google I/O 기조 연설에서 PaLM 2를 발표했다. PaLM 2는 3.6조 개의 토큰으로 학습된 3,400억 개의 매개변수 모델로 알려져 있다. 이는 PaLM의 후속 모델이며 여러 Google 제품과 서비스를 구동한다. PaLM 2는 다국어 능력, 추론, 코딩과 같은 분야에서 이전 모델보다 개선되었으며, PaLM API 및 기타 Google Cloud 서비스를 통해 제공되었다.
영향 및 유산
PaLM은 대규모 언어 모델 개발에서 중요한 진전이었으며, 분산 시스템을 사용하여 전례 없는 규모로 모델을 학습하는 가능성을 보여 주었다. 이후 이 모델의 성공은 PaLM을 Google의 대표 언어 모델로 대체한 Gemini를 포함한 후속 모델에 영향을 미쳤다. PaLM의 연쇄 사실적 추론과 PaLM-E와 같은 멀티모달 확장에 대한 기여는 추론과 구현형 AI 분야 연구를 진전시켰다.
함께 보기
- LaMDA - PaLM의 전임자
- Gemini - PaLM의 후속자
- Chinchilla - 관련 언어 모델