Google PaLM 2는 Google AI가 개발한 대규모 언어 모델(LLM)로, 2023년 5월 연례 Google I/O 기조 연설에서 발표되었다. 이는 2022년 4월에 처음 소개된 5,400억 개의 매개변수를 가진 밀집 디코더 전용 트랜스포머 기반 모델인 Pathways Language Model(PaLM)의 후속 모델이다. PaLM 2는 3,400억 개의 매개변수를 가진 모델로, 3.6조 개의 토큰으로 훈련된 것으로 보고되며, 이는 이전 모델의 7,800억 개 토큰에서 크게 증가한 수치이다. 이 모델은 Google의 대화형 AI 서비스인 Bard와 기타 Google AI 제품을 구동하며, 향상된 다국어 능력, 개선된 추론, 더 나은 코딩 능력을 갖추고 있다.
PaLM 2는 밀집 디코더 전용 트랜스포머로 설계된 PaLM의 아키텍처 기반 위에 구축되었다. 원래 PaLM 모델은 상식 추론, 산술 추론, 농담 설명, 코드 생성, 번역과 같은 작업에서 강력한 성능을 입증했다. chain-of-thought 프롬프팅과 결합했을 때, PaLM은 단어 문제와 논리 기반 질문을 포함한 다단계 추론이 필요한 데이터 세트에서 훨씬 더 나은 결과를 달성했다. PaLM 2는 특히 다국어 맥락에서 이러한 능력을 확장하여 더 넓은 범위의 언어를 더 높은 정확도로 이해하고 생성할 수 있게 한다.
개발 및 발표
원래 PaLM 모델은 2022년 4월에 처음 발표되었지만, Google이 PaLM 및 여러 다른 기술에 대한 API를 출시한 2023년 3월까지 비공개로 유지되었다. API는 처음에 대기자 명단에 등록한 제한된 수의 개발자에게 제공된 후 공개적으로 출시되었다. PaLM 2는 2023년 5월 Google I/O에서 공개되었으며, 이는 Google의 Generative AI 노력에 있어 중요한 이정표를 의미한다. 발표에서는 이전 모델보다 향상된 효율성과 성능을 강조했으며, Google의 제품 생태계에서의 실용적인 응용에 초점을 맞췄다.
Google과 DeepMind는 또한 PaLM의 특수 버전을 개발했다. 의료 데이터로 미세 조정된 PaLM 540B 버전인 Med-PaLM은 의료 질문 응답 벤치마크에서 이전 모델보다 뛰어난 성능을 보였다. 이는 미국 의료 면허 질문에서 합격 점수를 얻은 최초의 모델로, 정확한 답변과 함께 추론과 자기 평가를 제공했다. 또 다른 변형인 PaLM-E는 비전 트랜스포머를 사용하여 PaLM을 확장하여 재훈련이나 미세 조정 없이 로봇 조작을 위한 비전-언어 모델을 만들었다. 2023년 6월, Google은 PaLM-2 아키텍처와 초기화를 사용하는 음성 간 번역용 AudioPaLM을 발표했다.
아키텍처 및 훈련
PaLM 2는 이전 모델과 유사하지만 더 큰 훈련 말뭉치를 가진 밀집 디코더 전용 Transformer (architecture) 모델이다. 원래 PaLM은 필터링된 웹 페이지, 책, Wikipedia 기사, 뉴스 기사, GitHub의 오픈 소스 저장소에서 가져온 소스 코드, 소셜 미디어 대화를 포함한 7,800억 개의 토큰으로 구성된 고품질 말뭉치로 사전 훈련되었다. 소셜 미디어 대화 부분은 말뭉치의 50%를 차지하여 대화 능력을 향상시켰다. PaLM 2의 훈련 데이터는 3.6조 개의 토큰으로 확장되어 더 나은 일반화와 다국어 성능을 가능하게 했다.
원래 PaLM 540B는 각각 768개 호스트에 연결된 3,072개의 TPU v4 칩을 가진 두 개의 TPU v4 Pod에서 모델 및 데이터 병렬 처리의 조합을 사용하여 훈련되었다. 총 6,144개의 칩으로 구성된 이 구성은 하드웨어 FLOPs 활용률 57.8%로 해당 규모의 LLM에서 달성된 최고 훈련 효율성 기록을 세웠다. PaLM 2의 훈련 세부 사항은 공개적으로 덜 문서화되어 있지만, Google Cloud 및 특수 하드웨어에 대한 Google의 투자를 반영하여 유사한 인프라를 사용했을 가능성이 높다.
능력 및 응용
PaLM 2는 다국어 작업, 추론, 코딩에서 뛰어나도록 설계되었다. 이는 Google의 대화형 AI인 Bard를 구동하며, Google Workspace 및 Google Cloud의 AI 서비스와 같은 다른 제품에도 통합되어 있다. 이 모델의 향상된 다국어 능력은 이전 모델보다 더 효과적으로 여러 언어에 걸쳐 번역, 요약, 질문 응답을 처리할 수 있게 한다. 추론 능력은 chain-of-thought 프롬프팅과 같은 기술을 통해 향상되어 다단계 문제 해결을 가능하게 한다.
코딩에서 PaLM 2는 여러 프로그래밍 언어에 걸쳐 코드 생성 및 디버깅을 지원하여 개발자를 위한 도구로 사용된다. 이 모델의 다재다능함은 Machine learning 연구에서 기업 솔루션에 이르는 다양한 응용 분야에서 입증된다. Google은 PaLM 2를 자사 AI 생태계의 기반 모델로 자리매김하며, OpenAI 및 Anthropic의 제품과 경쟁하고 있다.
다른 모델과의 비교
PaLM 2의 3,400억 개 매개변수는 이를 Large language model의 상위 계층에 위치시키지만, 혼합 전문가 아키텍처에서 1조 개 이상의 매개변수를 가진 것으로 보고된 OpenAI의 GPT-4와 같은 일부 경쟁사보다는 작다. 그러나 PaLM 2의 3.6조 개 토큰 훈련과 효율성에 대한 초점은 벤치마크에서 경쟁력 있는 성능을 달성하게 한다. Transformer (architecture) 프레임워크를 기반으로 한 이 모델의 아키텍처는 다른 LLM과 유사하지만, Google의 독점 훈련 기술과 인프라는 확장성에서 뚜렷한 이점을 제공한다.
이전 모델인 PaLM과 비교하여 PaLM 2는 다국어 이해와 추론에서 상당한 개선을 제공하며, 추론을 위한 계산 요구 사항도 줄였다. 이는 실제 응용 프로그램에 배포하기 더 접근 가능하게 만든다. Google의 PaLM 2를 Bard 및 Google Cloud의 Vertex AI와 같은 제품에 통합한 것은 그 범위를 넓혀 Artificial intelligence 환경에서 핵심 플레이어로 자리매김하게 했다.
영향 및 평가
2023년 5월 PaLM 2의 출시는 AI 커뮤니티와 업계 관찰자들의 주목을 받았다. 이는 특히 생성 AI의 경쟁 분야에서 Deep learning 및 Neural network 기술을 발전시키려는 Google의 의지를 보여주었다. 이 모델의 향상된 다국어 능력은 AI를 비영어권 사용자에게 더 접근 가능하게 만드는 진전으로 여겨졌으며, 코딩 능력은 개발자들에게 호소력을 가졌다.
그러나 PaLM 2는 또한 대규모 모델 훈련의 환경 영향에 대한 질문을 제기했지만, Google은 효율성 개선을 강조했다. 이 모델의 Bard 통합은 Generative AI 시스템에서 흔한 우려인 편향 및 잘못된 정보 문제를 포함한 AI 윤리에 대한 논의를 촉발했다. Google은 안전 조치를 구현했지만, 더 넓은 영향은 여전히 논쟁의 주제이다.
향후 방향
PaLM 2 이후, Google은 AI 모델을 계속 발전시켰다. 2023년 말, Google은 PaLM 2의 후속 모델인 Gemini를 발표했으며, 이는 다중 모달 능력을 통합하고 더 강력하고 다재다능하도록 설계되었다. PaLM 2의 아키텍처와 훈련 방법은 Multi-Head Attention 및 Positional Encoding 기술의 개선을 포함한 후속 개발에 영향을 미쳤다. 이 모델의 유산은 의료에서 로봇 공학에 이르는 분야의 응용과 함께 Artificial intelligence의 경계를 넓히려는 Google의 지속적인 노력에서 분명하다.
2025년 현재, PaLM 2는 LaMDA와 같은 초기 모델과 Gemini와 같은 더 고급 시스템 사이의 다리 역할을 하는 LLM 역사에서 중요한 이정표로 남아 있다. 다국어 AI와 효율적인 훈련에 대한 기여는 이 분야에 지속적인 영향을 미쳤으며, 그 원칙은 Google DeepMind 및 그 너머의 연구에 계속 정보를 제공하고 있다.
같이 보기
- LaMDA, PaLM의 이전 모델
- Gemini, PaLM의 후속 모델
- Chinchilla, 관련 LLM
- Transformer (architecture), 기본 아키텍처
- Google Cloud, 훈련을 위한 인프라
참고 문헌
- Google AI 블로그, 2023년 5월, PaLM 2 발표
- Wikipedia, PaLM(Pathways Language Model), 2025년 접근
- Google Research, PaLM: Pathways를 통한 언어 모델 확장, 2022