Pythia는 2023년 AI 연구자 집단인 EleutherAI가 공개한 대규모 언어 모델 제품군이다. 이 제품군은 신경망의 내부 작동 방식, 특히 해석 가능성에 대한 과학적 연구를 촉진하기 위해 설계되었다. 많은 상용 모델과 달리 Pythia 모델은 훈련 데이터, 체크포인트, 훈련 세부 사항을 포함하여 완전히 오픈소스이며, 언어 모델이 어떻게 발달하고 행동하는지 연구하는 표준 도구가 되었다.
Pythia 제품군은 7천만 개에서 120억 개의 매개변수에 이르는 다양한 크기의 모델로 구성되며, 모두 동일한 데이터를 동일한 순서로 훈련받았다. 이러한 설계는 연구자들이 데이터와 훈련 순서를 통제하면서 서로 다른 규모의 모델을 비교할 수 있게 하여, 스케일링 효과와 창발적 능력에 대한 체계적인 연구를 가능하게 한다. 모델은 대부분의 현대 대규모 언어 모델의 기반이 되는 Transformer (architecture) 아키텍처를 기반으로 한다.
설계 및 훈련
Pythia 모델은 EleutherAI가 선별한 대규모의 다양한 영어 텍스트 데이터셋인 Pile로 훈련되었다. 훈련 데이터는 모든 모델 크기에 걸쳐 일관되게 전처리 및 토큰화되었다. 각 모델은 고정된 단계 수로 훈련되었으며, 체크포인트가 정기적으로 저장되어 연구자들이 훈련의 다양한 단계에서 모델을 분석할 수 있게 한다. 훈련에는 Adam 최적화 및 학습률 스케줄링과 같은 표준 기법이 사용되었다.
모델은 Pythia-70M에서 Pythia-12B까지 다양하며, 중간 크기로 160M, 410M, 1B, 1.4B, 2.8B, 6.9B 매개변수가 있다. 모든 모델은 동일한 토크나이저와 어휘를 공유하여 제품군 전체의 일관성을 보장한다. 훈련 데이터 순서는 고정되었고 모든 모델에 동일한 데이터가 사용되었으며, 이는 해석 가능성 연구의 핵심 기능이다.
해석 가능성 연구
Pythia는 해석 가능성 연구에서 투명하고 재현 가능한 모델의 필요성을 해결하기 위해 만들어졌다. OpenAI, Anthropic, Google DeepMind와 같은 많은 상용 모델은 완전히 공개되지 않아 외부 분석이 제한적이다. Pythia는 연구자들이 모델 내부를 조사하고 신경망 행동에 대한 가설을 테스트하며 새로운 해석 가능성 기법을 개발할 수 있는 통제된 환경을 제공한다.
연구자들은 Pythia를 사용하여 위치 인코딩, 멀티헤드 어텐션, 잔차 네트워크 구조의 창발과 같은 현상을 연구해 왔다. 훈련 단계마다 체크포인트를 사용할 수 있어 시간이 지남에 따라 모델이 지식과 기술을 획득하는 방식에 대한 종단 연구가 가능하다.
영향 및 사용
Pythia는 AI 연구 커뮤니티에서 널리 사용되는 자원이 되었다. 기계적 해석 가능성, 모델 편집, 안전성에 관한 논문에서 자주 인용된다. 이 제품군은 Hugging Face와 같은 플랫폼에 호스팅되며(링크 목록에는 없지만 일반적인 저장소임) Transformers와 같은 인기 라이브러리에 통합되어 있다. 개방적 특성 덕분에 다양한 모델 계열에 걸친 복제 연구와 비교 분석이 가능해졌다.
모델은 머신러닝 및 딥러닝 개념을 가르치는 교육 환경에서도 사용되었다. 다양한 크기를 제공함으로써 Pythia는 계산 자원이 제한된 연구자들도 의미 있는 실험을 수행할 수 있게 한다.
한계 및 고려 사항
Pythia는 연구용으로 설계되었지만 한계가 있다. 모델은 명령어 튜닝이 되지 않아 GPT-3나 Claude와 같은 모델만큼 프롬프트를 효과적으로 따르지 않는다. 주로 원시 언어 모델링 행동을 연구하기 위한 것이다. 또한 훈련 데이터인 Pile에는 편향과 잠재적으로 유해한 콘텐츠가 포함되어 있어 다운스트림 애플리케이션에서 고려해야 할 사항이다.
이 제품군에는 생산 모델에서 흔한 인간 피드백 기반 강화 학습(RLHF)이 적용된 모델이 포함되지 않아 정렬된 모델의 행동을 반영하지 않을 수 있다. 연구자들은 결과를 일반화할 때 이러한 차이를 고려해야 한다.
향후 방향
EleutherAI는 계속해서 오픈 모델을 개발하고 있으며, Pythia는 Allen Institute for AI의 OLMo 제품군과 같은 유사한 노력에 영감을 주었다. 스탠포드 AI 연구소와 버클리 AI 연구의 이니셔티브에서 볼 수 있듯이 오픈 데이터와 체크포인트의 원칙은 이 분야에서 점점 더 보편화되고 있다. Pythia는 해석 가능성 중심 모델 공개의 벤치마크로 남아 있다.
2025년 현재 Pythia는 여전히 연구에서 활발히 사용되고 있으며 체크포인트를 다운로드할 수 있다. 이 제품군은 수백 편의 논문에서 인용되었으며, 이는 인공지능 커뮤니티에서의 중요성을 강조한다.