Jared Kaplan은 이론 물리학자이자 기계 학습 연구자로, 언어 모델에 대한 경험적 Scaling laws을 확립한 연구를 주도하고, Anthropic의 공동 창립자이자 최고 과학자로 알려져 있다.
배경 및 스케일링 법칙
Kaplan은 AI 연구로 전향하기 전에 존스홉킨스 대학에서 이론 물리학 교수직을 역임했으며, 이러한 배경이 모델의 행동을 직관에 의한 엔지니어링만이 아니라 측정 가능한 경험적·정량적 시스템으로 취급하는 그의 접근 방식을 형성했다고 밝혔다. 2020년, OpenAI에 소속된 동안 그는 "Scaling Laws for Neural Language Models" 논문을 주도했는데, 이 논문은 언어 모델링 작업에서의 손실이 모델 크기, 데이터셋 크기, 훈련 연산량과 매끄러운 멱법칙 관계를 따른다는 것을 보여주었다. 이 논문은 연구소들이 고정된 연산 예산을 어떻게 배분할지 결정하기 위한 예측 프레임워크를 제공했으며, GPT-3의 훈련에 직접적으로 영향을 주었다. DeepMind의 2022년 후속 연구인 "Chinchilla" 논문은 Kaplan의 원래 결론 중 매개변수 대 훈련 토큰의 최적 비율에 대한 부분을 수정했지만, 그가 확립한 멱법칙 프레임워크의 기반은 최첨단 연구소들이 대규모 훈련 실행을 계획하는 방식의 근간으로 남아 있다.
Anthropic
2021년, Kaplan은 Dario Amodei, Daniela Amodei, Tom Brown, Chris Olah 등 OpenAI에서 함께 일했던 동료들과 함께 Anthropic을 공동 창립했다. Anthropic의 최고 과학자로서 그는 사전 훈련, AI alignment, 그리고 스케일링에 따른 모델 능력의 경험적 연구에 걸친 연구 방향을 총괄했으며, OpenAI에서 시작한 스케일링 중심의 연구 프로그램을 계속 이어갔다. Anthropic의 공개적인 안전 프레임워크(책임 있는 스케일링 정책 포함, Responsible scaling policies 참조)는 부분적으로 능력 성장이 스케일링 추세로부터 충분히 예측 가능하여 계획하고 게이트할 수 있다는 전제에 기반하며, 이는 Kaplan의 초기 연구에서 직접적으로 파생된 아이디어이다.
영향
Kaplan의 스케일링 법칙 연구는 GPT-3 논문과 함께 널리 인용되며, Transformer (architecture) 모델을 계속 스케일링하는 것이 근본적으로 새로운 아키텍처를 탐색하는 것보다 추가 능력 향상을 위한 가장 신뢰할 수 있는 경로라는 결론을 해당 분야에 확신시킨 두 가지 발전으로 자주 언급된다. 이 결론은 2020년대 중반까지 최첨단 연구소 전략에 영향을 주었다.
그의 이론 물리학 배경은 AI 연구소 창립자들 사이에서 Anthropic 리더십을 구별짓는 특징으로 프로필에서 자주 언급되며, 그는 물리 시스템을 연구하는 데 사용되는 경험적 방법과 최첨단 연구소가 대규모 훈련 모델의 배포 전후 행동을 연구하는 방식 사이의 명시적 유추를 계속해서 제시해 왔다.