Jordan Hoffmann은 인공지능 분야의 컴퓨터 과학자이자 연구자이다. 그는 대규모 언어 모델의 스케일링 법칙에 대한 연구로 가장 잘 알려져 있으며, 특히 구글 딥마인드 재직 시절 2022년 Chinchilla 논문의 주 저자였다. Hoffmann은 이후 앤트로픽에 합류하여 고급 AI 시스템 개발에 지속적으로 기여하고 있다.
Hoffmann의 연구는 딥러닝에서 모델 크기, 학습 데이터, 계산 예산 간의 관계를 이해하는 데 중점을 둔다. 그의 연구는 AI 연구소들이 대규모 신경망을 훈련할 때 자원을 배분하는 방식에 큰 영향을 미쳤다.
Chinchilla 논문
2022년, 딥마인드에 재직 중이던 Hoffmann은 대규모 언어 모델의 스케일링 법칙에 관한 획기적인 논문을 발표하는 팀을 이끌었다. "Training Compute-Optimal Large Language Models"라는 제목의 이 논문은 1조 4천억 개의 토큰으로 훈련된 700억 개의 파라미터를 가진 트랜스포머 모델인 Chinchilla를 소개했다. 핵심 발견은 주어진 계산 예산에 대해 최적의 모델 크기와 학습 데이터 크기가 거의 동일한 비율로 확장되어야 한다는 것이었다. 즉, 기존 모델들은 데이터 양 측면에서 상당히 부족한 훈련을 받았다는 것이다. 이 통찰은 모델 파라미터와 학습 토큰을 거의 동일한 비율로 늘려야 한다는 권장 사항으로 이어졌으며, 이후 많은 후속 대규모 언어 모델 설계의 지침이 되었다.
Chinchilla 논문의 결과는 AI 업계 전반에 널리 채택되어 오픈AI, 메타 AI 및 다양한 학술 기관의 훈련 방식에 영향을 미쳤다. "Chinchilla 스케일링 법칙"이라는 용어는 효율적인 모델 훈련에 관한 논의에서 표준적인 참조 지점이 되었다.
딥마인드에서의 경력
구글 딥마인드에서 Hoffmann은 스케일링과 효율성에 중점을 둔 연구 팀의 일원이었다. 그의 작업은 이론적 분석과 실증적 실험을 결합하여 모델 용량과 훈련 데이터 간의 균형을 분석하는 것이었다. Chinchilla 연구는 잭 클라크와 샨 카터를 포함한 여러 딥마인드 연구자들과의 공동 작업으로 수행되었지만, 핵심 스케일링 분석은 Hoffmann이 주도했다.
이 기간 동안 딥마인드는 다른 대규모 모델들도 개발하고 있었으며, Hoffmann의 기여는 연구소가 훈련 실행에서 자원을 배분하는 방식을 형성하는 데 도움이 되었다.
앤트로픽으로의 이직
2023년, Hoffmann은 전직 오픈AI 연구원들이 설립한 AI 안전성 및 연구 회사인 앤트로픽에 합류했다. 앤트로픽에서 그는 Claude 모델 제품군을 포함한 대규모 AI 시스템 구축에 참여하고 있다. 그의 스케일링 법칙에 대한 전문성은 앤트로픽의 훈련 인프라와 모델 개발 전략에 중요한 가치를 제공하고 있다.
앤트로픽에서 Hoffmann은 대규모 언어 모델의 효율성과 신뢰성을 개선하는 작업을 수행하며, 성능과 안전성 측면 모두에 중점을 두고 있다. 그의 역할은 트랜스포머 기반 아키텍처의 가능성을 확장하기 위해 다른 연구자 및 엔지니어들과 긴밀히 협력하는 것이다.
영향과 인정
Chinchilla 논문은 수천 번 인용되었으며 머신러닝 분야의 기초 참고 자료로 간주된다. Hoffmann의 연구는 대규모 모델을 효과적으로 훈련하는 방법에 대한 실질적인 이해에 중요한 기여로 인정받고 있다. 그의 발견은 AI 연구소들이 데이터 세트 수집 및 모델 크기 결정에 접근하는 방식을 바꾸었으며, 많은 조직이 더 큰 모델 아키텍처보다 더 큰 데이터 세트를 우선시하게 되었다.
Hoffmann의 연구는 방법론적 엄격함으로도 주목할 만하며, 이론적 분석과 광범위한 실증적 검증을 결합한다. 논문의 결론은 다른 연구자들에 의해 재현되고 확장되었으며, 딥러닝 연구의 정전(正典)에서 확고한 위치를 차지하고 있다.
개인 생활과 교육
Hoffmann의 초기 생애와 교육에 대한 세부 사항은 널리 알려져 있지 않다. 그는 컴퓨터 과학 배경을 가지고 있으며 2010년대 후반부터 AI 연구 커뮤니티에서 활동해 왔다. 딥마인드에서 앤트로픽으로의 그의 경력 궤적은 최고의 AI 연구자들이 주요 연구소들 사이를 이동하는 더 넓은 흐름을 반영한다.
Hoffmann은 AI 연구 커뮤니티에 계속해서 적극적으로 기여하고 있으며, 그의 작업은 학술 연구와 산업 실무 모두에 영향을 미치고 있다. 2024년 현재 그는 앤트로픽에 재직 중이며, 안전하고 유능한 AI 시스템을 개발하기 위한 지속적인 노력에 참여하고 있다.