조나단 프랭클은 머신러닝과 딥러닝을 전문으로 하는 컴퓨터 과학자이다. 그는 신경망 희소성에 대한 연구, 특히 MIT CSAIL에서 마이클 카빈과 함께 개발한 로터리 티켓 가설로 가장 잘 알려져 있다. 2024년 기준으로 그는 대규모 언어 모델의 효율적인 훈련과 배포에 중점을 둔 기업인 MosaicML의 최고 과학자로 재직 중이다.
프랭클의 연구는 신경망에 대한 이론적 통찰과 생성형 AI를 위한 실용적 시스템을 연결한다. 그의 기여는 연구자와 엔지니어가 모델 압축과 자원 효율적 AI에 접근하는 방식에 영향을 미쳤으며, 이는 업계 전반에서 중요성이 커지는 주제이다.
초기 생애 및 교육
프랭클은 2013년 카네기 멜론 대학교에서 컴퓨터 과학 학사 학위를 마쳤다. 이후 MIT CSAIL에서 박사 과정을 밟았으며, 마이클 카빈의 지도를 받았다. 그의 박사 연구는 훈련된 신경망의 내부 구조를 이해하는 데 초점을 맞췄고, 2018년 로터리 티켓 가설의 정립으로 이어졌다. 그는 2021년에 박사 학위를 받았다.
로터리 티켓 가설
로터리 티켓 가설은 2019년 카빈과 공동 저술한 논문에서 소개되었으며, 밀집 신경망이 단독으로 훈련될 때 원래 네트워크와 동등한 테스트 정확도를 달성할 수 있는 하위 네트워크, 즉 '당첨 티켓'을 포함한다는 주장이다. 이 하위 네트워크는 반복적 가지치기 과정을 통해 식별된다. 네트워크를 훈련하고, 가장 작은 크기의 가중치를 가지치기하고, 나머지 가중치를 초기 값으로 재설정한 후 재훈련하는 방식이다. 이 가설은 가지치기가 주로 추론 시 효율성을 위한 것이라는 기존의 통념에 도전하며, 희소 네트워크가 처음부터 효과적으로 훈련될 수 있음을 보여주었다.
이 연구는 인공지능 커뮤니티에서 신경망의 이해와 최적화에 대한 시사점으로 큰 주목을 받았다. 이는 딥러닝의 과잉 매개변수화가 용량보다는 많은 실행 가능한 하위 네트워크의 존재와 더 관련이 있을 수 있음을 시사했다. 프랭클과 공동 연구자들의 후속 연구는 이 아이디어를 트랜스포머를 포함한 더 복잡한 아키텍처로 확장했으며, 이러한 티켓을 찾는 데 있어 학습률 스케줄과 가중치 초기화의 역할을 탐구했다.
MosaicML에서의 경력
박사 학위를 마친 후 프랭클은 2021년 전 인텔 및 엔비디아 엔지니어들이 설립한 스타트업 MosaicML에 최고 과학자로 합류했다. MosaicML에서 그는 MosaicML Streaming 데이터셋 라이브러리와 Composer 훈련 프레임워크 개발을 포함한 효율적인 훈련 방법에 대한 연구를 이끌었다. 그의 팀은 대규모 모델 훈련에 필요한 비용과 시간을 줄여 더 작은 조직도 접근할 수 있도록 하는 데 중점을 두었다.
2023년, MosaicML은 데이터 분석 기업인 데이터브릭스에 약 13억 달러에 인수되었다. 프랭클은 인수 후에도 최고 과학자 역할을 계속하며 모델 최적화 연구와 MPT-7B 및 MPT-30B와 같은 오픈소스 모델 출시를 감독했다. 이 모델들은 오픈AI의 GPT-3에 비해 경쟁력 있는 성능을 보이면서도 더 적은 계산 자원을 요구하는 것으로 주목받았다.
연구 기여
로터리 티켓 가설 외에도 프랭클은 머신러닝 연구의 여러 영역에 기여했다. '선형 모드 연결성'에 대한 그의 연구는 독립적으로 훈련된 모델이 가중치 공간에서 보간될 수 있는 방법을 탐구하여 딥 네트워크의 손실 지형에 대한 통찰을 제공했다. 그는 또한 데이터 순서와 배치 정규화가 훈련 역학에 미치는 영향도 조사했다.
프랭클은 AI 연구의 재현성 옹호자로, 상세한 실험 프로토콜을 발표하고 연구 코드를 오픈소스로 공개했다. 그의 논문은 NeurIPS, ICML, ICLR을 포함한 주요 학회에 게재되었으며, 이러한 학회의 리뷰어로도 활동했다.
영향 및 인정
프랭클의 연구는 딥러닝 문헌에서 광범위하게 인용되었으며, 로터리 티켓 가설 논문은 수천 건의 인용을 받았다. 그의 아이디어는 파이토치 및 텐서플로우와 같은 프레임워크의 가지치기 라이브러리와 같은 모델 압축 실용 도구에 영향을 미쳤다. 구글 딥마인드 및 앤트로픽과 같은 기업의 업계 실무자들은 효율적인 모델 설계 논의에서 그의 연구를 언급했다.
생성형 AI의 더 넓은 맥락에서 프랭클의 효율성에 대한 초점은 대규모 모델에 대한 접근을 민주화하려는 노력과 일치한다. MosaicML에서의 그의 작업은 주요 연구소의 독점적 접근 방식과 대조되는 오픈 가중치 모델의 추세에 기여했다. 2024년 기준으로 그는 학회에서 연설하고 지속 가능한 AI 개발에 관한 공개 담론에 기여하며 현장에서 활발히 활동하고 있다.
주요 발표 자료
- 'The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks' (마이클 카빈과 공동, 2019)
- 'Linear Mode Connectivity and the Lottery Ticket Hypothesis' (군다파 사후 등과 공동, 2020)
- 'Stabilizing the Lottery Ticket Hypothesis' (군다파 사후 등과 공동, 2020)
- 'MosaicML: Efficient Training of Large Language Models' (기술 보고서, 2023)
참고 문헌
그의 연구는 arxiv 및 학회 회보를 통해 제공되는 학술 논문과 기술 보고서에 문서화되어 있다. 인터뷰와 프로필은 기술 미디어 매체에 게재되어 효율적인 AI에 대한 그의 기여를 논의했다.