아칸크샤 초드허리는 머신러닝 시스템과 무선 통신 분야에서 인정받는 컴퓨터 과학자이다. 그녀는 구글 딥마인드에서 개발된 대규모 언어 모델인 Pathways Language Model(PaLM)을 소개한 2022년 논문의 주 저자로 가장 잘 알려져 있다. 그녀의 연구는 효율적인 딥러닝 아키텍처, 분산 훈련, 그리고 클라우드 및 엣지 컴퓨팅 모두에 적용되는 네트워크 시스템을 아우른다.
초드허리의 경력은 학계와 산업계를 두루 아우른다. 그녀는 스탠포드 대학교에서 박사 학위를 취득했으며, 그녀의 논문은 네트워크 최적화와 무선 시스템에 초점을 맞췄다. 이후 그녀는 구글 리서치에 합류하여 신경망 훈련의 확장성과 효율성을 개선하는 프로젝트에 기여했다. PaLM에 대한 그녀의 작업은 5,400억 개의 매개변수를 가진 모델을 통해 퓨삿 러닝 및 추론 작업에서 획기적인 발전을 입증했으며, 이후 생성형 AI 개발에 지대한 영향을 미쳤다.
초기 생애 및 교육
초드허리는 인도에서 태어나 인도 공과대학교 델리 캠퍼스(IIT Delhi)에서 전기 공학 학부 과정을 마치고 2007년에 졸업했다. 이후 그녀는 미국으로 건너가 스탠포드 대학교에서 전기 공학 석사 및 박사 학위를 각각 2012년과 2015년에 취득했다. 스탠포드 재학 시절, 그녀는 정보 시스템 연구소에서 교수들의 지도 아래 무선 네트워크를 위한 교차 계층 최적화와 분산 알고리즘을 연구했다.
그녀의 박사 연구는 이기종 네트워크 환경에서의 자원 할당 및 간섭 관리 문제를 다루었다. 이 연구는 이후 그녀가 머신러닝 워크로드, 특히 분산 및 자원 제약적인 환경에서의 최적화 기법을 적용하는 데 중요한 기반이 되었다.
구글 및 PaLM에서의 경력
초드허리는 2015년에 구글 리서치에 연구 과학자로 합류했다. 구글에서 그녀는 초기에는 모바일 및 엣지 디바이스에서 동작하는 딥러닝 모델의 효율성 향상에 주력했다. 그녀는 모델 압축 및 양자화 기술 개발에 기여하여 신경망이 제한된 연산 자원을 가진 기기에서도 원활히 실행될 수 있도록 했다.
2021년, 그녀는 PaLM 프로젝트의 주 저자로서 5,400억 개의 매개변수를 가진 트랜스포머 기반 언어 모델 훈련을 주도했다. 2022년 4월에 발표된 PaLM 논문은 추론, 코드 생성, 번역 등 다양한 벤치마크에서 최첨단 성능을 기록했다. 특히, 그녀의 팀은 체인 오브 thought 프롬프팅을 통해 모델의 추론 능력을 크게 향상시켰으며, 이는 이후 모델 프루닝 및 그래디언트 클리핑과 같은 훈련 안정성 기술과 함께 주목받았다.
연구 기여
PaLM 이후, 초드허리는 멀티헤드 어텐션, 포지셔널 인코딩 및 효율적인 훈련 알고리즘에 대한 광범위한 연구를 계속했다. 그녀는 커리큘럼 러닝과 학습률 스케줄링 기법을 탐구하여 대규모 모델의 수렴 속도를 개선했다. 그녀의 연구는 이론적 머신러닝과 실제 시스템 배포 사이의 간극을 메우는 데 중점을 두고 있다.
또한 그녀는 무선 네트워킹과 인공지능의 교차점에 대한 연구를 수행하여 엣지에서의 분산 추론 방법을 제안했다. 이에는 데이터 증강 및 배치 정규화 기법을 연합 학습 환경에 적용하는 연구가 포함되며, 데이터가 로컬 디바이스에 남아 있는 상황에서의 효율적인 학습을 목표로 한다. 그녀의 학제 간 접근 방식은 IEEE INFOCOM 및 ACM MobiCom과 같은 주요 학술 회의에서 여러 최우수 논문상을 수상하며 인정받았다.
수상 및 인정
초드허리는 구글 리서치 어워드와 스탠포드 대학원 펠로우십을 포함한 다수의 영예를 안았다. 2016년에는 MIT 테크놀로지 리뷰가 선정하는 전기 공학 및 컴퓨터 과학 분야의 라이징 스타로 선정되었다. 그녀의 PaLM 연구는 주요 기술 매체에 소개되었으며, NeurIPS 및 ICML과 같은 저명한 학회에서 초청 연사로 활동했다.
이후 경력 및 영향력
2024년 기준으로, 초드허리는 구글을 떠나 독립적인 연구 및 자문 역할을 수행하며 현장에서 계속 활동하고 있다. 그녀는 특히 교육 및 의료 분야에서 인공지능 도구의 민주화를 위한 이니셔티브에 참여하고 있다. 그녀의 트랜스포머 모델 확장에 대한 통찰력은 오픈AI 및 앤트로픽과 같은 기업의 산업 관행에 영향을 미쳤으며, 이들은 PaLM에서 도입된 아키텍처 혁신을 기반으로 자체 모델을 구축했다.
초드허리의 유산은 엄격한 이론적 분석과 대규모 엔지니어링의 결합에 있다. 그녀의 작업은 생성형 AI의 현대적 풍경을 형성하는 데 기여했으며, 대규모 모델을 더욱 접근 가능하고 효율적으로 만드는 데 중요한 역할을 했다. 그녀는 책임 있는 AI 개발과 딥러닝의 미래에 관한 논의에서 여전히 영향력 있는 목소리로 남아 있다.
주요 논문
- Chowdhery, A., et al. (2022). "PaLM: Scaling Language Modeling with Pathways." arXiv preprint arXiv:2204.02311.
- Chowdhery, A., et al. (2019). "Efficient On-Device Training with Gradient Filtering." Proceedings of the 36th International Conference on Machine Learning (ICML).
- Chowdhery, A., & others. (2016). "Cross-Layer Optimization for Wireless Networks." IEEE Transactions on Information Theory.
이러한 논문들은 그녀가 시스템과 알고리즘 양쪽 모두에 걸친 전문성을 보여주며, 이는 인공지능 분야에서 여전히 드물고 가치 있는 조합이다.