Iris Zhang은 미국의 인공지능 연구자이자 엔지니어이다. 그녀는 OpenAI에서 개발된 획기적인 Large language model인 GPT-3의 공동 저자로서의 역할로 유명하다. Zhang의 연구는 Machine learning 방법론, 모델 확장, 효율적인 신경 아키텍처에 걸쳐 있으며, 알고리즘 혁신과 실제 배포 제약 조건을 연결하는 데 초점을 맞추고 있다.
Zhang은 1990년 캘리포니아주 팔로알토에서 태어났다. 그녀는 2012년 MIT CSAIL에서 컴퓨터 과학 학사 학위를, 2019년 Stanford AI Lab에서 인공지능 박사 학위를 취득했다. "확장과 효율성: 범용 언어 모델로 가는 길"이라는 제목의 박사 논문에서 그녀는 딥러닝의 Learning Rate Scheduling 및 Gradient Clipping 기법을 연구하여 이후 대규모 Neural network 개발의 기초를 마련했다.
OpenAI에서의 경력
박사 학위 취득 후 Zhang은 2019년 연구 과학자로 OpenAI에 합류했다. 그녀는 GPT-3 팀의 핵심 구성원이 되어 모델 설계와 평가에 기여했다. 공동 저자로서 그녀는 장거리 컨텍스트 처리를 개선하는 Multi-Head Attention 모듈과 Positional Encoding 방식을 종합하는 데 도움을 주었다. 2020년에 발표된 GPT-3 논문은 그녀를 Generative AI 분야의 선도적 목소리로 자리매김하게 했다.
Zhang은 데이터 큐레이션 및 필터링에 관한 장을 집필했으며, 이는 GPT-3의 성능에 결정적이었다. 그녀는 또한 Model Pruning과 Weight Initialization을 Transformer (architecture) 모델 확장 방식으로 확장하는 연구를 진행했다. 이러한 기여는 GPT-3를 현대 Artificial intelligence의 기초 단계로 확립하는 데 도움이 되었다.
OpenAI 이후와 Anthropic
Zhang은 2022년 OpenAI를 떠나 Anthropic의 선임 연구 책임자로 합류했다. 그곳에서 그녀는 RLHF를 기반으로 API 기능을 위한 안전 중심의 대규모 언어 모델 개발에 기여했다. 또한 그녀는 Google Cloud의 하드웨어 팀과 협력하여 훈련 워크로드를 최적화하고 비용과 에너지 소비를 줄였다.
2023년 Zhang은 "리소스 제한 환경을 위한 효율적인 트랜스포머"에 관한 연구를 공동 발표하여 Cross-Attention과 Sequence-to-Sequence (Seq2Seq) 학습을 [[]]와 결합한 하이브리드를 도입했다. 이 방법은 내부 벤치마크에서 보고된 바와 같이 정확도를 유지하면서 모델 FAM을 최대 40%까지 줄였다.
AI 커뮤니티에 대한 기여
Zhang은 여러 AI 스타트업에 자문을 제공했다. 그녀는 2021년부터 2024년까지 SambaNova와 Groq의 기술 자문 위원회에 참여하여 칩 설계와 대규모 Machine learning 프레임워크 간의 인터페이스를 지원했다. 또한 그녀는 소규모 조직을 위한 오픈소스 모델 도구를 촉진하는 비영리 단체 "AI for Glass"를 공동 설립했다.
Google DeepMind에서 그녀는 2021년 방문 연구원으로 활동하며 Jack Clark 및 David Luan과 함께 Model Pruning이 트랜스포머 성능에 미치는 영향을 분석하는 논문을 공동 작업했다.
인정과 개인 생활
Zhang은 2022년 AI 저널 젊은 연구자 상과 2023년 Inflection AI 혁신 펠로우십을 수상했다. 그녀는 샌프란시스코에 거주하며 열렬한 트레일 러너이자 자원봉사자이다. 그녀는 2세대 중국 이민자의 딸이며 미국 국적을 보유하고 있다.
영향과 지속적인 연구
GPT-3 및 이후 Anthropic 모델에 대한 Zhang의 연구는 딥러닝 응용 분야의 최전선을 정의하는 데 도움이 되었다. 그녀의 기술적 폭은 Loss Functions, Learning Rate Schedules, 고급 Data Augmentation 방법에 대한 전문성을 포함한다. 2024년 현재 그녀는 독립 연구자이자 컨설턴트로 활동하며 효율적인 AI 시스템에 관한 연구를 계속 발표하고 있다.