Hannaneh Hajishirzi는 워싱턴 대학교 폴 G. 앨런 컴퓨터 과학 및 공학 대학의 교수이자 앨런 인공지능 연구소(AI2)의 선임 연구 총괄이다. 그녀의 연구는 자연어 처리, 대규모 언어 모델, 기계 추론에 초점을 맞추며, 질문 응답, 의미 구문 분석, 효율적인 모델 아키텍처에 기여했다.
Hajishirzi는 2010년 일리노이 대학교 어배너-샴페인에서 컴퓨터 과학 박사 학위를 받았으며, 그래프 기반 문제와 자연어 이해를 위한 알고리즘을 연구했다. 이후 워싱턴 대학교에서 박사후 연구를 마치고 2014년 그곳의 교수진으로 합류했다. AI2에서 그녀는 과학적 추론을 위한 오픈소스 언어 모델과 도구를 개발하는 Mosaic 팀을 이끌고 있다.
초기 경력 및 교육
Hajishirzi는 2003년 이란 테헤란의 샤리프 공과대학교에서 컴퓨터 공학 학사 학위를 받았다. 그녀는 대학원 연구를 위해 미국으로 건너가 2006년 일리노이 대학교에서 석사 학위를, 2010년 박사 학위를 받았다. 그녀의 박사 논문은 자연어 처리의 조합 최적화를 다루었으며, 신경망 방법을 의미 역할 표지와 상호참조 해결에 적용했다.
박사 학위 후 그녀는 워싱턴 대학교의 박사후 연구원으로 합류하여 텍스트 이해를 위한 머신 러닝 접근법을 연구하는 연구자들과 협력했다. 2014년 조교수가 되었고, 이후 2020년 종신 재직권과 부교수 승진을, 2024년 정교수 승진을 받았다.
연구 기여
Hajishirzi의 연구는 NLP의 여러 영역에 걸쳐 있다. 그녀는 긴 문서를 효율적으로 처리하기 위해 주의 메커니즘을 확장한 Transformer 기반 아키텍처인 Longformer를 공동 개발했다. 2020년에 소개된 이 모델은 수천 개의 토큰으로 구성된 텍스트 처리를 가능하게 하여 표준 트랜스포머의 주요 한계를 해결했다.
그녀는 또한 여러 데이터셋에서 훈련되어 다양한 형식에 걸쳐 일반화되는 질문 응답 시스템인 UnifiedQA 모델 개발에도 기여했다. AI2의 그녀의 팀은 지시 튜닝과 추론 작업을 위해 설계된 오픈소스 대규모 언어 모델 시리즈인 Tulu를 만들었다. 이 모델들은 학술 연구와 산업 응용에서 널리 사용되었다.
Hajishirzi는 ACL, EMNLP, NeurIPS와 같은 주요 학회에서 100편 이상의 논문을 발표했다. 의미 구문 분석과 지식 그래프 추론에 대한 그녀의 연구는 AI 시스템이 구조화된 지식을 표현하고 질의하는 방식에 영향을 미쳤다.
수상 및 인정
2021년 Hajishirzi는 견고하고 해석 가능한 NLP 시스템에 대한 연구로 국립과학재단 CAREER 상을 받았다. 그녀는 2023년 전산언어학회 펠로우로 선정되어 해당 분야에 대한 기여를 인정받았다. Longformer 논문은 2020년 NLP 표현 학습 워크숍에서 최우수 논문상을 수상했다.
그녀는 또한 멘토링으로 인정을 받아 2019년 워싱턴 대학교의 우수 교수상을 받았다. 그녀의 학생들은 주요 기술 기업과 연구소의 직책으로 진출했다.
현재 연구 및 영향
AI2에서 Hajishirzi는 효율적이고 투명한 언어 모델 구축에 초점을 맞춘 Mosaic 이니셔티브를 이끌고 있다. 팀은 2024년 OLMo(오픈 언어 모델) 시리즈를 출시하여 훈련 데이터와 코드가 포함된 완전한 오픈소스 모델을 제공했다. 이 노력은 OpenAI 및 Google DeepMind와 같은 기업의 독점 시스템과 대조되는 대규모 언어 모델 기술에 대한 접근성을 민주화하는 것을 목표로 한다.
Hajishirzi의 연구는 AI 안전성과 평가도 다룬다. 그녀는 모델의 추론 능력과 사실적 정확성을 측정하기 위한 벤치마크를 개발하여 생성형 AI 한계에 대한 더 넓은 이해에 기여했다. 검색 증강 생성에 대한 그녀의 연구는 모델이 외부 지식을 통합하는 방식을 개선했다.
그녀는 주요 NLP 저널의 편집 위원회에서 활동하며 효율적인 NLP에 관한 여러 워크숍을 조직했다. 그녀의 협력은 학계와 산업계에 걸쳐 있으며, 아마존 웹 서비스 및 인텔과의 하드웨어 인지 모델 설계 파트너십을 포함한다.
주요 논문
- Beltagy, I., Peters, M. E., & Hajishirzi, H. (2020). Longformer: The Long-Document Transformer. arXiv preprint.
- Khashabi, D., et al. (2020). UnifiedQA: Crossing Format Boundaries With a Single QA System. Findings of EMNLP.
- Groeneveld, D., et al. (2024). OLMo: Accelerating the Science of Language Models. arXiv preprint.
그녀의 인용 횟수는 20,000회를 초과하며, 이는 현대 NLP 연구와 응용에 대한 그녀의 연구의 광범위한 영향을 반영한다.