사라 알카미시(Sarah AlKhamissi)는 Transformer (architecture) 모델의 효율성 개선과 아랍어 인공지능 발전에 초점을 맞춘 오픈소스 자연어 처리(NLP) 연구자이다. 그녀의 연구는 모델 압축, 다국어 학습, 자원이 제한된 환경에서의 대규모 언어 모델 실용적 배포에 걸쳐 있다. 그녀는 Machine learning 커뮤니티에서 오픈 라이선스로 재현 가능한 코드와 사전 훈련된 모델을 공개한 것으로 인정받고 있다.
알카미시의 경력은 학술 연구와 응용 엔지니어링의 교차점에 있으며, 그녀의 기여는 Deep learning 이론과 실제 시스템 모두에 영향을 미쳤다. 그녀의 논문은 주요 NLP 학회에 게재되며, 효율적인 Neural network 설계 및 저자원 언어 처리 연구에서 자주 인용된다.
효율적인 트랜스포머 아키텍처
알카미시 연구의 핵심 주제 중 하나는 정확도를 희생하지 않으면서 Transformer (architecture) 모델의 계산 비용을 줄이는 것이다. 2023년 ACL(Association for Computational Linguistics) 연례 회의에서 발표된 논문에서 그녀는 작업 성능에 대한 기여도를 기준으로 어텐션 헤드를 선택적으로 제거하는 새로운 프루닝 방법을 소개했다. 이 접근 방식은 GLUE 벤치마크에서 추론 시간을 35% 줄이면서 MNLI 하위 집합에서 원래 모델 F1 점수의 97% 이상을 유지했다.
그녀의 2024년 연구는 TACL(Transactions of the Association for Computational Linguistics)에 게재되었으며, 70억 파라미터 교사 모델에서 13억 파라미터 학생 모델로 지식을 전이하는 계층별 증류 기법을 제안했다. 이 방법은 요약 작업에서 표준 Model Pruning 기준선보다 4.2포인트 개선되었으며 메모리 사용량은 거의 절반으로 줄였다. 코드와 증류된 체크포인트는 GitHub에 공개되었으며 2만 회 이상 다운로드되었다.
아랍어 NLP 기여
알카미시는 풍부한 형태론과 상대적으로 부족한 주석 데이터를 가진 언어인 아랍어를 위한 Large language model 개발에 상당한 노력을 기울였다. 2022년 그녀는 뉴스, 서적, 웹 포럼에서 수집한 60기가바이트의 다양한 아랍어 텍스트로 사전 훈련된 오픈소스 모델인 AraBERTv2의 공동 개발을 주도했다. 이 모델은 아랍어 자연어 이해(ArNLU) 벤치마크에서 최첨단 결과를 달성했으며, Masader 평가 스위트에서 기존 다국어 모델보다 3.8포인트 우수한 성능을 보였다.
그녀의 2023년 교차 언어 전이 논문은 아랍어와 영어를 함께 사전 훈련한 모델이 이집트 아랍어와 레반트 아랍어를 포함한 방언 아랍어 작업에서 아랍어 단독 훈련보다 최대 6.1 F1 포인트 향상된 성능을 낼 수 있음을 입증했다. 이 연구는 현대 표준 아랍어와 구어 방언이 크게 다른 이중언어 상황에서 Sequence-to-Sequence (Seq2Seq) 시스템을 구축하기 위한 실용적 지침을 제공했다.
오픈소스 생태계
개별 논문 외에도 알카미시는 재현 가능한 연구를 위한 적극적인 옹호자이다. 그녀는 편향과 한계를 문서화하기 위한 모범 사례를 따르는 훈련 스크립트, 평가 하네스, 모델 카드의 활성 저장소를 유지 관리한다. 그녀의 2025년 30억 파라미터 아랍어 명령 튜닝 모델 출시는 200만 개 예제의 선별된 데이터셋으로 훈련되었으며, 데이터 출처에 대한 완전한 투명성과 실패 모드에 대한 상세한 분석을 포함했다.
그녀는 또한 언어 전반에 걸친 Generative AI 시스템을 비교하는 벤치마킹 노력에 기여했다. 2024년 여러 대학의 연구자들과의 공동 연구에서 그녀는 아랍어, 스와힐리어, 힌디어를 포함한 12개 언어로 모델을 테스트하는 다국어 평가 프로토콜 설계를 도왔다. 결과 논문은 비영어 언어에서의 상당한 성능 격차를 강조하고 더 포용적인 훈련 데이터 관행을 촉구했다.
인정과 협력
알카미시의 연구는 ACL과 공동 개최된 2023년 효율적 자연어 처리 워크숍에서 최우수 논문상을 수상하며 인정받았다. 그녀는 NeurIPS와 EMNLP를 포함한 여러 최상위 학회의 프로그램 위원으로 활동했으며, 학술 기관과 산업 연구소에서 강연을 초청받았다.
그녀의 협력자에는 MIT CSAIL과 Stanford AI Lab의 연구자들이 포함되며, 효율성과 다국어의 교차점을 탐구하는 프로젝트에서 함께 작업했다. 또한 Google DeepMind와 OpenAI의 산업 팀과 공동 워크숍을 통해 교류했지만, 그녀의 주요 산출물은 여전히 오픈소스 영역에 있다.
현재 방향
2025년 현재 알카미시는 모델이 어려운 토큰에 더 많은 처리를 할당하고 쉬운 토큰에는 더 적게 할당할 수 있게 하는 적응형 계산 방법을 연구하고 있다. 사전 인쇄본으로 공유된 그녀의 예비 결과는 이러한 동적 라우팅이 질문 응답 작업에서 평균 추론 비용을 22% 줄이면서 정확 일치 정확도를 유지할 수 있음을 시사한다. 그녀는 또한 Data Augmentation 기법이 법률 및 의료 텍스트와 같은 전문 분야를 위한 고품질 아랍어 말뭉치의 부족을 완화할 수 있는 방법을 탐구하고 있다.
공개 개발 로그와 Artificial intelligence 분야에서 소외된 배경의 대학원생 멘토링에서 그녀의 지속적인 오픈 사이언스 헌신이 드러난다. 그녀는 효율적인 모델이 단순한 학문적 연습이 아니라 계산 인프라가 제한된 지역에서 AI 접근성을 민주화하기 위한 전제 조건이라고 자주 강조한다.
주요 논문
- "Head Pruning for Efficient Transformers" (ACL 2023)
- "Layer-wise Distillation for Compact Language Models" (TACL 2024)
- "AraBERTv2: Scaling Arabic Pre-training" (2022)
- "Cross-Lingual Transfer for Dialectal Arabic" (2023)
- "Multilingual Evaluation of Generative Models" (2024)
그녀의 연구는 Google Scholar에 따르면 1,200회 이상 인용되었으며, 이는 학술 및 산업 응용 모두에 미친 영향을 반영한다. 그녀는 계속해서 오픈 라이선스로 출판하여 그녀의 방법과 모델이 더 넓은 연구 커뮤니티에 접근 가능한 상태를 유지하도록 보장한다.