サラ・アルハミシスは、Transformer (architecture)モデルの効率性向上とアラビア語人工知能の進歩に焦点を当てた研究を行う、オープンソースの自然言語処理（NLP）研究者です。彼女の研究は、モデル圧縮、多言語学習、そしてリソースが限られた環境での大規模言語モデルの実用的展開に及びます。彼女は、オープンライセンスの下で再現可能なコードと事前学習済みモデルを公開していることで、Machine learningコミュニティ内で認知されています。
アルハミシスのキャリアは、学術研究と応用工学の交差点に位置し、その貢献はDeep learning理論と実世界のシステムの両方に影響を与えています。彼女の論文は主要なNLP会議に掲載され、その研究は効率的なNeural network設計や低リソース言語処理に関する研究で頻繁に引用されています。
効率的なTransformerアーキテクチャ
アルハミシスの研究の中心的なテーマは、精度を犠牲にすることなくTransformer (architecture)モデルの計算コストを削減することです。2023年に計算言語学会年次大会（ACL）で発表された論文では、タスク性能への貢献度に基づいてアテンションヘッドを選択的に除去する新しいプルーニング手法を導入しました。このアプローチは、GLUEベンチマークで推論時間を35%削減し、MNLIサブセットでは元のモデルのF1スコアの97%以上を維持しました。
2024年に計算言語学会論文集（TACL）で発表された研究では、70億パラメータの教師モデルから13億パラメータの生徒モデルへ知識を転送する層別蒸留技術を提案しました。この手法は、要約タスクにおいて標準的なModel Pruningベースラインを4.2ポイント上回り、メモリ使用量をほぼ半分に削減しました。コードと蒸留済みチェックポイントはGitHubで公開され、20,000回以上ダウンロードされています。
アラビア語NLPへの貢献
アルハミシスは、豊かな形態論と比較的乏しい注釈付きデータを持つ言語であるアラビア語向けのLarge language model開発に多大な努力を注いでいます。2022年には、ニュース、書籍、ウェブフォーラムからの多様なアラビア語テキスト60ギガバイトで事前学習されたオープンソースモデルAraBERTv2の共同リーダーを務めました。このモデルは、アラビア語自然言語理解（ArNLU）ベンチマークで最先端の結果を達成し、Masader評価スイートで従来の多言語モデルを3.8ポイント上回りました。
2023年の論文では、アラビア語と英語を共同で事前学習したモデルが、エジプト方言やレバント方言を含む方言アラビア語タスクで、アラビア語のみで学習した場合と比較して最大6.1 F1ポイントの性能向上を達成できることを実証しました。この研究は、現代標準アラビア語と口語方言が大きく異なる二言語併用環境でのSequence-to-Sequence (Seq2Seq)システム構築に実践的な指針を提供しました。
オープンソースエコシステム
個々の論文に加えて、アルハミシスは再現可能な研究の熱心な提唱者です。彼女は、バイアスと限界を文書化するためのベストプラクティスに従ったトレーニングスクリプト、評価ハーネス、モデルカードの活発なリポジトリを維持しています。2025年にリリースされた、2万件のキュレーションされたデータセットで学習された30億パラメータのアラビア語命令チューニングモデルには、データソースの完全な透明性と失敗モードの詳細な分析が含まれていました。
彼女はまた、言語間でGenerative AIシステムを比較するベンチマーク活動にも貢献しています。2024年に複数の大学の研究者との共同研究で、アラビア語、スワヒリ語、ヒンディー語を含む12言語でモデルをテストする多言語評価プロトコルの設計を支援しました。結果として得られた論文は、非英語言語における重大な性能ギャップを浮き彫りにし、より包括的なトレーニングデータの実践を呼びかけました。
認知と協力
アルハミシスの研究は、ACLと併設された2023年の効率的自然言語処理ワークショップで最優秀論文賞を受賞しました。彼女は、NeurIPSやEMNLPを含むいくつかのトップ会議のプログラム委員会メンバーを務め、学術機関や産業研究所での講演も依頼されています。
彼女の共同研究者にはMIT CSAILとStanford AI Labの研究者が含まれ、効率性と多言語性の交差点を探るプロジェクトで協力しています。また、Google DeepMindやOpenAIの業界チームとも共有ワークショップを通じて関わっていますが、彼女の主な成果はオープンソース領域に留まっています。
現在の方向性
2025年現在、アルハミシスは、モデルが難しいトークンに多くの処理を割り当て、簡単なトークンには少ない処理を割り当てる適応計算手法を調査しています。プレプリントで共有された予備結果は、このような動的ルーティングが質問応答タスクで平均推論コストを22%削減し、完全一致精度を維持できることを示唆しています。彼女はまた、法律や医療テキストなどの専門分野向けの高品質なアラビア語コーパスの不足を緩和するためのData Augmentation技術も探求しています。
オープンサイエンスへの彼女の継続的なコミットメントは、公開された開発ログや、Artificial intelligence分野で過小評価されている背景を持つ大学院生の指導に表れています。彼女は、効率的なモデルは学術的な演習に過ぎず、計算インフラが限られた地域でのAIへのアクセスを民主化するための前提条件であると頻繁に強調しています。
主な出版物
- 「Head Pruning for Efficient Transformers」(ACL 2023)
- 「Layer-wise Distillation for Compact Language Models」(TACL 2024)
- 「AraBERTv2: Scaling Arabic Pre-training」(2022)
- 「Cross-Lingual Transfer for Dialectal Arabic」(2023)
- 「Multilingual Evaluation of Generative Models」(2024)
彼女の研究はGoogle Scholarによると1,200件以上の引用を集めており、学術的および産業的応用の両方に影響を与えています。彼女は引き続きオープンライセンスで出版を続け、その手法とモデルが広範な研究コミュニティにアクセス可能であることを保証しています。