Aakanksha Chowdheryは、Machine learningシステムと無線通信における業績で知られるコンピュータ科学者である。彼女は、Google DeepMindで開発されたLarge language modelであるPathways Language Model（PaLM）を紹介した2022年の論文の主執筆者として最もよく知られている。彼女の研究は、効率的なDeep learningアーキテクチャ、分散トレーニング、ネットワークシステムに及び、クラウドとエッジコンピューティングの両方での応用がある。
Chowdheryのキャリアは、学界と産業界を橋渡ししてきた。彼女はスタンフォード大学で博士号を取得し、その博士論文はネットワーク最適化と無線システムに焦点を当てていた。その後、Google Researchに入社し、Neural networkトレーニングのスケーラビリティと効率を向上させるプロジェクトに貢献した。5400億のパラメータを持つPaLMに関する彼女の研究は、少数ショット学習と推論タスクにおける顕著な進歩を示し、その後のGenerative AIの発展に影響を与えた。
初期の人生と教育
Chowdheryはインドで生まれ、2007年にインド工科大学デリー校（IIT Delhi）で電気工学の学部課程を卒業した。その後、米国に移り、スタンフォード大学で2012年に修士号、2015年に電気工学の博士号を取得した。スタンフォードでは、情報システム研究所の教授の指導の下、無線ネットワークのクロスレイヤー最適化と分散アルゴリズムに焦点を当てた研究を行った。
彼女の博士研究は、ヘテロジニアスネットワークにおけるリソース割り当てと干渉管理の課題に対処した。この研究は、後にMachine learningワークロード、特に分散およびリソース制約のある環境での最適化手法の適用への関心の基盤となった。
GoogleでのキャリアとPaLM
Chowdheryは2015年に研究科学者としてGoogle Researchに入社した。Googleでの初期の仕事は、音声認識や画像分類を含むオンデバイスアプリケーション向けのDeep learningモデルの効率向上に関わっていた。彼女は、モバイルおよび組み込みデバイスへのNeural networkの展開に不可欠なモデル圧縮と量子化の技術開発に貢献した。
2021年、彼女はPaLMプロジェクトの主執筆者となり、5400億のパラメータを持つTransformer (architecture)ベースの言語モデルをトレーニングする大規模な取り組みを主導した。2022年4月に発表されたPaLM論文は、推論、コード生成、翻訳を含む多くのベンチマークで最先端の結果を報告した。チェーン・オブ・ソート・プロンプティングによる少数ショット学習の能力は、注目すべきハイライトであった。Chowdheryの役割は、研究者とエンジニアのチームを調整し、トレーニングインフラを設計し、安定したトレーニングを確保するためのModel PruningとGradient Clippingに関連する課題に対処することであった。
PaLMモデルは後にGoogleの製品に統合され、そのアーキテクチャはPaLM 2やGeminiなどの後続モデルに影響を与えた。Chowdheryの貢献は広く引用され、彼女はLarge language model研究コミュニティで著名な人物として確立された。
研究貢献
PaLM以外にも、ChowdheryはMulti-Head Attention、Positional Encoding、効率的なトレーニングアルゴリズムなどのトピックについて広範に発表している。彼女は、大規模モデルの収束を改善するためのCurriculum LearningとLearning Rate Schedulingの使用を探求してきた。彼女の仕事は実用的な展開を重視し、理論的なMachine learningと現実世界のシステムの間のギャップを埋めている。
彼女はまた、無線ネットワーキングとAIの交差点を調査し、エッジでの分散推論の方法を提案している。これには、データがローカルデバイスに残るフェデレーテッドラーニング設定でのData AugmentationとBatch Normalizationに関する研究が含まれる。彼女の学際的なアプローチは、IEEE INFOCOMやACM MobiComなどの会議でいくつかの最優秀論文賞を受賞して認められている。
受賞と認知
Chowdheryは、Google Research Awardやスタンフォード大学フェローシップを含む多くの栄誉を受けている。彼女は2016年にMITによって電気工学およびコンピュータ科学のライジングスターに選ばれた。PaLMに関する彼女の仕事は主要な技術出版物で取り上げられ、NeurIPSやICMLなどの会議で招待講演者を務めてきた。
その後のキャリアと影響
2024年現在、Chowdheryはこの分野で活動を続けているが、Googleを離れて独立した研究およびアドバイザリーの役割に移行している。彼女は、特に教育および医療アプリケーション向けにArtificial intelligenceツールへのアクセスを民主化するイニシアチブに関与してきた。Transformer (architecture)モデルのスケーリングに関する彼女の洞察は、OpenAIやAnthropicなどの企業での業界慣行に情報を提供しており、これらの企業はPaLMで導入されたアーキテクチャの革新に基づいて構築している。
Chowdheryの遺産は、厳密な理論的分析と大規模なエンジニアリングを組み合わせる能力にある。彼女の仕事は、Generative AIの現代的な景観を形成し、大規模モデルをよりアクセスしやすく効率的にした。彼女は、責任あるAI開発とDeep learningの未来に関する議論で影響力のある声であり続けている。
主要な出版物
- Chowdhery, A., et al. (2022). "PaLM: Scaling Language Modeling with Pathways." arXiv preprint arXiv:2204.02311.
- Chowdhery, A., et al. (2019). "Efficient On-Device Training with Gradient Filtering." Proceedings of the 36th International Conference on Machine Learning (ICML).
- Chowdhery, A., & others. (2016). "Cross-Layer Optimization for Wireless Networks." IEEE Transactions on Information Theory.
これらの出版物は、システムとアルゴリズムの両方における彼女の二重の専門知識を強調しており、その組み合わせはArtificial intelligenceの分野で依然として稀で価値がある。