Jeremy Howardは、オーストラリアの起業家、研究者、教育者であり、広く使われている深層学習教育プラットフォームおよびオープンソースライブラリであるfast.aiの共同設立者として知られ、また初期の影響力のある転移学習手法であるULMFiTの自然言語処理への応用を支援したことでも知られている。
AIに完全に転向する前、Howardは機械学習コンペティションプラットフォームであるKaggleの社長兼最高科学責任者を務め、医療診断画像に深層学習を適用した最初の企業の一つであるEnliticを設立した。2016年にはRachel Thomasと共にfast.aiを共同設立し、無料のオンラインコース「Practical Deep Learning for Coders」とそれに付随するソフトウェアライブラリを構築し、高度な数学的背景を必要とせずに最先端の深層学習をプログラマーに利用可能にするという明確な目標を掲げた。
ULMFiTとNLPのための転移学習
2018年、Howardと研究者のSebastian RuderはULMFiT（Universal Language Model Fine-tuning）を発表した。これは、大規模な一般的テキストコーパスで事前学習した言語モデルを、比較的少ないラベル付きデータで特定の下流タスクに安価に微調整する手法である。ULMFiTは、コンピュータビジョンで既に標準的だった転移学習アプローチ（ImageNetで事前学習したモデルを他のタスクに微調整する方法）が、テキストにも同様に機能することを実証し、BERTや後のGPTスタイルモデルを含む事前学習・微調整型言語モデルの波を先取りした。この論文は、現代の大規模言語モデルパラダイムへの重要な前駆として広く引用されている。
llms.txtとその後の活動
2024年、Howardはllms.txtの提案を支援した。これは、ウェブサイトのルートに配置される単純なテキストファイル標準であり、AIシステムにサイトの内容の簡潔で機械可読な要約を提供することを目的とし、検索クローラー向けの長年のrobots.txt慣行との明確な類推を引き出した。この提案は、ウェブトラフィックと引用の増加する割合が直接的な人間の閲覧ではなくAIシステムから来るようになる中、ウェブサイトをAIエージェントやチャットボットにより読み取り可能にするという広範な取り組みの一部であり、時折生成エンジン最適化と表現される分野である。
Howardはキャリアを通じて、理論優先の学術的アプローチよりも実践的でコード優先の教育とオープンなツールを強調してきた，fast.aiのコースとライブラリは、大学院レベルの機械学習トレーニングへのアクセスがなかったかもしれない多くの実務者を深層学習分野に引き込んだと評価されている。