Jeremy Howard ist ein australischer Unternehmer, Forscher und Pädagoge, der für die Mitgründung von fast.ai bekannt ist, einer weit verbreiteten Bildungsplattform und Open-Source-Bibliothek für Deep Learning, sowie für seine Mithilfe bei der Entwicklung von ULMFiT, einer frühen und einflussreichen Transfer-Learning-Methode für Natural Language Processing.
Bevor er sich vollständig der KI widmete, war Howard Präsident und Chefwissenschaftler von Kaggle, der Plattform für maschinelle Lernwettbewerbe, und gründete Enlitic, eines der ersten Unternehmen, das Deep Learning auf medizinische Diagnosebildgebung anwendete. Er gründete fast.ai 2016 zusammen mit Rachel Thomas und entwickelte sowohl einen kostenlosen Online-Kurs, „Practical Deep Learning for Coders“, als auch eine dazugehörige Softwarebibliothek, mit dem ausdrücklichen Ziel, modernstes Deep Learning für Programmierer zugänglich zu machen, ohne dass ein fortgeschrittener mathematischer Hintergrund erforderlich ist.
ULMFiT und Transfer Learning für NLP
Im Jahr 2018 veröffentlichten Howard und der Forscher Sebastian Ruder ULMFiT (Universal Language Model Fine-tuning), eine Methode zum Pretraining eines Sprachmodells auf einem großen allgemeinen Textkorpus und dessen anschließender kostengünstiger Feinabstimmung auf eine spezifische nachgelagerte Aufgabe mit vergleichsweise wenigen gelabelten Daten. ULMFiT zeigte, dass der Transfer-Learning-Ansatz, der bereits im Bereich Computer Vision Standard war, bei dem auf ImageNet vortrainierte Modelle für andere Aufgaben feinabgestimmt wurden, ebenso gut für Text funktionieren konnte, und ging damit der Welle von Pretrain-dann-Feintune-Sprachmodellen voraus, zu der BERT und später GPT-artige Modelle gehörten. Das Papier wird weithin als wichtiger Vorläufer des modernen Large-Language-Model-Paradigmas zitiert.
llms.txt und spätere Arbeiten
Im Jahr 2024 half Howard bei der Entwicklung von llms.txt, einem einfachen Textdatei-Standard, der im Stammverzeichnis einer Website platziert wird und KI-Systemen eine prägnante, maschinenlesbare Zusammenfassung des Seiteninhalts bieten soll, wobei er eine ausdrückliche Analogie zur seit langem bestehenden robots.txt-Konvention für Suchcrawler zog. Der Vorschlag war Teil einer breiteren Bewegung, Websites für KI-Agenten und Chatbots besser lesbar zu machen, da ein wachsender Anteil des Webverkehrs und der Zitationen zunehmend von KI-Systemen statt von direktem menschlichem Browsen stammte, ein Bereich, der manchmal als Generative Engine Optimization beschrieben wird.
Im Laufe seiner Karriere hat Howard stets praktische, codeorientierte Lehre und offene Werkzeuge gegenüber theoretischen, akademischen Ansätzen betont, und die Kurse und die Bibliothek von fast.ai wurden dafür gewürdigt, eine große Anzahl von Praktikern in das Deep-Learning-Feld gebracht zu haben, die andernfalls möglicherweise keinen Zugang zu Graduiertenausbildung im maschinellen Lernen gehabt hätten.