Jeremy Howard est un entrepreneur, chercheur et éducateur australien, connu pour avoir cofondé fast.ai, une plateforme d'éducation en deep learning et une bibliothèque open source largement utilisées, ainsi que pour avoir contribué à la création d'ULMFiT, une méthode précoce et influente de transfert d'apprentissage pour le traitement du langage naturel.
Avant de se consacrer pleinement à l'IA, Howard a été président et scientifique en chef de Kaggle, la plateforme de compétitions en apprentissage automatique, et a fondé Enlitic, l'une des premières entreprises à appliquer le deep learning à l'imagerie médicale diagnostique. Il a cofondé fast.ai en 2016 avec Rachel Thomas, créant à la fois un cours en ligne gratuit, « Practical Deep Learning for Coders », et une bibliothèque logicielle associée, avec l'objectif explicite de rendre le deep learning de pointe accessible aux programmeurs sans exiger de formation avancée en mathématiques.
ULMFiT et transfert d'apprentissage pour le NLP
En 2018, Howard et le chercheur Sebastian Ruder ont publié ULMFiT (Universal Language Model Fine-tuning), une méthode pour pré-entraîner un modèle de langue sur un grand corpus de texte général, puis l'affiner à moindre coût sur une tâche spécifique en aval avec relativement peu de données étiquetées. ULMFiT a démontré que l'approche de transfert d'apprentissage, déjà standard en vision par ordinateur, où des modèles pré-entraînés sur ImageNet étaient affinés pour d'autres tâches, pouvait fonctionner tout aussi bien pour le texte, précédant la vague de modèles de langue pré-entraînés puis affinés, incluant BERT et plus tard les modèles de type GPT. L'article est largement cité comme un précurseur important du paradigme moderne des grands modèles de langue.
llms.txt et travaux ultérieurs
En 2024, Howard a contribué à proposer llms.txt, une norme simple de fichier texte placé à la racine d'un site web, destinée à fournir aux systèmes d'IA un résumé concis et lisible par machine du contenu du site, établissant une analogie explicite avec la convention de longue date robots.txt pour les robots d'indexation. Cette proposition s'inscrivait dans une initiative plus large visant à rendre les sites web plus lisibles pour les agents IA et les chatbots, alors qu'une part croissante du trafic web et des citations commençait à provenir de systèmes d'IA plutôt que de la navigation humaine directe, un domaine parfois décrit comme optimisation pour les moteurs génératifs.
Tout au long de sa carrière, Howard a mis l'accent sur un enseignement pratique, axé sur le code, et sur des outils ouverts, plutôt que sur des approches académiques théoriques, et les cours et la bibliothèque de fast.ai ont été crédités d'avoir attiré un grand nombre de praticiens dans le domaine du deep learning qui n'auraient pas autrement eu accès à une formation en apprentissage automatique de niveau supérieur.