杰里米·霍华德是一位澳大利亚企业家、研究者和教育者,他以联合创办fast.ai而闻名,这是一个广泛使用的深度学习教育平台和开源库,同时他也帮助创建了ULMFiT,这是早期在自然语言处理领域具有影响力的迁移学习方法。
在完全转向人工智能领域之前,霍华德曾担任Kaggle(机器学习竞赛平台)的总裁和首席科学家,并创立了Enlitic,这是最早将深度学习应用于医学影像诊断的公司之一。他于2016年与瑞秋·托马斯共同创办了fast.ai,开发了一门免费在线课程“程序员实用深度学习”以及配套的软件库,其明确目标是让最先进的深度学习技术对程序员开放,而无需深厚的数学背景。
ULMFiT与自然语言处理中的迁移学习
2018年,霍华德与研究员塞巴斯蒂安·鲁德共同发表了ULMFiT(通用语言模型微调),这是一种方法,先在大型通用文本语料库上预训练语言模型,然后以较低成本在特定下游任务上进行微调,所需标注数据相对较少。ULMFiT证明了在计算机视觉中已经成熟的迁移学习方法,,即在ImageNet上预训练模型再针对其他任务进行微调,,同样适用于文本处理,这一成果早于后来包括BERT及之后GPT风格模型在内的预训练-微调语言模型浪潮。该论文被广泛引用,被视为现代大型语言模型范式的重要先驱。
llms.txt与后续工作
2024年,霍华德参与提出了llms.txt标准,这是一种简单的文本文件规范,放置在网站根目录下,旨在为人工智能系统提供简洁、机器可读的站点内容摘要,其设计明确类比了长期以来供搜索引擎爬虫使用的robots.txt约定。该提案是更广泛推动网站对AI代理和聊天机器人更加可读的一部分,因为随着网络流量和引用来源日益来自AI系统而非直接的人类浏览,这一领域有时被称为生成式引擎优化。
在霍华德的整个职业生涯中,他始终强调实践导向、代码优先的教学和开源工具,而非理论优先的学术方法。fast.ai的课程和库被广泛认为帮助大量从业者进入了深度学习领域,而这些人原本可能无法获得研究生级别的机器学习训练机会。