Jeremy Howard es un empresario, investigador y educador australiano conocido por cofundar fast.ai, una plataforma educativa de aprendizaje profundo y biblioteca de código abierto ampliamente utilizada, y por ayudar a crear ULMFiT, un método temprano e influyente de transferencia de aprendizaje para procesamiento del lenguaje natural.
Antes de dedicarse por completo a la IA, Howard fue presidente y científico jefe de Kaggle, la plataforma de competiciones de aprendizaje automático, y fundó Enlitic, una de las primeras empresas en aplicar aprendizaje profundo a la imagenología de diagnóstico médico. Cofundó fast.ai en 2016 junto con Rachel Thomas, creando tanto un curso gratuito en línea, "Practical Deep Learning for Coders", como una biblioteca de software complementaria, con el objetivo explícito de hacer accesible el aprendizaje profundo de vanguardia a programadores sin requerir un trasfondo avanzado en matemáticas.
ULMFiT y transferencia de aprendizaje para PLN
En 2018, Howard y el investigador Sebastian Ruder publicaron ULMFiT (Universal Language Model Fine-tuning), un método para preentrenar un modelo de lenguaje en un corpus de texto general grande y luego ajustarlo de manera económica en una tarea específica posterior con relativamente pocos datos etiquetados. ULMFiT demostró que el enfoque de transferencia de aprendizaje ya estándar en visión por computadora, donde los modelos preentrenados en ImageNet se ajustaban para otras tareas, podía funcionar igual de bien para texto, precediendo a la ola de modelos de lenguaje de preentrenar y luego ajustar que incluyó a BERT y más tarde a modelos de estilo GPT. El artículo es ampliamente citado como un precursor importante del paradigma moderno de modelos de lenguaje grandes.
llms.txt y trabajo posterior
En 2024, Howard ayudó a proponer llms.txt, un estándar simple de archivo de texto colocado en la raíz de un sitio web destinado a dar a los sistemas de IA un resumen conciso y legible por máquina del contenido del sitio, estableciendo una analogía explícita con la convención de larga data robots.txt para rastreadores de búsqueda. La propuesta fue parte de un impulso más amplio para hacer que los sitios web fueran más legibles para los agentes de IA y los chatbots, a medida que una proporción creciente del tráfico web y las citas comenzaron a provenir de sistemas de IA en lugar de la navegación humana directa, un área a veces descrita como optimización para motores generativos.
A lo largo de su carrera, Howard ha enfatizado la enseñanza práctica centrada en el código y las herramientas abiertas sobre los enfoques académicos centrados en la teoría, y los cursos y la biblioteca de fast.ai han sido acreditados por atraer a un gran número de profesionales al campo del aprendizaje profundo que de otro modo no habrían tenido acceso a la formación de nivel de posgrado en aprendizaje automático.