Jeremy Howard é um empreendedor, pesquisador e educador australiano, conhecido por cofundar a fast.ai, uma plataforma de educação em deep learning e biblioteca de código aberto amplamente utilizada, e por ajudar a criar o ULMFiT, um método inicial e influente de aprendizado por transferência para processamento de linguagem natural.
Antes de se dedicar integralmente à IA, Howard foi presidente e cientista-chefe da Kaggle, a plataforma de competições de machine learning, e fundou a Enlitic, uma das primeiras empresas a aplicar aprendizado profundo à imagem diagnóstica médica. Ele cofundou a fast.ai em 2016 com Rachel Thomas, construindo tanto um curso online gratuito, "Practical Deep Learning for Coders", quanto uma biblioteca de software correspondente, com o objetivo explícito de tornar o deep learning de ponta acessível a programadores sem exigir uma formação avançada em matemática.
ULMFiT e aprendizado por transferência para PLN
Em 2018, Howard e o pesquisador Sebastian Ruder publicaram o ULMFiT (Universal Language Model Fine-tuning), um método para pré-treinamento de um modelo de linguagem em um grande corpus de texto geral e, em seguida, ajustá-lo finamente de forma econômica em uma tarefa downstream específica com relativamente poucos dados rotulados. O ULMFiT demonstrou que a abordagem de aprendizado por transferência já padrão em visão computacional, em que modelos pré-treinados em ImageNet eram ajustados para outras tarefas, poderia funcionar igualmente bem para texto, antecedendo a onda de modelos de linguagem pré-treinar-e-ajustar que incluiu o BERT e, posteriormente, os modelos estilo GPT. O artigo é amplamente citado como um precursor importante do paradigma moderno de grandes modelos de linguagem.
llms.txt e trabalhos posteriores
Em 2024, Howard ajudou a propor o llms.txt, um padrão simples de arquivo de texto colocado na raiz de um site, destinado a fornecer aos sistemas de IA um resumo conciso e legível por máquina do conteúdo de um site, traçando uma analogia explícita com a convenção de longa data do robots.txt para rastreadores de busca. A proposta fez parte de um esforço mais amplo para tornar os sites mais legíveis para agentes de IA e chatbots, à medida que uma parcela crescente do tráfego e das citações na web passou a vir de sistemas de IA, em vez de navegação humana direta, uma área às vezes descrita como otimização para mecanismos generativos.
Ao longo de sua carreira, Howard enfatizou o ensino prático, centrado em código, e ferramentas abertas em detrimento de abordagens acadêmicas teóricas, e os cursos e a biblioteca da fast.ai foram creditados por trazer um grande número de profissionais para o campo do deep learning que, de outra forma, não teriam acesso a treinamento em machine learning de nível de pós-graduação.