Jeremy Howard는 딥러닝 교육 플랫폼이자 오픈소스 라이브러리인 fast.ai를 공동 창립하고, 초기 전이 학습 방법으로 영향력이 큰 ULMFiT를 만드는 데 기여한 것으로 알려진 호주 출신의 기업가, 연구자, 교육자이다.
AI 분야에 전념하기 전에 Howard는 머신러닝 경쟁 플랫폼인 Kaggle의 사장 겸 수석 과학자였으며, 딥러닝을 의료 진단 영상에 적용한 최초의 기업 중 하나인 Enlitic을 설립했다. 그는 2016년 Rachel Thomas와 함께 fast.ai를 공동 창립하여 무료 온라인 강좌인 "Practical Deep Learning for Coders"와 함께 제공되는 소프트웨어 라이브러리를 구축했으며, 고급 수학 배경 없이도 프로그래머가 최첨단 딥러닝에 접근할 수 있도록 하는 것을 명시적인 목표로 삼았다.
ULMFiT 및 NLP를 위한 전이 학습
2018년, Howard와 연구자 Sebastian Ruder는 ULMFiT(Universal Language Model Fine-tuning)를 발표했다. 이는 대규모 일반 텍스트 말뭉치에서 사전 학습된 언어 모델을 비교적 적은 양의 레이블된 데이터로 특정 하위 작업에 저비용으로 미세 조정하는 방법이다. ULMFiT는 컴퓨터 비전에서 이미 표준이었던 전이 학습 접근 방식, 즉 ImageNet에서 사전 학습된 모델을 다른 작업에 미세 조정하는 방식이 텍스트에서도 동일하게 잘 작동할 수 있음을 입증했으며, 이는 BERT와 이후 GPT 스타일 모델을 포함한 사전 학습 후 미세 조정 언어 모델의 물결을 앞질렀다. 이 논문은 현대 대규모 언어 모델 패러다임의 중요한 선구자로 널리 인용된다.
llms.txt 및 이후 작업
2024년, Howard는 웹사이트 루트에 배치되어 AI 시스템에 사이트 콘텐츠의 간결하고 기계가 읽을 수 있는 요약을 제공하기 위한 단순한 텍스트 파일 표준인 llms.txt를 제안하는 데 기여했으며, 검색 크롤러를 위한 오랜 규칙인 robots.txt 관례와의 명시적 유사성을 끌어냈다. 이 제안은 AI 에이전트와 챗봇이 웹사이트를 더 잘 이해할 수 있도록 만들기 위한 더 넓은 노력의 일부였으며, 이는 웹 트래픽과 인용의 상당 부분이 직접적인 인간 브라우징이 아닌 AI 시스템에서 발생하기 시작하면서 때때로 생성형 엔진 최적화로 설명되는 영역이다.
Howard는 경력 전반에 걸쳐 이론 우선의 학문적 접근보다 실용적이고 코드 우선의 교육과 개방형 도구를 강조해 왔으며, fast.ai의 강좌와 라이브러리는 대학원 수준의 머신러닝 교육에 접근할 수 없었을 많은 실무자들을 딥러닝 분야로 끌어들인 것으로 평가받고 있다.