François Chollet은 Keras를 만든 것으로 가장 잘 알려진 프랑스의 소프트웨어 엔지니어이자 AI 연구자로, Keras는 가장 널리 사용되는 Deep learning 라이브러리 중 하나이며, 암기된 기술이 아닌 일반 추론 능력을 측정하기 위해 설계된 널리 인용되는 테스트인 ARC-AGI 벤치마크를 설계한 것으로도 유명하다.
Chollet은 Google에서 수년간 근무했으며, 2015년부터 신경망 구축을 위한 고수준의 사용자 친화적 인터페이스로 Keras를 개발하기 시작했고, 처음에는 TensorFlow 위에서 실행되었으며 이후 TensorFlow의 공식 고수준 API로 채택되었다. Keras는 딥러닝을 시스템 전문 지식이 없는 실무자에게 훨씬 더 접근하기 쉽게 만든 것으로 알려졌으며, 2010년대 중반 PyTorch와 함께 해당 분야의 급속한 성장에 크게 기여했다.
ARC-AGI와 스케일링에 대한 비판
2019년 Chollet은 "지능의 측정에 관하여"라는 논문을 발표했는데, 이 논문은 대부분의 AI 벤치마크가 좁은 작업에 대한 기술을 지능과 혼동한다고 주장하고, 기술 습득 효율성, 즉 시스템이 매우 적은 데이터로 새로운 작업을 얼마나 잘 학습할 수 있는지에 초점을 맞춘 지능의 정의를 제안했다. 이 논문은 ARC-AGI 벤치마크를 소개했는데, 이는 대부분의 인간에게는 단순하지만 Machine learning 시스템, 특히 대규모 언어 모델이 광범위한 작업별 훈련 없이 해결하기에는 매우 어려운 것으로 입증된 시각적 퍼즐 유형의 추론 작업 모음이다. Chollet은 ARC-AGI가 모델이 다른 많은 벤치마크에서 좋은 성능을 내도록 하는 암기 및 패턴 매칭 지름길에 저항한다고 주장해 왔으며, Pretraining 계산과 데이터만 확장하면 Artificial general intelligence이 생성될 것이라는 주장에 대해 저명한 공개 회의론자였다.
2024년 Chollet은 기업가 Mike Knoop과 함께 벤치마크에서 인간 수준의 성능에 도달하는 첫 번째 시스템에 현금 상금을 수여하는 공개 경쟁인 ARC Prize를 공동 출범시켰다. 이 경쟁에는 대규모 추론 모델과 프로그램 합성 접근 방식을 모두 사용하는 참가자들이 몰렸으며, 현재 시스템이 일반 지능에 얼마나 가까운지에 대한 논쟁에서 가장 주목받는 공개 증거 중 일부를 제공했다.
이후 작업
Chollet은 2024년 Google을 떠나 Ndea를 공동 설립했으며, 이 연구소는 Chollet이 Transformer (architecture) 기반 모델의 추가 확장보다 진정한 일반화에 더 유망하다고 주장해 온 프로그램 합성 및 기타 AI 접근 방식을 추구한다. 그는 여전히 활발한 공개 논평가로, Emergent abilities, Scaling laws, AI 연구에서 벤치마크 결과의 의미에 대한 논쟁에 자주 참여하고 있다.