François Chollet é um engenheiro de software francês e pesquisador de IA, mais conhecido por criar o Keras, uma das bibliotecas de Deep learning mais amplamente utilizadas, e por projetar o benchmark ARC-AGI, um teste amplamente citado, destinado a medir a capacidade de raciocínio geral em vez de habilidades memorizadas.
Chollet trabalhou por muitos anos no Google, onde desenvolveu o Keras a partir de 2015 como uma interface de alto nível e fácil de usar para a construção de redes neurais, inicialmente executado sobre o TensorFlow e posteriormente adotado como a API oficial de alto nível do TensorFlow. O Keras tornou-se conhecido por tornar o deep learning muito mais acessível a profissionais sem profundo conhecimento de sistemas, contribuindo significativamente para o rápido crescimento do campo em meados da década de 2010, ao lado do PyTorch.
ARC-AGI e a crítica ao escalonamento
Em 2019, Chollet publicou o artigo "On the Measure of Intelligence", no qual argumentou que a maioria dos benchmarks de IA confunde habilidade em uma tarefa específica com inteligência, e propôs uma definição de inteligência centrada na eficiência de aquisição de habilidades: quão bem um sistema pode aprender novas tarefas a partir de muito poucos dados. O artigo introduziu o benchmark ARC-AGI, um conjunto de tarefas de raciocínio visual semelhantes a quebra-cabeças, que são simples para a maioria dos humanos, mas que se mostraram muito difíceis para sistemas de Machine learning, incluindo grandes modelos de linguagem, de resolver sem treinamento extensivo específico para a tarefa. Chollet argumentou que o ARC-AGI resiste aos atalhos de memorização e correspondência de padrões que permitem que os modelos tenham bom desempenho em muitos outros benchmarks, e tem sido um cético público proeminente das alegações de que escalar o pré-treinamento em computação e dados sozinho produzirá inteligência artificial geral.
Em 2024, Chollet co-lançou o ARC Prize, uma competição pública com prêmio em dinheiro para o primeiro sistema a alcançar desempenho de nível humano no benchmark, juntamente com o empreendedor Mike Knoop. A competição atraiu inscrições usando tanto modelos de raciocínio em larga escala quanto abordagens de síntese de programas, e forneceu algumas das evidências públicas mais acompanhadas no debate sobre o quão próximos os sistemas atuais estão da inteligência geral.
Trabalho posterior
Chollet deixou o Google em 2024 e co-fundou a Ndea, um laboratório de pesquisa que busca síntese de programas e outras abordagens de IA que Chollet argumentou serem mais promissoras para a generalização genuína do que o escalonamento adicional de modelos baseados em Transformer (architecture) sozinhos. Ele permanece um comentarista público ativo, frequentemente envolvido em debates sobre habilidades emergentes, leis de escalonamento e o significado dos resultados de benchmarks na pesquisa de IA.