François Chollet es un ingeniero de software e investigador de IA francés, conocido principalmente por crear Keras, una de las bibliotecas de Deep learning más utilizadas, y por diseñar el punto de referencia ARC-AGI, una prueba ampliamente citada destinada a medir la capacidad de razonamiento general en lugar de la habilidad memorizada.
Chollet trabajó durante muchos años en Google, donde desarrolló Keras a partir de 2015 como una interfaz de alto nivel y fácil de usar para construir redes neuronales, inicialmente ejecutándose sobre TensorFlow y posteriormente adoptada como la API oficial de alto nivel de TensorFlow. Keras se hizo conocido por hacer que el aprendizaje profundo fuera mucho más accesible para los profesionales sin experiencia técnica profunda en sistemas, contribuyendo significativamente al rápido crecimiento del campo a mediados de la década de 2010 junto con PyTorch.
ARC-AGI y la crítica del escalado
En 2019, Chollet publicó el artículo "On the Measure of Intelligence", en el que argumentaba que la mayoría de los puntos de referencia de IA confunden la habilidad en una tarea específica con la inteligencia, y propuso una definición de inteligencia centrada en la eficiencia de adquisición de habilidades: qué tan bien puede un sistema aprender nuevas tareas a partir de muy pocos datos. El artículo introdujo el punto de referencia ARC-AGI, un conjunto de tareas de razonamiento visual similares a rompecabezas que son simples para la mayoría de los humanos, pero que habían demostrado ser muy difíciles de resolver para los sistemas de Machine learning, incluidos los grandes modelos de lenguaje, sin un entrenamiento extenso específico para la tarea. Chollet ha argumentado que ARC-AGI resiste los atajos de memorización y coincidencia de patrones que permiten a los modelos rendir bien en muchos otros puntos de referencia, y ha sido un escéptico público prominente de las afirmaciones de que escalar el Pretraining computacional y los datos por sí solos producirán Artificial general intelligence.
En 2024, Chollet co-lanzó el ARC Prize, una competencia pública con un premio en efectivo para el primer sistema que alcance un rendimiento a nivel humano en el punto de referencia, junto con el emprendedor Mike Knoop. La competencia atrajo participantes que utilizaron tanto modelos de razonamiento a gran escala como enfoques de síntesis de programas, y proporcionó algunas de las evidencias públicas más observadas en el debate sobre qué tan cerca están los sistemas actuales de la inteligencia general.
Trabajo posterior
Chollet dejó Google en 2024 y cofundó Ndea, un laboratorio de investigación que persigue la síntesis de programas y otros enfoques de IA que Chollet ha argumentado que son más prometedores para la generalización genuina que un mayor escalado de los modelos basados en Transformer (architecture) por sí solos. Sigue siendo un comentarista público activo, participando frecuentemente en debates sobre Emergent abilities, Scaling laws y el significado de los resultados de los puntos de referencia en la investigación de IA.