Gary Marcus est un scientifique cognitif américain, entrepreneur et auteur, et l'un des critiques publics les plus éminents de l'affirmation selon laquelle la mise à l'échelle du apprentissage profond et des grands modèles de langage à elle seule mènera à une intelligence humaine ou générale.
Marcus est professeur émérite de psychologie et de science neuronale à l'Université de New York, où ses premières recherches portaient sur l'acquisition du langage et le développement cognitif chez les enfants, des travaux qui ont façonné ses arguments ultérieurs selon lesquels l'intelligence humaine repose sur une structure innée et un raisonnement compositionnel qui manquent aux réseaux neuronaux par correspondance de motifs. Il a fondé Geometric Intelligence, une startup d'apprentissage automatique, en 2014 ; l'entreprise a été acquise par Uber en 2016 pour aider à fonder le laboratoire de recherche en IA d'Uber. Il a ensuite fondé Robust.AI, axé sur l'application d'approches plus structurées et fondées sur des règles à la robotique et à l'IA.
Plaidoyer pour une IA hybride
Marcus a soutenu de manière constante, y compris dans ses livres « Rebooting AI » (2019, avec Ernest Davis) et « Taming Silicon Valley » (2024), que les systèmes purement basés sur l'apprentissage profond, tels que les grands modèles de langage, sont sujets à des défaillances caractéristiques, notamment l'hallucination, une généralisation fragile en dehors de leur distribution d'entraînement, et un manque de raisonnement de sens commun ancré, et que combiner les réseaux neuronaux avec des représentations et un raisonnement symboliques explicites, une approche souvent appelée IA hybride ou neuro-symbolique, est nécessaire pour des systèmes plus fiables. Ses critiques précèdent la vague actuelle de l'IA générative, remontant au scepticisme exprimé lors de la résurgence du apprentissage profond au début des années 2010, et il a continué à appliquer le même cadre à des systèmes incluant GPT-3, GPT-4 et les versions successives de ChatGPT.
Rôle public et témoignage
Marcus a témoigné devant la commission judiciaire du Sénat des États-Unis en mai 2023 aux côtés de Sam Altman et du responsable principal de la confidentialité d'IBM, plaidant pour la création d'un organisme de réglementation dédié pour superviser les systèmes d'IA avancés, dans le cadre d'un effort plus large en faveur d'une gouvernance de l'IA plus solide. Il a été un commentateur public actif sur l'IA, s'engageant fréquemment dans des débats publics avec des figures de l'industrie plus optimistes sur le rythme des progrès vers l'intelligence générale artificielle, la fiabilité des références en IA, et les risques de surestimation des capacités de l'IA à court terme.
Réception
Les partisans créditent Marcus d'avoir correctement anticipé des modes de défaillance spécifiques des grands modèles de langage, notamment leurs difficultés avec l'arithmétique fiable et la cohérence factuelle, bien avant que ceux-ci ne deviennent des préoccupations courantes. Les critiques rétorquent que ses prédictions sur les limites de la mise à l'échelle ont été à plusieurs reprises dépassées par les versions ultérieures de modèles, et que son style public, marqué par des paris et des prédictions fréquents et très visibles, a parfois éclipsé la version plus mesurée de son argument sur l'IA hybride au niveau de la recherche.