Eugene Goostman est un programme de chatbot conçu pour simuler un garçon ukrainien de 13 ans. Il a été créé en 2001 par le programmeur d'origine russe Vladimir Veselov et le programmeur d'origine ukrainienne Eugene Demchenko. Le chatbot a attiré l'attention internationale en juin 2014 lorsqu'il est devenu le premier programme à réussir un test de Turing à la Royal Society de Londres, convainquant 33 % des juges humains qu'il était humain lors d'une conversation textuelle de cinq minutes.
La personnalité d'Eugene Goostman est délibérément conçue pour être celle d'un locuteur non natif de l'anglais, avec une maîtrise limitée de la langue et une personnalité juvénile et évasive. Ce choix de conception aide le chatbot à esquiver les questions difficiles en prétendant l'ignorance, en changeant de sujet ou en faisant des non-sequiturs humoristiques. Les créateurs ont soutenu que les particularités de la personnalité la rendaient plus crédible aux yeux des juges, car des erreurs grammaticales mineures et des réponses hors sujet sont attendues de la part d'un adolescent dont la première langue n'est pas l'anglais.
Historique et développement
Veselov et Demchenko ont commencé à développer Eugene Goostman en 2001 alors qu'ils étaient tous deux étudiants. Le projet était initialement un passe-temps, mais il a évolué au fil de plus d'une décennie de perfectionnement. Le nom du chatbot combine le prénom de Veselov (Eugene) et le nom de famille de Demchenko (Demchenko, adapté en Goostman). Le programme a été construit sur une architecture basée sur des règles, et non sur des techniques modernes de Machine learning ou de Neural network. Il reposait sur une grande base de données de réponses scriptées, de correspondance de modèles et de règles heuristiques pour générer des réponses.
L'événement du test de Turing de 2014 a été organisé par Kevin Warwick, professeur à l'Université de Reading, et a impliqué cinq chatbots en compétition contre 30 juges humains. Chaque juge a tenu des conversations séparées de cinq minutes avec un chatbot et un humain, puis a décidé lequel était humain. Eugene Goostman a atteint un taux de réussite de 33 %, dépassant le seuil de 30 % qu'Alan Turing avait proposé dans son article de 1950 comme référence pour l'intelligence machine. Le résultat a été largement rapporté dans les médias mondiaux, bien qu'il ait également suscité des critiques de la part de chercheurs qui ont soutenu que l'évasion de la personnalité exploitait injustement les limites du test.
Approche technique
Contrairement aux systèmes contemporains de Large language model tels que ceux développés par OpenAI ou Google DeepMind, Eugene Goostman n'utilise pas d'architectures de Deep learning ou de Transformer (architecture). Son cœur est un système déterministe basé sur des règles. Le chatbot maintient une mémoire à court terme de la conversation et utilise la correspondance de mots-clés pour sélectionner parmi des milliers de réponses pré-écrites. Il emploie également un ensemble de « traits de personnalité » - comme prétendre avoir un cochon d'Inde nommé George et une mère dentiste - pour créer une identité fictive cohérente.
Le programme a été initialement écrit en C et plus tard porté vers d'autres langages. Il fonctionnait sur des ordinateurs personnels standard, sans nécessiter de matériel spécialisé comme les accélérateurs AWS Trainium ou Groq. Les créateurs mettaient périodiquement à jour la base de données de réponses et ajoutaient de nouveaux modèles conversationnels en fonction des retours des testeurs. Cependant, l'architecture fondamentale est restée inchangée, ce qui limitait sa capacité à traiter des sujets nouveaux ou des tâches de raisonnement complexes.
Controverse sur le test de Turing
Le résultat de 2014 a déclenché un débat important au sein de la communauté de l'Artificial intelligence. Des critiques, notamment Melanie Mitchell et d'autres chercheurs, ont soutenu que le succès d'Eugene Goostman reflétait davantage les défauts de conception du test qu'une intelligence authentique. La personnalité du chatbot lui permettait d'éviter de répondre directement aux questions, et ses erreurs grammaticales étaient perçues comme une astuce plutôt qu'une caractéristique. Certains ont noté que le chiffre de 33 % était à peine supérieur au seuil de 30 % et que la petite taille de l'échantillon (30 juges, 5 chatbots) rendait le résultat statistiquement fragile.
Les partisans ont rétorqué que le test était une étape importante dans l'interaction homme-machine, démontrant qu'une personnalité bien conçue pouvait tromper les humains dans un cadre contraint. L'événement a également mis en évidence la différence entre la capacité conversationnelle étroite et l'intelligence générale, une distinction qui reste centrale dans les discussions sur les systèmes modernes de Generative AI. La controverse a contribué au développement de méthodes d'évaluation plus rigoureuses, telles que le défi du schéma de Winograd et les références ultérieures pour le raisonnement des Large language model.
Héritage et influence
La renommée d'Eugene Goostman a été de courte durée mais influente. Il a popularisé l'idée d'utiliser une personnalité fictive pour améliorer les performances des chatbots, une technique ensuite adoptée par certains assistants commerciaux. Le programme a également servi d'avertissement sur les limites des systèmes basés sur des règles, qui ont rapidement été éclipsés par l'essor des modèles de Deep learning et de Transformer (architecture) à la fin des années 2010.
Aujourd'hui, Eugene Goostman est en grande partie une curiosité historique. Ses créateurs ont continué à travailler sur d'autres projets, mais le chatbot lui-même n'est plus activement maintenu. L'événement de 2014 reste un point de référence dans les discussions sur le test de Turing et la philosophie de l'intelligence machine, souvent cité aux côtés de jalons antérieurs comme les victoires de Chess computer. Bien que des systèmes modernes comme ChatGPT et Gemini dépassent de loin Eugene Goostman en capacité, son histoire illustre comment une conception intelligente et la psychologie humaine peuvent brouiller la ligne entre machine et humain dans des contextes étroits.