Joseph Weizenbaum (1923-2008) était un informaticien germano-américain au MIT, surtout connu pour avoir créé ELIZA, l'un des premiers programmes de chatbot, en 1966, et pour sa conversion ultérieure en l'un des critiques les plus éminents de l'intelligence artificielle.
ELIZA
Weizenbaum a construit ELIZA comme une démonstration de correspondance de motifs en langage naturel, notamment à travers un script appelé DOCTOR qui simulait un psychothérapeute rogérien en renvoyant les déclarations de l'utilisateur sous forme de questions. ELIZA utilisait une simple détection de mots-clés et des réponses basées sur des modèles, sans aucun modèle de compréhension, mais Weizenbaum fut surpris de constater que sa propre secrétaire et d'autres utilisateurs attribuaient au programme une compréhension et une empathie authentiques, demandant à être laissés seuls avec lui. Il qualifia cette tendance à sur-attribuer la compréhension à un programme scripté d'« effet ELIZA », un phénomène encore cité lorsque les utilisateurs traitent les chatbots modernes ou les grands modèles de langage comme plus compréhensifs ou doués de conscience que leurs mécanismes ne le justifient.
Virage vers la critique
Troublé par la facilité avec laquelle les gens, y compris certains informaticiens, attribuaient une intelligence et un jugement authentiques à ELIZA, Weizenbaum devint de plus en plus critique envers les ambitions du domaine. Son livre de 1976, « Computer Power and Human Reason: From Judgment to Calculation », soutenait qu'il existait une différence fondamentale entre ce que les ordinateurs pouvaient techniquement être amenés à faire et ce dont on devrait leur confier la responsabilité, en particulier dans des domaines exigeant sagesse, compassion ou jugement moral, comme la psychothérapie, les sentences judiciaires ou le commandement militaire. Il distinguait entre décider, une question computationnelle de sélection parmi des options, et choisir, qui, selon lui, exigeait des valeurs humaines que les machines ne pouvaient posséder.
Réception et héritage
La critique de Weizenbaum le mit en opposition avec une partie de la communauté de recherche en IA, y compris certains de ses propres collègues du MIT tels que Marvin Minsky, et il fut parfois caractérisé comme ayant trahi le domaine, bien qu'il ait continué à travailler en informatique. Ses avertissements anticipaient des débats ultérieurs en éthique de l'IA et sécurité de l'IA sur le déploiement de systèmes dans des domaines à enjeux élevés sans supervision humaine adéquate, et l'effet ELIZA reste un point de référence standard dans les discussions sur la confiance dans l'IA conversationnelle et les attributions injustifiées de compréhension à des systèmes tels que les grands modèles de langage modernes. ELIZA elle-même est largement citée comme une ancêtre de la lignée de l'IA conversationnelle qui traverse des systèmes ultérieurs comme ChatGPT, même si sa méthode sous-jacente ne ressemble en rien à l'entraînement statistique derrière les systèmes modernes.