Joseph Weizenbaum (1923-2008) fue un informático germano-estadounidense del MIT, conocido principalmente por crear ELIZA, uno de los primeros programas de chatbot, en 1966, y por su posterior conversión en uno de los críticos más destacados de la inteligencia artificial en sus inicios.
ELIZA
Weizenbaum construyó ELIZA como una demostración de coincidencia de patrones en lenguaje natural, más famosamente en un guion llamado DOCTOR que simulaba a un psicoterapeuta rogeriano al devolver las afirmaciones del usuario como preguntas. ELIZA utilizaba una simple detección de palabras clave y respuestas basadas en plantillas, sin ningún modelo de comprensión; sin embargo, Weizenbaum se sorprendió al descubrir que su propia secretaria y otros usuarios atribuían comprensión y empatía genuinas al programa, pidiendo quedarse a solas con él. Denominó a esta tendencia a sobreatribuir comprensión a un programa guionizado el "efecto ELIZA", un fenómeno que aún se cita cuando los usuarios tratan a los chatbots modernos o a los grandes modelos de lenguaje como más comprensivos o sensibles de lo que sus mecanismos justifican.
Giro hacia la crítica
Preocupado por la facilidad con la que las personas, incluidos algunos informáticos, atribuían inteligencia y juicio genuinos a ELIZA, Weizenbaum se volvió cada vez más crítico con las ambiciones del campo. Su libro de 1976 "Computer Power and Human Reason: From Judgment to Calculation" argumentaba que existía una diferencia fundamental entre lo que técnicamente se podía hacer hacer a las computadoras y lo que se les debería confiar, particularmente en dominios que requieren sabiduría, compasión o juicio moral, como la psicoterapia, la sentencia judicial o el mando militar. Distinguía entre decidir, un asunto computacional de seleccionar entre opciones, y elegir, que según él requería valores humanos que las máquinas no podían poseer.
Recepción y legado
La crítica de Weizenbaum lo puso en desacuerdo con partes de la comunidad de investigación en IA, incluidos algunos de sus propios colegas del MIT como Marvin Minsky, y a veces se le caracterizó como alguien que había traicionado al campo, a pesar de continuar trabajando dentro de la informática. Sus advertencias anticiparon debates posteriores en ética de la IA y seguridad de la IA sobre el despliegue de sistemas en dominios de alto riesgo sin supervisión humana adecuada, y el efecto ELIZA sigue siendo un punto de referencia estándar en las discusiones sobre la confianza en la IA conversacional y las atribuciones injustificadas de comprensión a sistemas como los grandes modelos de lenguaje modernos. La propia ELIZA es ampliamente citada como un ancestro del linaje de IA conversacional que atraviesa sistemas posteriores como ChatGPT, aunque su método subyacente no guarda semejanza con el entrenamiento estadístico detrás de los sistemas modernos.