Joseph Weizenbaum (1923-2008) foi um cientista da computação teuto-americano no MIT, mais conhecido por criar ELIZA, um dos primeiros programas de chatbot, em 1966, e por sua posterior transformação em um dos mais proeminentes críticos iniciais da inteligência artificial.
ELIZA
Weizenbaum construiu ELIZA como uma demonstração de correspondência de padrões em linguagem natural, mais famosamente em um script chamado DOCTOR, que simulava um psicoterapeuta rogeriano ao refletir as declarações do usuário de volta como perguntas. ELIZA usava simples detecção de palavras-chave e respostas modeladas, em vez de qualquer modelo de compreensão, mas Weizenbaum ficou surpreso ao descobrir que sua própria secretária e outros usuários atribuíam compreensão genuína e empatia ao programa, pedindo para ficarem a sós com ele. Ele denominou essa tendência de superatribuir compreensão a um programa roteirizado de "efeito ELIZA", um fenômeno ainda citado sempre que usuários tratam chatbots modernos ou grandes modelos de linguagem como mais compreensivos ou sencientes do que seus mecanismos justificam.
Rumo à crítica
Incomodado com a facilidade com que as pessoas, incluindo alguns cientistas da computação, atribuíam inteligência e julgamento genuínos a ELIZA, Weizenbaum tornou-se cada vez mais crítico das ambições do campo. Seu livro de 1976, "Computer Power and Human Reason: From Judgment to Calculation", argumentava que havia uma diferença fundamental entre o que os computadores poderiam tecnicamente ser feitos para fazer e o que deveriam ser encarregados de fazer, particularmente em domínios que exigem sabedoria, compaixão ou julgamento moral, como psicoterapia, sentenças judiciais ou comando militar. Ele distinguia entre decidir, uma questão computacional de selecionar entre opções, e escolher, que, segundo ele, exigia valores humanos que as máquinas não poderiam possuir.
Recepção e legado
A crítica de Weizenbaum o colocou em desacordo com partes da comunidade de pesquisa em IA, incluindo alguns de seus próprios colegas do MIT, como Marvin Minsky, e ele às vezes foi caracterizado como tendo traído o campo, apesar de continuar trabalhando dentro da ciência da computação. Seus avisos anteciparam debates posteriores em ética da IA e segurança da IA sobre a implantação de sistemas em domínios de alto risco sem supervisão humana adequada, e o efeito ELIZA permanece um ponto de referência padrão em discussões sobre confiança em IA conversacional e atribuições injustificadas de compreensão a sistemas como grandes modelos de linguagem modernos. A própria ELIZA é amplamente citada como um ancestral da linhagem de IA conversacional que percorre sistemas posteriores como ChatGPT, mesmo que seu método subjacente não tenha nenhuma semelhança com o treinamento estatístico por trás dos sistemas modernos.