Un loro estocástico es un término para un modelo de lenguaje que reproduce fluidamente texto de apariencia plausible mediante la recombinación estadística de patrones de sus datos de entrenamiento, sin una comprensión fundamentada del significado detrás de las palabras que produce. La frase proviene del título del artículo de 2021 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?", escrito por Emily Bender, Timnit Gebru, Angelina McMillan-Major y Margaret Mitchell, que se convirtió en una de las críticas más citadas y más controvertidas de la dirección de investigación de los grandes modelos de lenguaje que pronto produciría sistemas de clase GPT-3 y, más tarde, ChatGPT.
El artículo argumentaba que los modelos de lenguaje cada vez más grandes, entrenados con texto web extraído, conllevan riesgos graves: costos ambientales y financieros, sesgo codificado y amplificado a partir de corpus de entrenamiento sin filtrar, y una tendencia tanto de investigadores como del público a confundir la producción fluida con una comprensión genuina.
Orígenes y controversia
La publicación del artículo estuvo enredada con la salida de Gebru de Google en diciembre de 2020, que ella dijo fue un despido debido a la exigencia de la empresa de que retirara el artículo o eliminara los nombres de los coautores afiliados a Google; Google lo describió como una renuncia. El episodio atrajo una amplia atención a las tensiones internas entre la investigación de ética de la IA y los equipos de productos en los principales laboratorios, y se convirtió en uno de los eventos más discutidos en la ética de la IA. El argumento más amplio de Bender y Gebru extendió preocupaciones anteriores en la investigación de procesamiento del lenguaje natural sobre la calidad de los datos de entrenamiento y la dificultad de auditar corpus a escala web.
Argumento central
Los modelos de lenguaje se entrenan para predecir el siguiente token estadísticamente probable dado el contexto previo, un objetivo que los autores argumentaron produce una forma convincente sin ninguna fundamentación de las palabras en el significado o la intención del mundo real, una preocupación estrechamente relacionada con el problema más amplio del fundamento en la IA. El artículo advirtió que esta fluidez sin fundamento hace que el contenido alucinado y sesgado sea especialmente peligroso, porque los lectores humanos atribuyen instintivamente comprensión y fiabilidad al texto fluido.
Recepción y debate posterior
El término entró en el uso común, tanto como una crítica de investigación seria como un insulto retórico dirigido al entusiasmo por los LLM. Los defensores del escalado respondieron que la investigación posterior sobre habilidades emergentes y la capacidad aparente de los modelos para razonar, usar herramientas y planificar en múltiples pasos complicaba una caracterización puramente "estocástica", aunque los críticos mantienen que la producción fluida sigue siendo distinguible de la comprensión verificada. El debate sigue sin resolverse y continúa moldeando la discusión sobre qué saben realmente los grandes modelos de lenguaje frente a qué meramente reproducen, y resuena en términos posteriores como basura de IA que describen el extremo de baja calidad del texto de máquina producido en masa.