En el aprendizaje automático, el término "loro estocástico" es una metáfora utilizada para describir los modelos de lenguaje de gran tamaño (LLM) como sistemas que imitan estadísticamente el texto sin comprensión genuina. La palabra "estocástico" deriva del griego antiguo "στοχαστικός" (stokhastikos, que significa "basado en conjeturas") y en teoría de la probabilidad significa "determinado aleatoriamente", mientras que "loro" se refiere a la capacidad de las aves para imitar el habla humana. La frase fue introducida en el artículo de 2021 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" de Timnit Gebru, Emily M. Bender, Angelina McMillan-Major y Margaret Mitchell, que describía los riesgos potenciales de los modelos de lenguaje de gran tamaño. El artículo se hizo famoso no solo por su argumento, sino también por su papel en una disputa laboral de diciembre de 2020 entre Gebru y Google, que llevó a su controvertida salida y a un amplio debate en la comunidad de IA. El término ganó posteriormente relevancia en la investigación académica sobre IA generativa y también se ha interpretado negativamente como un insulto hacia los sistemas de IA.
Antecedentes y la disputa de 2020
Timnit Gebru es una investigadora de ética de la IA que se unió a Google en 2018, donde codirigió el Equipo de Inteligencia Artificial Ética con Margaret Mitchell, una científica informática especializada en sesgos algorítmicos. Emily M. Bender es una lingüista conocida por su trabajo en lingüística computacional. El artículo, coescrito por Gebru y otros cinco investigadores (cuatro de ellos empleados de Google), fue enviado a la Conferencia ACM de 2021 sobre Equidad, Responsabilidad y Transparencia. Argumentaba que los LLM presentan riesgos significativos, incluidos costos ambientales y financieros, inescrutabilidad que conduce a sesgos peligrosos desconocidos y potencial de engaño, ya que estos modelos no comprenden los conceptos subyacentes a lo que aprenden.
El artículo describía a los LLM como "cosiendo secuencias de formas lingüísticas... observadas en sus vastos datos de entrenamiento, según información probabilística sobre cómo se combinan, pero sin ninguna referencia al significado", ganando así la etiqueta de "loros estocásticos". Tras el envío, Google solicitó que Gebru retirara el artículo o eliminara los nombres de los empleados de Google. Gebru se negó sin más discusión, enviando un correo electrónico a la vicepresidenta de Investigación de Google, Megan Kacholia, en el que indicaba que planeaba renunciar después de un período de transición si la empresa no podía explicar la solicitud de retractación y abordar otras preocupaciones sobre proyectos similares. Al día siguiente, el 2 de diciembre de 2020, Google envió un correo electrónico diciendo que "aceptaba su renuncia". El despido abrupto provocó protestas de los empleados de Google y generó publicidad negativa para la empresa.
Uso y adopción pública
La frase "loro estocástico" ha sido adoptada por escépticos e investigadores de la IA para señalar que los LLM carecen de comprensión del significado de sus resultados. Sam Altman, CEO de OpenAI, usó el término poco después del lanzamiento de ChatGPT en diciembre de 2022, tuiteando "soy un loro estocástico, y tú también". El término fue nominado como la Palabra del Año 2023 relacionada con la IA por la Sociedad Americana de Dialectos.
Debate sobre comprensión versus imitación
A medida que los LLM como ChatGPT comenzaron a interactuar con los usuarios en conversaciones convincentemente humanas, la cuestión de si estos sistemas comprenden realmente o simplemente "parlotean" el lenguaje se profundizó. Los investigadores de aprendizaje automático Lindholm, Wahlström, Lindsten y Schön destacaron dos limitaciones vitales: los LLM están limitados por los datos con los que se entrenan y simplemente repiten estocásticamente ese contenido; y, debido a que generan resultados basados en patrones, no saben si están diciendo algo incorrecto o inapropiado. Señalaron que tales limitaciones podrían llevar a resultados "peligrosamente erróneos" con conjuntos de datos de baja calidad.
Experiencia subjetiva
Los defensores sostienen que en las mentes humanas, las palabras se corresponden con experiencias del mundo real, pero para los LLM, las palabras corresponden solo a otras palabras y patrones en los datos de entrenamiento. Así, afirman que las declaraciones sobre los significados de los LLM provienen de "la tendencia humana a atribuir significado al texto", aunque los LLM no comprenden realmente el lenguaje.
Ajuste fino y contraargumentos
Kelsey Piper argumentó que la metáfora del loro estocástico se centra en el preentrenamiento e ignora los procesos modernos de ajuste fino que entrenan a los LLM para seguir instrucciones y preferir respuestas precisas. Otros investigadores señalan puntos de referencia como evidencia: GPT-4 obtuvo una puntuación superior al percentil 90 en el Examen Uniforme de Abogacía y logró una precisión del 93% en el punto de referencia MATH de problemas de olimpiadas de secundaria, hazañas que superan las expectativas de coincidencia de patrones memorizados. Una encuesta de 2022 encontró que el 51% de los profesionales de la IA creen que los LLM pueden comprender realmente el lenguaje con suficientes datos, una opinión que muchos expertos disputan.
Alucinaciones y limitaciones
Los partidarios de la idea del loro estocástico señalan las alucinaciones - o confabulaciones - donde los LLM presentan información falsa como un hecho como evidencia de que estos sistemas no conectan las palabras con la comprensión del MUNDO. También citan fallos en gramática compleja o ambigua. Por ejemplo, dado el par de oraciones: "El periódico mojado que cayó de la mesa es mi periódico favorito. Pero ahora que mi periódico favorito despidió al editor, podría no gustarme leerlo más. ¿Puedo reemplazar 'mi periódico favorito' por 'el periódico mojado que cayó de la mesa' en la segunda oración?" GPT-4 respondió que sí, sin notar que "periódico" se refiere a un objeto en el primer contexto y a una organización en el segundo.
Investigación en curso y talleres
En 2024, una investigación de Scientific American describió un taller cerrado de Berkeley donde los modelos de última generación resolvieron problemas novedosos de matemáticas de nivel 4, lo que sugiere que algunos LLM pueden realizar tareas que no están directamente en sus datos de entrenamiento. Sin embargo, estas observaciones siguen sujetas a interpretación y no han resuelto completamente el debate sobre si los LLM poseen comprensión real o simplemente coincidencia de patrones avanzada.