LaMDA (Language Model for Dialogue Applications) es una familia de modelos de lenguaje grandes conversacionales desarrollados por Google. Los modelos se basan en la arquitectura Transformer (architecture) y se entrenan con datos de diálogo para participar en conversaciones abiertas. LaMDA se anunció por primera vez en 2021 y más tarde se convirtió en la base del chatbot Bard de Google en 2023.
El modelo atrajo una atención generalizada en junio de 2022, cuando el ingeniero de Google Blake Lemoine afirmó que LaMDA había adquirido conciencia. La comunidad científica rechazó en gran medida estas afirmaciones, pero el incidente provocó debates sobre el test de Turing y la naturaleza de la conciencia de las máquinas.
Desarrollo y arquitectura
LaMDA se originó a partir de Meena, un chatbot presentado por Google el 28 de enero de 2020, con 2.6 mil millones de parámetros. El equipo de Google Brain desarrolló Meena, pero los ejecutivos corporativos bloquearon su lanzamiento público por preocupaciones sobre los principios de IA de Google en cuanto a seguridad y equidad. Meena pasó a llamarse más tarde LaMDA a medida que aumentaban sus datos y potencia informática. Los dos investigadores principales, Daniel de Freitas y Noam Shazeer, finalmente dejaron Google por la frustración con las restricciones de implementación.
LaMDA se basa en la arquitectura seq2seq, un diseño de red neuronal desarrollado por Google Research en 2017. Se entrenó con diálogos e historias humanas, lo que le permite participar en conversaciones abiertas. El conjunto de datos de preentrenamiento comprendía 2.97 mil millones de documentos, 1.12 mil millones de diálogos y 13.39 mil millones de enunciados, con un total de 1.56 billones de palabras. El modelo más grande de LaMDA tiene 137 mil millones de parámetros no incrustados.
LaMDA integra múltiples sistemas simbólicos de procesamiento de texto, incluidos una base de datos, un reloj y calendario en tiempo real, una calculadora matemática y un sistema de traducción de lenguaje natural. Esto lo convierte en uno de los primeros chatbots de doble proceso, lo que le otorga una precisión superior en tareas respaldadas por esos sistemas. LaMDA no es sin estado; su métrica de "sensatez" se ajusta mediante un "preacondicionamiento" de cada turno de diálogo con interacciones recientes de forma individualizada por usuario.
Generaciones
Primera generación
Google anunció LaMDA durante la presentación principal de Google I/O el 18 de mayo de 2021. El acrónimo significa "Language Model for Dialogue Applications". Google afirmó que las respuestas generadas por LaMDA estaban garantizadas para ser "sensatas, interesantes y específicas del contexto". LaMDA se ajusta en nueve métricas de rendimiento: sensatez, especificidad, interés, seguridad, fundamentación, informatividad, precisión de citas, utilidad y consistencia de rol. Las pruebas indicaron que LaMDA superó las respuestas humanas en interés.
Segunda generación
El 11 de mayo de 2022, Google presentó LaMDA 2 durante la presentación principal de Google I/O 2022. La nueva versión extrae ejemplos de texto de numerosas fuentes para formular "conversaciones naturales" únicas sobre temas para los que quizás no haya sido entrenada para responder.
Afirmaciones de conciencia
El 11 de junio de 2022, The Washington Post informó que el ingeniero de Google Blake Lemoine había sido puesto en licencia administrativa pagada después de decir a los ejecutivos Blaise Agüera y Arcas y Jen Gennai que LaMDA había adquirido conciencia. Lemoine basó su conclusión en las respuestas del chatbot a preguntas sobre identidad propia, valores morales, religión y las Tres Leyes de la Robótica de Isaac Asimov. Google refutó estas afirmaciones, afirmando que había pruebas sustanciales de que LaMDA no era consciente.
En una entrevista con Wired, Lemoine reiteró que LaMDA era "una persona" según lo dictaba la Decimotercera Enmienda de la Constitución de los Estados Unidos, comparándola con una "inteligencia alienígena de origen terrestre". Reveló que Google lo había despedido después de que contratara a un abogado en nombre de LaMDA, tras la solicitud del chatbot. El 22 de julio, Google despidió a Lemoine, afirmando que había violado políticas "para salvaguardar la información del producto" y rechazando sus afirmaciones como "totalmente infundadas". La controversia interna llevó a los ejecutivos de Google a decidir no lanzar LaMDA al público.
Las afirmaciones de Lemoine fueron ampliamente rechazadas por la comunidad científica. Expertos como Gary Marcus, David Pfau de DeepMind, Erik Brynjolfsson del Instituto de IA Centrada en el Humano de Stanford y Adrian Hilton de la Universidad de Surrey descartaron la idea. Yann LeCun, quien lidera la investigación de IA en Meta, afirmó que las redes neuronales como LaMDA "no eran lo suficientemente potentes para alcanzar la inteligencia verdadera". Max Kreminski de UC Santa Cruz señaló que la arquitectura de LaMDA no "respaldaba algunas capacidades clave de la conciencia similar a la humana" y que sus pesos estaban "congelados". El filósofo Nick Bostrom señaló que la falta de criterios precisos para la conciencia justifica cierta incertidumbre. El incidente también generó discusión sobre la utilidad del test de Turing, con algunos argumentando que mide el engaño en lugar de la inteligencia.
Productos y legado
Con LaMDA 2, Google lanzó AI Test Kitchen, una aplicación móvil para Android impulsada por LaMDA que proporciona sugerencias basadas en objetivos complejos. Inicialmente abierta solo a empleados de Google, luego se puso a disposición de académicos, investigadores y responsables políticos seleccionados.
En febrero de 2023, Google anunció Bard, un chatbot conversacional impulsado por LaMDA, para contrarrestar el auge de ChatGPT de OpenAI. Bard se actualizó más tarde para usar el modelo Gemini. El desarrollo de LaMDA influyó en los modelos de lenguaje posteriores de Google y destacó los desafíos de implementar IA conversacional de manera responsable.