EleutherAI es un grupo de investigación de inteligencia artificial sin fines de lucro que desarrolla modelos y conjuntos de datos de IA de código abierto. Fundado en 2020, el colectivo a menudo se describe como una contraparte de código abierto de OpenAI, con el objetivo de democratizar el acceso a los modelos de lenguaje grandes y la investigación relacionada. A principios de 2023, se incorporó formalmente como el Instituto EleutherAI, un instituto de investigación sin fines de lucro. A partir de 2025, la organización mantiene conjuntos de datos de entrenamiento ampliamente utilizados, realiza investigaciones en áreas como la interpretabilidad y la alineación, y participa en debates de políticas públicas.
El grupo se originó en un servidor de Discord y ha crecido hasta convertirse en una comunidad colaborativa de cientos de investigadores voluntarios. Su trabajo ha influido en el campo más amplio de la IA generativa al proporcionar modelos y conjuntos de datos disponibles gratuitamente que han impulsado nuevas empresas emergentes e investigación académica.
Historia
EleutherAI comenzó como un servidor de Discord el 7 de julio de 2020, bajo el nombre provisional "LibreAI" antes de cambiar su nombre a "EleutherAI" más tarde ese mes, en referencia a la palabra griega para libertad, eleutheria. Los miembros fundadores fueron Connor Leahy, Leo Gao y Sid Black, quienes coescribieron el código inicial para crear un modelo de aprendizaje automático similar a GPT-3.
El 31 de diciembre de 2020, el grupo lanzó The Pile, un conjunto de datos curado de texto diverso para entrenar modelos de lenguaje grandes. Los primeros modelos, GPT-Neo, se lanzaron el 21 de marzo de 2021, seguidos de GPT-J-6B el 9 de junio de 2021, que era entonces el modelo de código abierto más grande similar a GPT-3. Estos modelos se lanzaron bajo la licencia Apache 2.0 y se considera que impulsaron una ola completamente nueva de empresas emergentes.
Inicialmente, EleutherAI rechazó ofertas de financiamiento, dependiendo del Programa de Investigación en la Nube de TPU de Google para computación. A principios de 2021, aceptaron financiamiento de CoreWeave y SpellML en forma de acceso a clústeres de GPU. El 10 de febrero de 2022, lanzaron GPT-NeoX-20B, un modelo más grande habilitado por estos recursos.
A principios de 2023, EleutherAI se incorporó como un instituto de investigación sin fines de lucro liderado por Stella Biderman, Curtis Huebner y Shivanshu Purohit. La organización cambió su enfoque hacia la interpretabilidad, la alineación y la investigación científica, ya que entrenar y lanzar LLM se había vuelto más común en otros lugares.
En julio de 2024, una investigación de Proof News y Wired encontró que el conjunto de datos The Pile incluía subtítulos de más de 170,000 videos de YouTube en más de 48,000 canales, lo que generó críticas y acusaciones de robo. En respuesta, EleutherAI lanzó "Common Pile" en 2025, un conjunto de datos sin el material protegido por derechos de autor controvertido, y entrenó dos modelos a partir de él. En colaboración con el Instituto de Seguridad de IA del Reino Unido, también descubrieron que filtrar los datos de entrenamiento para eliminar conceptos clave puede mantener el rendimiento mientras se reduce la información dañina.
Investigación y Modelos
La investigación de EleutherAI abarca múltiples áreas, con cientos de contribuyentes voluntarios. El grupo ha lanzado varios modelos y conjuntos de datos notables que se utilizan ampliamente en la comunidad de IA.
The Pile
The Pile es un conjunto de datos de 886 GB diseñado para entrenar modelos de lenguaje grandes. Originalmente desarrollado para GPT-Neo, se ha utilizado para entrenar otros modelos, incluido el Megatron-Turing Natural Language Generation de Microsoft. Sus características distintivas son su selección curada de datos elegidos por investigadores y su documentación exhaustiva. La versión inicial enfrentó escrutinio por contener material protegido por derechos de autor, incluidos libros y subtítulos de diversos medios.
Common Pile
Common Pile v0.1, lanzado en junio de 2025 en asociación con muchos colaboradores, contiene solo obras cuyas licencias permiten su uso para entrenar modelos de IA. Esto aborda los problemas de derechos de autor de The Pile.
Modelos GPT
EleutherAI entrenó modelos de lenguaje grandes de código abierto inspirados en GPT-3 de OpenAI, con recuentos de parámetros de 125 millones, 1.3 mil millones, 2.7 mil millones, 6 mil millones y 20 mil millones. GPT-Neo (125M, 1.3B, 2.7B) se lanzó en marzo de 2021, seguido de GPT-J (6B) en junio de 2021, siendo ambos los modelos de código abierto más grandes de estilo GPT-3 en su lanzamiento. GPT-NeoX-20B siguió el 10 de febrero de 2022.
VQGAN-CLIP
Después de que OpenAI lanzara DALL-E en enero de 2021 sin acceso público, Katherine Crowson de EleutherAI y el artista digital Ryan Murdock desarrollaron una técnica que utiliza el entrenamiento contrastivo de lenguaje-imagen (CLIP) para convertir modelos de generación de imágenes regulares en modelos de síntesis de texto a imagen. Basándose en ideas de DeepDream de Google, combinaron CLIP con VQGAN para crear VQGAN-CLIP. Crowson compartió la tecnología a través de cuadernos que las personas podían ejecutar de forma gratuita.
Impacto y Políticas
Los modelos y conjuntos de datos de código abierto de EleutherAI han influido significativamente en el ecosistema de IA, permitiendo a empresas emergentes e investigadores trabajar con modelos de lenguaje grandes sin restricciones propietarias. La organización también participa en debates de políticas públicas, abogando por la investigación abierta y abordando preocupaciones éticas sobre el uso de datos y la seguridad de los modelos.