EleutherAI a débuté en juillet 2020 comme un collectif de recherche informel et bénévole, organisé principalement via un serveur Discord, formé en réponse à la décision d'OpenAI de publier GPT-3 uniquement via une API commerciale, plutôt qu'avec des poids ouverts ou des détails complets d'entraînement. Les premiers organisateurs comprenaient Connor Leahy, Leo Gao et Sid Black, et le groupe a attiré des contributions de chercheurs indépendants, d'étudiants diplômés et d'ingénieurs souhaitant une équivalence publique à GPT-3 à des fins de recherche.
Le Pile et les premiers modèles
La première production majeure d'EleutherAI a été le Pile, un ensemble de données organisé de 800 gigaoctets, assemblé à partir de 22 sources plus petites, notamment des livres, des articles académiques, des référentiels de code et des textes web, publié en 2020 comme alternative ouverte aux mélanges de données d'entraînement non divulgués utilisés par les laboratoires fermés. Le Pile est devenu un corpus de pré-entraînement largement utilisé, adopté bien au-delà des modèles d'EleutherAI par d'autres efforts de recherche ouverts, jouant un rôle comparable à ce que Common Crawl avait fourni en tant que données web brutes. Le groupe a ensuite entraîné et publié GPT-Neo et GPT-J, des modèles de langage à transformeurs qui, bien que plus petits que GPT-3, figuraient parmi les points de contrôle ouverts les plus importants de leur époque, suivis en 2022 par GPT-NeoX-20B, alors l'une des plus grandes publications ouvertes de modèles de fondation disponibles publiquement.
Formalisation et travaux ultérieurs
EleutherAI s'est constitué en institut de recherche à but non lucratif en 2022, formalisant ce qui avait commencé comme un effort bénévole ad hoc et lui permettant de recevoir des subventions et des dons, y compris un soutien d'organisations intéressées par la sécurité de l'IA et l'accès ouvert à la recherche. L'organisation a élargi son champ d'action au-delà de la réplication de modèles de langage pour inclure une recherche empirique plus large sur le comportement des modèles, l'interprétabilité et la méthodologie d'évaluation, et elle a maintenu et distribué des outils d'évaluation, y compris un harnais d'évaluation des LLM largement utilisé, adopté dans la communauté de recherche pour mesurer les performances sur bancs d'essai de manière cohérente.
Héritage et influence
Les modèles et ensembles de données d'EleutherAI ont précédé et directement informé la vague de publications à poids ouverts qui a suivi, y compris des travaux hébergés plus tard de manière extensive sur Hugging Face et des efforts d'organisations mieux financées telles que Allen Institute for AI et le programme LLaMA de Meta AI. Les commentateurs ont crédité le collectif d'avoir démontré qu'un groupe lâchement organisé, largement bénévole et sans soutien majeur d'entreprise, pouvait contribuer de manière significative à la recherche sur les modèles de langage proches de la frontière, et d'avoir établi des normes autour de la documentation des ensembles de données et de la publication ouverte que des efforts ultérieurs de modèles ouverts, mieux financés, ont continué à suivre.