Google Brain était une équipe de recherche en intelligence artificielle spécialisée dans l'apprentissage profond, qui a servi de seule branche IA de Google avant d'être intégrée sous la nouvelle direction de Google AI, une division de recherche chez Google dédiée à l'intelligence artificielle. Formée en 2011, elle combinait recherche en apprentissage automatique à horizon ouvert, systèmes d'information et ressources de calcul à grande échelle. Elle a créé des outils tels que TensorFlow, qui permettent au public d'utiliser des réseaux de neurones, ainsi que de nombreux projets internes de recherche en IA, et visait à créer des opportunités de recherche en apprentissage automatique et en traitement du langage naturel. Elle a été fusionnée avec DeepMind, ancienne société sœur de Google, pour former Google DeepMind en avril 2023.
Le projet est né chez Google X d'une collaboration entre les chercheurs de Google Jeff Dean et Greg Corrado et le professeur de Stanford Andrew Ng. Il est devenu un moteur clé des avancées en apprentissage profond au sein de l'entreprise, produisant des outils et des modèles influents qui ont façonné le domaine plus large de l'intelligence artificielle.
Historique
Le projet Google Brain a débuté en 2011 chez Google X comme une collaboration de recherche impliquant les chercheurs de Google Jeff Dean et Greg Corrado ainsi que le professeur de Stanford Andrew Ng. En 2012, l'équipe a entraîné un réseau de neurones à grande échelle sur 10 millions d'images provenant de vidéos YouTube ; le système a appris à reconnaître des concepts de haut niveau, notamment des chats, sans avoir été explicitement entraîné à les identifier. Cette démonstration a mis en évidence le potentiel de l'apprentissage profond à apprendre des caractéristiques à partir de données brutes.
Google a élargi sa recherche en apprentissage profond en 2013 en embauchant Geoffrey Hinton et en acquérant DNNResearch, qu'il avait fondé avec Alex Krizhevsky et Ilya Sutskever. Plus tard cette année-là, Tomáš Mikolov et ses collègues de Google Brain ont développé word2vec, une méthode pour apprendre des plongements de mots à partir de grandes collections de textes. Cette technique est devenue fondamentale pour le traitement du langage naturel.
En 2015, Google a open-sourcé TensorFlow, un framework développé par l'équipe Google Brain pour développer et entraîner des modèles d'apprentissage automatique. TensorFlow est devenu l'une des bibliothèques de apprentissage automatique les plus utilisées, permettant des applications aussi bien en recherche qu'en production.
En 2017, les chercheurs de Google ont introduit l'architecture Transformer dans l'article « Attention Is All You Need ». Initialement développée pour la traduction automatique, elle est devenue par la suite l'architecture dominante pour les grands modèles de langage, alimentant des systèmes comme GPT et BERT. Le mécanisme d'auto-attention du Transformer a permis un traitement parallèle plus efficace et une meilleure gestion des dépendances à longue distance dans le texte.
En avril 2023, Google Brain a fusionné avec DeepMind pour former Google DeepMind, dans le cadre des efforts continus de l'entreprise pour accélérer les travaux sur l'IA. L'entité combinée visait à regrouper les talents et les ressources de recherche sous une même direction, en se concentrant sur l'avancement de l'IA de manière sûre et responsable.
Équipe et localisation
Google Brain a été initialement établi par le Google Fellow Jeff Dean et le professeur invité de Stanford Andrew Ng. En 2014, l'équipe comprenait Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio et Vincent Vanhoucke. En 2017, les membres de l'équipe comprenaient Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan et Fernanda Viegas. Chris Lattner, créateur du langage de programmation Swift d'Apple puis directeur de l'équipe d'autonomie de Tesla pendant six mois, a rejoint l'équipe de Google Brain en août 2017. Lattner a quitté l'équipe en janvier 2020 et a rejoint SiFive.
En 2021, Google Brain était dirigé par Jeff Dean, Geoffrey Hinton et Zoubin Ghahramani. Parmi les autres membres figuraient Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle et David Ha. Samy Bengio a quitté l'équipe en avril 2021, et Zoubin Ghahramani a repris ses responsabilités.
Google Research inclut Google Brain et est basé à Mountain View. Il dispose également de groupes satellites à Accra, Amsterdam, Atlanta, Cambridge, Israël, Los Angeles, Londres, New York, Paris, Pittsburgh, Princeton, San Francisco, Seattle, Tokyo, Toronto et Zurich.
Projets
Système de chiffrement conçu par intelligence artificielle
En octobre 2016, Google Brain a mené une expérience pour déterminer que les réseaux de neurones sont capables d'apprendre des systèmes de chiffrement symétrique sécurisés. Dans cette expérience, trois réseaux de neurones ont été créés : Alice, Bob et Eve. Conformément à l'idée d'un réseau antagoniste génératif (GAN), l'objectif de l'expérience était qu'Alice envoie un message chiffré à Bob que Bob pourrait déchiffrer, mais que l'adversaire Eve ne pourrait pas. Alice et Bob maintenaient un avantage sur Eve en partageant une clé utilisée pour le chiffrement et le déchiffrement. Ainsi, Google Brain a démontré la capacité des réseaux de neurones à apprendre des systèmes de chiffrement sécurisés.
Amélioration d'images
En février 2017, Google Brain a déterminé une méthode probabiliste pour convertir des images de résolution 8x8 en résolution 32x32. La méthode s'appuyait sur un modèle probabiliste existant appelé pixelCNN pour générer des traductions de pixels. Le logiciel proposé utilise deux réseaux de neurones pour faire des approximations de la composition des pixels des images traduites. Le premier réseau, appelé « réseau de conditionnement », réduit les images haute résolution à 8x8 et tente de créer des correspondances entre l'image 8x8 d'origine et ces images haute résolution. Le second réseau, appelé « réseau prior », utilise les correspondances du précédent réseau pour ajouter plus de détails à l'image d'origine. L'image traduite résultante n'est pas la même image en haute résolution, mais plutôt une image 32x32 approximative basée sur d'autres images haute résolution existantes. Les résultats de Google Brain ont démontré le potentiel des réseaux de neurones à améliorer les images.
Google Traduction
Google Brain a contribué au projet Google Traduction en employant un nouveau système d'apprentissage profond qui combine de vastes bases de données de textes multilingues. En septembre 2016, Google Traduction neuronal (GNMT) a été lancé, un framework d'apprentissage de bout en bout, capable d'apprendre à partir d'un grand nombre d'exemples. Auparavant, le modèle de traduction statistique par phrases (PBMT) de Google Traduction analysait statistiquement chaque mot et cherchait des correspondances dans d'autres langues sans tenir compte des expressions environnantes dans la phrase. Mais plutôt que de choisir un remplacement pour chaque mot individuel dans la langue souhaitée, le GNMT évalue des segments de mots dans le contexte du reste de la phrase pour sélectionner des traductions plus précises. Par rapport aux anciens modèles PBMT, le modèle GNMT a montré une amélioration de 24 % de la similarité avec la traduction humaine. Le GNMT a également montré une amélioration significative pour des traductions notoirement difficiles, comme celles du chinois vers l'anglais.
Bien que l'introduction du GNMT ait amélioré la qualité des traductions pour les langues pilotes, il était très difficile de réaliser de telles améliorations pour ses 103 langues. Pour résoudre ce problème, l'équipe de Google Brain a développé un système GNMT multilingue, étendant le système précédent pour permettre des traductions entre plusieurs langues. De plus, il permet des traductions zero-shot, c'est-à-dire des traductions entre deux langues que le système n'a jamais vues explicitement. Google a annoncé que Google Traduction peut désormais également traduire sans transcrire, en utilisant des réseaux de neurones. Cela signifie qu'il est possible de traduire la parole directement dans une autre langue sans la transcrire d'abord en texte. Pour apprendre cela, les chercheurs ont exposé le système à des paires audio-texte, lui permettant de mapper directement les sons vers des traductions écrites.
Les travaux sur le GNMT et l'architecture Transformer ont positionné Google Brain comme un leader dans l'apprentissage par séquence à séquence et la recherche en apprentissage automatique, influençant les développements ultérieurs des modèles basés sur IA générative et Transformer.