Google Brain était une équipe de recherche en intelligence artificielle spécialisée dans l'deep-learning, qui servait de branche unique d'IA chez Google avant d'être intégrée sous l'égide plus large de Google AI, une division de recherche chez Google dédiée à l'artificial-intelligence. Formée en 2011, elle combinait la recherche en machine-learning à visée ouverte avec des systèmes d'information et des ressources de calcul à grande échelle. Elle a créé des outils tels que TensorFlow, qui permettent au public d'utiliser des neural networks, ainsi que plusieurs projets internes de recherche en IA, et visait à créer des opportunités de recherche en apprentissage automatique et en natural language processing. Elle a été fusionnée avec l'ancienne société sœur de Google, DeepMind, pour former Google DeepMind en avril 2023.
L'équipe était connue pour son travail pionnier en apprentissage profond, notamment le développement de l'architecture Transformer (architecture), qui est devenue fondamentale pour les large language models. Ses recherches couvraient des domaines tels que l'amélioration d'images, la traduction automatique et même le chiffrement conçu par l'IA.
Histoire
Le projet Google Brain a commencé en 2011 chez Google X comme une collaboration de recherche impliquant les chercheurs de Google Jeff Dean et Greg Corrado, ainsi que le professeur de Stanford Andrew Ng. En 2012, l'équipe a entraîné un réseau de neurones à grande échelle sur 10 millions d'images provenant de vidéos YouTube ; le système a appris à reconnaître des concepts de haut niveau, y compris des chats, sans avoir été explicitement entraîné à les identifier.
Google a élargi sa recherche en apprentissage profond en 2013 en embauchant Geoffrey Hinton et en acquérant DNNResearch, qu'il avait fondée avec Alex Krizhevsky et Ilya Sutskever. Plus tard cette année-là, Tomáš Mikolov et ses collègues de Google Brain ont développé word2vec, une méthode pour apprendre des plongements de mots à partir de grandes collections de textes.
En 2015, Google a open-sourcé TensorFlow, un cadre développé par l'équipe Google Brain pour développer et entraîner des modèles d'apprentissage automatique. En 2017, les chercheurs de Google ont introduit l'architecture Transformer dans l'article « Attention Is All You Need ». Initialement développée pour la traduction automatique, elle est devenue plus tard l'architecture dominante pour les grands modèles de langage.
En avril 2023, Google Brain a fusionné avec DeepMind pour former Google DeepMind, dans le cadre des efforts continus de l'entreprise pour accélérer le travail sur l'IA.
Équipe et localisation
Google Brain a été initialement établi par le Google Fellow Jeff Dean et le professeur invité de Stanford Andrew Ng. En 2014, l'équipe comprenait Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio et Vincent Vanhoucke. En 2017, les membres de l'équipe comprenaient Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan et Fernanda Viegas. Chris Lattner, qui a créé le langage de programmation Swift d'Apple puis a dirigé l'équipe d'autonomie de Tesla pendant six mois, a rejoint l'équipe Google Brain en août 2017. Lattner a quitté l'équipe en janvier 2020 et a rejoint SiFive.
En 2021, Google Brain était dirigé par Jeff Dean, Geoffrey Hinton et Zoubin Ghahramani. D'autres membres comprenaient Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle et David Ha. Samy Bengio a quitté l'équipe en avril 2021, et Zoubin Ghahramani a repris ses responsabilités.
Google Research inclut Google Brain et est basé à Mountain View. Il possède également des groupes satellites à Accra, Amsterdam, Atlanta, Beijing, Berlin, Cambridge, Israël, Los Angeles, Londres, Montréal, Munich, New York, Paris, Pittsburgh, Princeton, San Francisco, Seattle, Tokyo, Toronto et Zurich.
Projets
Système de chiffrement conçu par l'IA
En octobre 2016, Google Brain a conçu une expérience pour déterminer que les réseaux de neurones sont capables d'apprendre un chiffrement symétrique sécurisé. Dans cette expérience, trois réseaux de neurones ont été créés : Alice, Bob et Eve. En adhérant à l'idée d'un réseau antagoniste génératif (GAN), l'objectif de l'expérience était qu'Alice envoie un message chiffré à Bob que Bob puisse déchiffrer, mais que l'adversaire, Eve, ne puisse pas. Alice et Bob maintenaient un avantage sur Eve, car ils partageaient une clé utilisée pour le chiffrement et le déchiffrement. Ce faisant, Google Brain a démontré la capacité des réseaux de neurones à apprendre un chiffrement sécurisé.
Amélioration d'images
En février 2017, Google Brain a déterminé une méthode probabiliste pour convertir des images avec une résolution de 8x8 en une résolution de 32x32. La méthode s'appuyait sur un modèle probabiliste déjà existant appelé pixelCNN pour générer des traductions de pixels. Le logiciel proposé utilise deux réseaux de neurones pour faire des approximations de la composition en pixels des images traduites. Le premier réseau, connu sous le nom de « réseau de conditionnement », réduit les images haute résolution à 8x8 et tente de créer des correspondances entre l'image originale 8x8 et ces images haute résolution. L'autre réseau, connu sous le nom de « réseau prior », utilise les correspondances du réseau précédent pour ajouter plus de détails à l'image originale. L'image traduite résultante n'est pas la même image en haute résolution, mais plutôt une estimation en résolution 32x32 basée sur d'autres images haute résolution existantes. Les résultats de Google Brain indiquent la possibilité pour les réseaux de neurones d'améliorer les images.
Google Traduction
Google Brain a contribué au projet Google Traduction en employant un nouveau système d'apprentissage profond qui combine des réseaux de neurones artificiels avec de vastes bases de données de textes multilingues. En septembre 2016, Google Neural Machine Translation (GNMT) a été lancé, un cadre d'apprentissage de bout en bout, capable d'apprendre à partir d'un grand nombre d'exemples. Auparavant, l'approche de traduction automatique basée sur les phrases (PBMT) de Google Traduction analysait statistiquement mot par mot et tentait de faire correspondre les mots correspondants dans d'autres langues sans considérer les phrases environnantes dans la phrase. Mais plutôt que de choisir un remplacement pour chaque mot individuel dans la langue souhaitée, GNMT évalue des segments de mots dans le contexte du reste de la phrase pour choisir des remplacements plus précis. Par rapport aux anciens modèles PBMT, le modèle GNMT a obtenu une amélioration de 24 % de la similarité avec la traduction humaine, avec une réduction de 60 % des erreurs. Le GNMT a également montré une amélioration significative pour des traductions notoirement difficiles, comme du chinois vers l'anglais.
Bien que l'introduction du GNMT ait augmenté la qualité des traductions de Google Traduction pour les langues pilotes, il était très difficile de créer de telles améliorations pour toutes ses 103 langues. Pour résoudre ce problème, l'équipe Google Brain a pu développer un système GNMT multilingue, qui étendait le précédent en permettant des traductions entre plusieurs langues. De plus, il permet des traductions Zero-Shot, c'est-à-dire des traductions entre deux langues que le système n'a jamais vues explicitement auparavant. Google a annoncé que Google Traduction peut désormais également traduire sans transcrire, en utilisant des réseaux de neurones. Cela signifie qu'il est possible de traduire la parole dans une langue directement en texte dans une autre langue, sans d'abord la transcrire en texte. Selon les chercheurs de Google Brain, cette étape intermédiaire peut être évitée en utilisant des réseaux de neurones. Pour que le système apprenne cela, ils l'ont exposé à des paires audio et texte dans plusieurs langues, permettant une traduction directe de la parole en texte.
Héritage
Les contributions de Google Brain ont eu un impact durable sur le domaine de l'IA. TensorFlow reste l'un des cadres d'apprentissage automatique les plus utilisés au monde, et l'architecture Transformer sous-tend de nombreux grands modèles de langage modernes, y compris ceux développés par OpenAI, Anthropic et d'autres. Les recherches de l'équipe sur les modèles Sequence-to-Sequence (Seq2Seq), l'Multi-Head Attention et le Positional Encoding sont devenues standard dans le traitement du langage naturel. La fusion avec DeepMind en 2023 a consolidé les efforts de recherche en IA de Google, en s'appuyant sur les fondations posées par Google Brain.