Google Brain fue un equipo de investigación de inteligencia artificial de Deep learning que sirvió como la única rama de IA de Google antes de ser incorporado bajo el paraguas más nuevo de Google AI, una división de investigación en Google dedicada a la inteligencia artificial. Formado en 2011, combinaba investigación de aprendizaje automático de código abierto con sistemas de información y recursos informáticos a gran escala. Creó herramientas como TensorFlow, que permiten que las redes neuronales sean utilizadas por el público, y múltiples proyectos internos de investigación en IA, y tenía como objetivo crear oportunidades de investigación en aprendizaje automático y procesamiento del lenguaje natural. Se fusionó con la antigua empresa hermana de Google, DeepMind, para formar Google DeepMind en abril de 2023.
El equipo era conocido por su trabajo pionero en aprendizaje profundo, incluido el desarrollo de la arquitectura Transformer (architecture), que se volvió fundamental para los grandes modelos de lenguaje. Su investigación abarcó áreas como la mejora de imágenes, la traducción automática e incluso el cifrado ideado por inteligencia artificial.
Historia
El proyecto Google Brain comenzó en 2011 en Google X como una colaboración de investigación que involucraba a los investigadores de Google Jeff Dean y Greg Corrado y al profesor de Stanford Andrew Ng. En 2012, el equipo entrenó una red neuronal a gran escala en 10 millones de imágenes de videos de YouTube; el sistema aprendió a reconocer conceptos de alto nivel, incluidos gatos, sin ser entrenado explícitamente para identificarlos.
Google expandió su investigación en aprendizaje profundo en 2013 al contratar a Geoffrey Hinton y adquirir DNNResearch, que él había establecido con Alex Krizhevsky e Ilya Sutskever. Más tarde ese año, Tomáš Mikolov y sus colegas en Google Brain desarrollaron word2vec, un método para aprender incrustaciones de palabras a partir de grandes colecciones de texto.
En 2015, Google publicó como código abierto TensorFlow, un marco desarrollado por el equipo de Google Brain para desarrollar y entrenar modelos de aprendizaje automático. En 2017, los investigadores de Google introdujeron la arquitectura Transformer en el artículo "Attention Is All You Need". Inicialmente desarrollada para la traducción automática, luego se convirtió en la arquitectura dominante para los grandes modelos de lenguaje.
En abril de 2023, Google Brain se fusionó con DeepMind para formar Google DeepMind, como parte de los esfuerzos continuos de la empresa para acelerar el trabajo en IA.
Equipo y ubicación
Google Brain fue establecido inicialmente por el becario de Google Jeff Dean y el profesor visitante de Stanford Andrew Ng. En 2014, el equipo incluía a Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio y Vincent Vanhoucke. En 2017, los miembros del equipo incluían a Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan y Fernanda Viegas. Chris Lattner, quien creó el lenguaje de programación de Apple Swift y luego dirigió el equipo de autonomía de Tesla durante seis meses, se unió al equipo de Google Brain en agosto de 2017. Lattner dejó el equipo en enero de 2020 y se unió a SiFive.
A partir de 2021, Google Brain estaba dirigido por Jeff Dean, Geoffrey Hinton y Zoubin Ghahramani. Otros miembros incluían a Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle y David Ha. Samy Bengio dejó el equipo en abril de 2021, y Zoubin Ghahramani asumió sus responsabilidades.
Google Research incluye a Google Brain y tiene su sede en Mountain View. También tiene grupos satélite en Acra, Ámsterdam, Atlanta, Pekín, Berlín, Cambridge, Israel, Los Ángeles, Londres, Montreal, Múnich, Nueva York, París, Pittsburgh, Princeton, San Francisco, Seattle, Tokio, Toronto y Zúrich.
Proyectos
Sistema de cifrado ideado por inteligencia artificial
En octubre de 2016, Google Brain diseñó un experimento para determinar que las redes neuronales son capaces de aprender cifrado simétrico seguro. En este experimento, se crearon tres redes neuronales: Alice, Bob y Eve. Siguiendo la idea de una red generativa adversarial (GAN), el objetivo del experimento era que Alice enviara un mensaje cifrado a Bob que Bob pudiera descifrar, pero que la adversaria, Eve, no pudiera. Alice y Bob mantenían una ventaja sobre Eve, ya que compartían una clave utilizada para el cifrado y descifrado. Al hacerlo, Google Brain demostró la capacidad de las redes neuronales para aprender cifrado seguro.
Mejora de imágenes
En febrero de 2017, Google Brain determinó un método probabilístico para convertir imágenes con resolución de 8x8 a una resolución de 32x32. El método se basaba en un modelo probabilístico ya existente llamado pixelCNN para generar traducciones de píxeles. El software propuesto utiliza dos redes neuronales para hacer aproximaciones sobre la composición de píxeles de las imágenes traducidas. La primera red, conocida como "red de acondicionamiento", reduce el tamaño de imágenes de alta resolución a 8x8 e intenta crear mapeos desde la imagen original de 8x8 a estas de mayor resolución. La otra red, conocida como "red previa", utiliza los mapeos de la red anterior para agregar más detalle a la imagen original. La imagen traducida resultante no es la misma imagen en mayor resolución, sino una estimación de resolución de 32x32 basada en otras imágenes de alta resolución existentes. Los resultados de Google Brain indican la posibilidad de que las redes neuronales mejoren las imágenes.
Google Translate
Google Brain contribuyó al proyecto Google Translate empleando un nuevo sistema de aprendizaje profundo que combina redes neuronales artificiales con vastas bases de datos de textos multilingües. En septiembre de 2016, se lanzó Google Neural Machine Translation (GNMT), un marco de aprendizaje de extremo a extremo, capaz de aprender de una gran cantidad de ejemplos. Anteriormente, el enfoque de traducción automática basada en frases (PBMT) de Google Translate analizaba estadísticamente palabra por palabra e intentaba hacer coincidir palabras correspondientes en otros idiomas sin considerar las frases circundantes en la oración. Pero en lugar de elegir un reemplazo para cada palabra individual en el idioma deseado, GNMT evalúa segmentos de palabras en el contexto del resto de la oración para elegir reemplazos más precisos. En comparación con los modelos PBMT más antiguos, el modelo GNMT obtuvo una mejora del 24% en similitud con la traducción humana, con una reducción del 60% en errores. El GNMT también ha mostrado una mejora significativa para traducciones notoriamente difíciles, como del chino al inglés.
Si bien la introducción del GNMT ha aumentado la calidad de las traducciones de Google Translate para los idiomas piloto, fue muy difícil crear tales mejoras para todos sus 103 idiomas. Abordando este problema, el equipo de Google Brain pudo desarrollar un sistema GNMT multilingüe, que extendió el anterior al permitir traducciones entre múltiples idiomas. Además, permite traducciones de cero disparo, que son traducciones entre dos idiomas que el sistema nunca ha visto explícitamente antes. Google anunció que Google Translate ahora también puede traducir sin transcribir, utilizando redes neuronales. Esto significa que es posible traducir el habla en un idioma directamente a texto en otro idioma, sin primero transcribirla a texto. Según los investigadores de Google Brain, este paso intermedio se puede evitar utilizando redes neuronales. Para que el sistema aprendiera esto, lo expusieron a pares de audio y texto en múltiples idiomas, lo que permite la traducción directa de habla a texto.
Legado
Las contribuciones de Google Brain han tenido un impacto duradero en el campo de la IA. TensorFlow sigue siendo uno de los marcos de aprendizaje automático más utilizados a nivel mundial, y la arquitectura Transformer sustenta muchos grandes modelos de lenguaje modernos, incluidos los desarrollados por OpenAI, Anthropic y otros. La investigación del equipo sobre modelos secuencia a secuencia, atención de múltiples cabezas y codificación posicional se ha convertido en estándar en el procesamiento del lenguaje natural. La fusión con DeepMind en 2023 consolidó los esfuerzos de investigación en IA de Google, basándose en los cimientos establecidos por Google Brain.