Google Brain fue un equipo de investigación de aprendizaje profundo en inteligencia artificial que sirvió como la única rama de IA de Google antes de incorporarse bajo el paraguas más reciente de Google AI, una división de investigación de Google dedicada a la inteligencia artificial. Formado en 2011, combinaba investigación de aprendizaje automático de código abierto con sistemas de información y recursos informáticos a gran escala. Creó herramientas como TensorFlow, que permiten que las redes neuronales sean utilizadas por el público, y varios proyectos internos de investigación en IA, y tenía como objetivo crear oportunidades de investigación en aprendizaje automático y procesamiento del lenguaje natural. Se fusionó con la antigua empresa hermana de Google, DeepMind, para formar Google DeepMind en abril de 2023.
El proyecto se originó en Google X como una colaboración entre los investigadores de Google Jeff Dean y Greg Corrado y el profesor de Stanford Andrew Ng. Se convirtió en un motor clave de los avances en aprendizaje profundo dentro de la empresa, produciendo herramientas y modelos influyentes que dieron forma al campo más amplio de la inteligencia artificial.
Historia
El proyecto Google Brain comenzó en 2011 en Google X como una colaboración de investigación que involucraba a los investigadores de Google Jeff Dean y Greg Corrado y al profesor de Stanford Andrew Ng. En 2012, el equipo entrenó una red neuronal a gran escala con 10 millones de imágenes de videos de YouTube; el sistema aprendió a reconocer conceptos de alto nivel, incluidos gatos, sin ser entrenado explícitamente para identificarlos. Esta demostración destacó el potencial del aprendizaje profundo para aprender características directamente de los datos.
Google expandió su investigación en aprendizaje profundo en 2013 al contratar a Geoffrey Hinton y adquirir DNNResearch, que él había fundado con Alex Krizhevsky e Ilya Sutskever. Más tarde ese año, Tomáš Mikolov y sus colegas de Google Brain desarrollaron word2vec, un método para aprender representaciones vectoriales de palabras a partir de grandes colecciones de texto. Esta técnica se volvió fundamental para el procesamiento del lenguaje natural.
En 2015, Google publicó como código abierto TensorFlow, un marco de trabajo desarrollado por el equipo de Google Brain para crear y entrenar modelos de aprendizaje automático. TensorFlow se convirtió en una de las bibliotecas de aprendizaje automático más utilizadas, habilitando aplicaciones tanto en investigación como en producción.
En 2017, los investigadores de Google presentaron la arquitectura Transformer en el artículo "Attention Is All You Need". Inicialmente desarrollada para traducción automática, más tarde se convirtió en la arquitectura dominante para los modelos de lenguaje de gran tamaño, impulsando sistemas como GPT y BERT. El mecanismo de autoatención del Transformer permitió un procesamiento paralelo más eficiente y un mejor manejo de dependencias de largo alcance en el texto.
En abril de 2023, Google Brain se fusionó con DeepMind para formar Google DeepMind, como parte de los esfuerzos continuos de la empresa para acelerar el trabajo en IA. La entidad combinada tenía como objetivo consolidar el talento y los recursos de investigación bajo un mismo techo, centrándose en avanzar la IA de manera segura y responsable.
Equipo y ubicación
Google Brain fue establecido inicialmente por el Google Fellow Jeff Dean y el profesor visitante de Stanford Andrew Ng. En 2014, el equipo incluía a Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio y Vincent Vanhoucke. En 2017, los miembros del equipo incluían a Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan y Fernanda Viegas. Chris Lattner, quien creó el lenguaje de programación Swift de Apple y luego dirigió el equipo de conducción autónoma de Tesla durante seis meses, se unió al equipo de Google Brain en agosto de 2017. Lattner dejó el equipo en enero de 2020 y se unió a SiFive.
En 2021, Google Brain estaba dirigido por Jeff Dean, Geoffrey Hinton y Zoubin Ghahramani. Otros miembros incluían a Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle y David Ha. Samy Bengio dejó el equipo en abril de 2021, y Zoubin Ghahramani asumió sus responsabilidades.
Google Research incluye a Google Brain y tiene su sede en Mountain View. También cuenta con grupos satélite en Acra, Atlanta, Pekín, Berlín, Cambridge, Israel, Los Ángeles, Londres, Montreal, Múnich, Nueva York, París, Pittsburgh, Princeton, San Francisco, Seattle, Tokio, Toronto y Zúrich.
Proyectos
Sistema de cifrado ideado por inteligencia artificial
En octubre de 2016, Google Brain diseñó un experimento para determinar si las redes neuronales son capaces de aprender cifrado simétrico seguro. En este experimento, se crearon tres redes neuronales: Alice, Bob y Eve. Siguiendo la idea de una red generativa antagónica (GAN), el objetivo era que Alice enviara un mensaje cifrado a Bob que Bob pudiera descifrar, pero que Eve, la adversaria, no pudiera. Alice y Bob mantuvieron una ventaja sobre Eve al compartir una clave utilizada para el cifrado y descifrado. Al hacerlo, Google Brain demostró la capacidad de las redes neuronales para aprender cifrado seguro.
Mejora de imágenes
En febrero de 2017, Google Brain determinó un método probabilístico para convertir imágenes de resolución 8x8 a resolución 32x32. El método se basaba en un modelo probabilístico existente llamado PixelCNN para generar traducciones de píxeles. El software propuesto utiliza dos redes neuronales para hacer aproximaciones de la composición de píxeles de las imágenes traducidas. La primera red, conocida como "red de condicionamiento", reduce imágenes de alta resolución a 8x8 e intenta crear mapeos desde la imagen original de 8x8 a las versiones de mayor resolución. La segunda red, conocida como "red previa", utiliza los mapeos de la red anterior para añadir más detalle a la imagen original. El resultado no es la misma imagen en mayor resolución, sino una estimación de 32x32 basada en otras imágenes de alta resolución existentes. Los resultados de Google Brain indicaron la posibilidad de que las redes neuronales mejoren imágenes.
Google Translate
Google Brain contribuyó al proyecto Google Translate empleando un nuevo sistema de aprendizaje profundo que combina redes neuronales artificiales con vastas bases de datos de textos multilingües. En septiembre de 2016, se lanzó Google Neural Machine Translation (GNMT), un marco de aprendizaje de extremo a extremo capaz de aprender de una gran cantidad de ejemplos. Anteriormente, el enfoque de traducción automática basada en frases (PBMT) de Google Translate analizaba estadísticamente palabra por palabra e intentaba encontrar correspondencias en otros idiomas sin considerar las frases circundantes. Pero en lugar de elegir un reemplazo para cada palabra individual en el idioma deseado, GNMT evalúa segmentos de palabras en el contexto del resto de la oración para elegir reemplazos más precisos. En comparación con los modelos PBMT más antiguos, el modelo GNMT obtuvo una mejora del 24% en similitud con la traducción humana, con una reducción del 60% en errores. GNMT también mostró una mejora significativa en traducciones notoriamente difíciles, como las del chino al inglés.
Si bien la introducción de GNMT aumentó la calidad de las traducciones de Google Translate para los idiomas piloto, fue muy difícil lograr tales mejoras para los 103 idiomas que soporta. Para abordar este problema, el equipo de Google Brain pudo desarrollar un sistema GNMT multilingüe, que extendió el anterior al permitir traducciones entre múltiples idiomas. Además, permite traducciones de cero disparo, que son traducciones entre dos idiomas que el sistema nunca ha visto explícitamente. Google anunció que Google Translate ahora también puede traducir sin transcribir, utilizando redes neuronales. Esto significa que es posible traducir voz de un idioma directamente a texto en otro, sin transcribir primero el audio. Según los investigadores de Google Brain, este paso intermedio se puede evitar utilizando redes neuronales. Para que el sistema aprenda esto, lo expusieron a pares de audio y texto, lo que le permitió mapear sonidos directamente a traducciones escritas.
El trabajo en GNMT y la arquitectura Transformer posicionó a Google Brain como líder en aprendizaje secuencia a secuencia e investigación en aprendizaje automático, influyendo en desarrollos posteriores en IA generativa y modelos basados en transformador.