Google Brain foi uma equipe de pesquisa em inteligência artificial e aprendizado profundo que serviu como o único ramo de IA do Google antes de ser incorporada ao guarda-chuva mais amplo do Google AI, uma divisão de pesquisa do Google dedicada à inteligência artificial. Formada em 2011, combinava pesquisa de aprendizado de máquina de finalidade aberta com sistemas de informação e recursos computacionais em larga escala. Criou ferramentas como o TensorFlow, que permitem que redes neurais sejam usadas pelo público, e diversos projetos internos de pesquisa em IA, com o objetivo de criar oportunidades de pesquisa em aprendizado de máquina e processamento de linguagem natural. Foi fundida à antiga empresa irmã do Google, a DeepMind, para formar o Google DeepMind em abril de 2023.
O projeto originou-se no Google X como uma colaboração entre os pesquisadores do Google Jeff Dean e Greg Corrado e o professor de Stanford Andrew Ng. Tornou-se um motor-chave dos avanços em aprendizado profundo dentro da empresa, produzindo ferramentas e modelos influentes que moldaram o campo mais amplo da inteligência artificial.
História
O projeto Google Brain começou em 2011 no Google X como uma colaboração de pesquisa envolvendo os pesquisadores do Google Jeff Dean e Greg Corrado e o professor de Stanford Andrew Ng. Em 2012, a equipe treinou uma rede neural em larga escala com 10 milhões de imagens de vídeos do YouTube; o sistema aprendeu a reconhecer conceitos de alto nível, incluindo gatos, sem ser explicitamente treinado para identificá-los. Essa demonstração destacou o potencial do aprendizado profundo para aprender características a partir de dados brutos.
O Google expandiu sua pesquisa em aprendizado profundo em 2013 ao contratar Geoffrey Hinton e adquirir a DNNResearch, que ele havia fundado com Alex Krizhevsky e Ilya Sutskever. Mais tarde naquele ano, Tomáš Mikolov e seus colegas do Google Brain desenvolveram o word2vec, um método para aprender incorporações de palavras a partir de grandes coleções de texto. Essa técnica tornou-se fundamental para o processamento de linguagem natural.
Em 2015, o Google disponibilizou como código aberto o TensorFlow, um framework desenvolvido pela equipe do Google Brain para desenvolver e treinar modelos de aprendizado de máquina. O TensorFlow tornou-se uma das bibliotecas de aprendizado de máquina mais amplamente utilizadas, permitindo aplicações tanto de pesquisa quanto de produção.
Em 2017, pesquisadores do Google introduziram a arquitetura Transformer no artigo "Attention Is All You Need". Inicialmente desenvolvida para tradução automática, ela posteriormente tornou-se a arquitetura dominante para modelos de linguagem de grande escala, alimentando sistemas como GPT e BERT. O mecanismo de autoatenção do Transformer permitiu um processamento paralelo mais eficiente e um melhor tratamento de dependências de longo alcance no texto.
Em abril de 2023, o Google Brain fundiu-se com a DeepMind para formar o Google DeepMind, como parte dos esforços contínuos da empresa para acelerar o trabalho em IA. A entidade combinada visava consolidar talentos e recursos de pesquisa sob um único guarda-chuva, com foco no avanço da IA de forma segura e responsável.
Equipe e localização
O Google Brain foi inicialmente estabelecido pelo Google Fellow Jeff Dean e pelo professor visitante de Stanford Andrew Ng. Em 2014, a equipe incluía Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio e Vincent Vanhoucke. Em 2017, os membros da equipe incluíam Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan e Fernanda Viegas. Chris Lattner, que criou a linguagem de programação Swift da Apple e depois liderou a equipe de autonomia da Tesla por seis meses, juntou-se à equipe do Google Brain em agosto de 2017. Lattner deixou a equipe em janeiro de 2020 e juntou-se à SiFive.
Em 2021, o Google Brain era liderado por Jeff Dean, Geoffrey Hinton e Zoubin Ghahramani. Outros membros incluíam Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle e David Ha. Samy Bengio deixou a equipe em abril de 2021, e Zoubin Ghahramani assumiu suas responsabilidades.
O Google Research inclui o Google Brain e está sediado em Mountain View. Também possui grupos satélites em Acra, Amsterdã, Atlanta, Pequim, Berlim, Cambridge, Israel, Los Angeles, Londres, Montreal, Munique, Nova York, Paris, Pittsburgh, Princeton, São Francisco, Seattle, Tóquio, Toronto e Zurique.
Projetos
Sistema de criptografia concebido por inteligência artificial
Em outubro de 2016, o Google Brain projetou um experimento para determinar que redes neurais são capazes de aprender criptografia simétrica segura. Nesse experimento, três redes neurais foram criadas: Alice, Bob e Eve. Seguindo a ideia de uma rede adversarial generativa (GAN), o objetivo do experimento era que Alice enviasse uma mensagem criptografada a Bob que Bob pudesse descriptografar, mas que a adversária, Eve, não pudesse. Alice e Bob mantinham uma vantagem sobre Eve, pois compartilhavam uma chave usada para criptografia e descriptografia. Ao fazer isso, o Google Brain demonstrou a capacidade de redes neurais de aprender criptografia segura.
Aprimoramento de imagens
Em fevereiro de 2017, o Google Brain determinou um método probabilístico para converter imagens com resolução de 8x8 para uma resolução de 32x32. O método baseava-se em um modelo probabilístico já existente chamado pixelCNN para gerar traduções de pixels. O software proposto utiliza duas redes neurais para fazer aproximações da composição de pixels das imagens traduzidas. A primeira rede, conhecida como "rede de condicionamento", reduz imagens de alta resolução para 8x8 e tenta criar mapeamentos da imagem original de 8x8 para essas imagens de resolução mais alta. A outra rede, conhecida como "rede anterior", usa os mapeamentos da rede anterior para adicionar mais detalhes à imagem original. A imagem traduzida resultante não é a mesma imagem em resolução mais alta, mas sim uma estimativa de resolução 32x32 baseada em outras imagens de alta resolução existentes. Os resultados do Google Brain indicam a possibilidade de redes neurais aprimorarem imagens.
Google Tradutor
O Google Brain contribuiu para o projeto Google Tradutor ao empregar um novo sistema de aprendizado profundo que combina redes neurais artificiais com vastos bancos de dados de textos multilíngues. Em setembro de 2016, foi lançado o Google Neural Machine Translation (GNMT), um framework de aprendizado de ponta a ponta, capaz de aprender a partir de um grande número de exemplos. Anteriormente, a abordagem de Tradução Automática Baseada em Frases (PBMT) do Google Tradutor analisava estatisticamente palavra por palavra e tentava corresponder palavras em outros idiomas sem considerar as frases circundantes na sentença. Mas, em vez de escolher uma substituição para cada palavra individual no idioma desejado, o GNMT avalia segmentos de palavras no contexto do restante da frase para escolher substituições mais precisas. Em comparação com modelos PBMT mais antigos, o modelo GNMT obteve uma melhoria de 24% na similaridade com a tradução humana, com uma redução de 60% nos erros. O GNMT também mostrou melhoria significativa para traduções notoriamente difíceis, como do chinês para o inglês.
Embora a introdução do GNMT tenha aumentado a qualidade das traduções do Google Tradutor para os idiomas piloto, foi muito difícil criar tais melhorias para todos os seus 103 idiomas. Abordando esse problema, a equipe do Google Brain conseguiu desenvolver um sistema GNMT multilíngue, que estendia o anterior ao permitir traduções entre vários idiomas. Além disso, permite Traduções Zero-Shot, que são traduções entre dois idiomas que o sistema nunca viu explicitamente antes. O Google anunciou que o Google Tradutor agora também pode traduzir sem transcrever, usando redes neurais. Isso significa que é possível traduzir fala em um idioma diretamente para texto em outro idioma, sem primeiro transcrevê-la para texto. De acordo com os pesquisadores do Google Brain, essa etapa intermediária pode ser evitada usando redes neurais. Para que o sistema aprendesse isso, eles o expuseram a pares de áudio e texto, permitindo que mapeasse sons diretamente para traduções escritas.
O trabalho no GNMT e na arquitetura Transformer posicionou o Google Brain como um líder em aprendizado sequência a sequência e pesquisa em aprendizado de máquina, influenciando desenvolvimentos subsequentes em IA generativa e modelos baseados em transformers.