Google Brain war ein Forschungsteam für künstliche Intelligenz im Bereich Deep Learning, das als einziger KI-Zweig von Google diente, bevor es unter dem neueren Dach von Google AI eingegliedert wurde, einer Forschungsabteilung bei Google, die sich der künstlichen Intelligenz widmet. Es wurde 2011 gegründet und kombinierte offene Forschung im maschinellen Lernen mit Informationssystemen und Rechenressourcen im großen Maßstab. Es entwickelte Werkzeuge wie TensorFlow, die es der Öffentlichkeit ermöglichen, neuronale Netze zu nutzen, sowie mehrere interne KI-Forschungsprojekte, und zielte darauf ab, Forschungsmöglichkeiten im maschinellen Lernen und in der Verarbeitung natürlicher Sprache zu schaffen. Im April 2023 wurde es mit dem ehemaligen Google-Schwesterunternehmen DeepMind zu Google DeepMind zusammengeführt.
Das Projekt entstand bei Google X als Zusammenarbeit zwischen den Google-Forschern Jeff Dean und Greg Corrado sowie dem Stanford-Professor Andrew Ng. Es wurde zu einem wichtigen Treiber für Fortschritte im Deep Learning innerhalb des Unternehmens und produzierte einflussreiche Werkzeuge und Modelle, die das breitere Feld der künstlichen Intelligenz prägten.
Geschichte
Das Google-Brain-Projekt begann 2011 bei Google X als Forschungskooperation, an der die Google-Forscher Jeff Dean und Greg Corrado sowie der Stanford-Professor Andrew Ng beteiligt waren. Im Jahr 2012 trainierte das Team ein groß angelegtes neuronales Netz auf 10 Millionen Bildern aus YouTube-Videos; das System lernte, hochrangige Konzepte einschließlich Katzen zu erkennen, ohne explizit darauf trainiert worden zu sein, sie zu identifizieren. Diese Demonstration verdeutlichte das Potenzial des Deep Learning, Merkmale aus Rohdaten zu lernen.
Google erweiterte seine Forschung im Deep Learning im Jahr 2013 durch die Einstellung von Geoffrey Hinton und die Übernahme von DNNResearch, das er zusammen mit Alex Krizhevsky und Ilya Sutskever gegründet hatte. Später in diesem Jahr entwickelten Tomáš Mikolov und seine Kollegen bei Google Brain word2vec, eine Methode zum Lernen von Worteinbettungen aus großen Textsammlungen. Diese Technik wurde grundlegend für die Verarbeitung natürlicher Sprache.
Im Jahr 2015 veröffentlichte Google TensorFlow als Open Source, ein Framework, das vom Google-Brain-Team zur Entwicklung und zum Training von Modellen des maschinellen Lernens entwickelt wurde. TensorFlow wurde zu einer der am weitesten verbreiteten Machine-Learning-Bibliotheken und ermöglichte sowohl Forschungs- als auch Produktionsanwendungen.
Im Jahr 2017 führten Google-Forscher die Transformer-Architektur im Paper „Attention Is All You Need" ein. Ursprünglich für die maschinelle Übersetzung entwickelt, wurde sie später zur dominierenden Architektur für Large Language Models und trieb Systeme wie GPT und BERT an. Der Selbstaufmerksamkeitsmechanismus des Transformers ermöglichte eine effizientere parallele Verarbeitung und eine bessere Handhabung langreichweitiger Abhängigkeiten in Texten.
Im April 2023 fusionierte Google Brain mit DeepMind zu Google DeepMind, als Teil der fortgesetzten Bemühungen des Unternehmens, die Arbeit an KI zu beschleunigen. Das zusammengeführte Unternehmen zielte darauf ab, Forschungstalente und Ressourcen unter einem Dach zu bündeln, mit dem Fokus auf der sicheren und verantwortungsvollen Weiterentwicklung von KI.
Team und Standort
Google Brain wurde ursprünglich von Google Fellow Jeff Dean und dem Gastprofessor der Stanford University, Andrew Ng, gegründet. Im Jahr 2014 umfasste das Team Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio und Vincent Vanhoucke. Im Jahr 2017 gehörten zum Team Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan und Fernanda Viegas. Chris Lattner, der die Programmiersprache Swift von Apple entwickelte und dann sechs Monate lang das Autonomie-Team von Tesla leitete, schloss sich im August 2017 dem Team von Google Brain an. Lattner verließ das Team im Januar 2020 und wechselte zu SiFive.
Ab 2021 wurde Google Brain von Jeff Dean, Geoffrey Hinton und Zoubin Ghahramani geleitet. Weitere Mitglieder waren Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle und David Ha. Samy Bengio verließ das Team im April 2021, und Zoubin Ghahramani übernahm seine Aufgaben.
Google Research umfasst Google Brain und hat seinen Sitz in Mountain View. Es gibt außerdem Satellitengruppen in Accra, Amsterdam, Atlanta, Peking, Berlin, Cambridge, Israel, Los Angeles, London, Montreal, München, New York City, Paris, Pittsburgh, Princeton, San Francisco, Seattle, Tokio, Toronto und Zürich.
Projekte
Von künstlicher Intelligenz entwickeltes Verschlüsselungssystem
Im Oktober 2016 entwarf Google Brain ein Experiment, um festzustellen, dass neuronale Netze in der Lage sind, sichere symmetrische Verschlüsselung zu lernen. In diesem Experiment wurden drei neuronale Netze erstellt: Alice, Bob und Eve. Gemäß der Idee eines generativen adversarialen Netzwerks (GAN) bestand das Ziel des Experiments darin, dass Alice eine verschlüsselte Nachricht an Bob sendet, die Bob entschlüsseln kann, die Gegnerin Eve jedoch nicht. Alice und Bob behielten einen Vorteil gegenüber Eve, da sie einen Schlüssel für Ver- und Entschlüsselung teilten. Damit demonstrierte Google Brain die Fähigkeit neuronaler Netze, sichere Verschlüsselung zu lernen.
Bildverbesserung
Im Februar 2017 ermittelte Google Brain eine probabilistische Methode zur Umwandlung von Bildern mit einer Auflösung von 8x8 in eine Auflösung von 32x32. Die Methode baute auf einem bereits bestehenden probabilistischen Modell namens pixelCNN auf, um Pixelübersetzungen zu erzeugen. Die vorgeschlagene Software verwendet zwei neuronale Netze, um Näherungen für die Pixelzusammensetzung übersetzter Bilder zu erstellen. Das erste Netz, bekannt als „Conditioning Network", verkleinert hochauflösende Bilder auf 8x8 und versucht, Abbildungen vom ursprünglichen 8x8-Bild auf diese höher aufgelösten Bilder zu erstellen. Das andere Netz, bekannt als „Prior Network", verwendet die Abbildungen des vorherigen Netzes, um dem ursprünglichen Bild mehr Details hinzuzufügen. Das resultierende übersetzte Bild ist nicht dasselbe Bild in höherer Auflösung, sondern eine Schätzung in 32x32-Auflösung, die auf anderen vorhandenen hochauflösenden Bildern basiert. Die Ergebnisse von Google Brain deuten auf die Möglichkeit hin, dass neuronale Netze Bilder verbessern können.
Google Translate
Google Brain trug zum Projekt Google Translate bei, indem es ein neues Deep-Learning-System einsetzte, das künstliche neuronale Netze mit umfangreichen Datenbanken mehrsprachiger Texte kombiniert. Im September 2016 wurde Google Neural Machine Translation (GNMT) eingeführt, ein End-to-End-Lernframework, das aus einer großen Anzahl von Beispielen lernen kann. Zuvor analysierte der Ansatz der phrasenbasierten maschinellen Übersetzung (PBMT) von Google Translate Wort für Wort statistisch und versuchte, entsprechende Wörter in anderen Sprachen zu finden, ohne die umgebenden Phrasen im Satz zu berücksichtigen. Anstatt jedoch für jedes einzelne Wort in der gewünschten Sprache einen Ersatz zu wählen, bewertet GNMT Wortsegmente im Kontext des restlichen Satzes, um genauere Ersatzwörter zu wählen. Im Vergleich zu älteren PBMT-Modellen erzielte das GNMT-Modell eine Verbesserung von 24 % bei der Ähnlichkeit mit menschlicher Übersetzung, mit einer Reduzierung der Fehler um 60 %. GNMT zeigte auch deutliche Verbesserungen bei bekanntermaßen schwierigen Übersetzungen, wie etwa von Chinesisch ins Englische.
Während die Einführung von GNMT die Qualität der Übersetzungen von Google Translate für die Pilotsprachen erhöht hat, war es sehr schwierig, solche Verbesserungen für alle 103 Sprachen zu erreichen. Um dieses Problem anzugehen, entwickelte das Google-Brain-Team ein mehrsprachiges GNMT-System, das das vorherige erweiterte, indem es Übersetzungen zwischen mehreren Sprachen ermöglichte. Darüber hinaus ermöglicht es Zero-Shot-Übersetzungen, also Übersetzungen zwischen zwei Sprachen, die das System zuvor nie explizit gesehen hat. Google kündigte an, dass Google Translate nun auch ohne Transkription übersetzen kann, unter Verwendung neuronaler Netze. Das bedeutet, dass es möglich ist, Sprache in einer Sprache direkt in Text in einer anderen Sprache zu übersetzen, ohne sie zuerst in Text zu transkribieren. Laut den Forschern bei Google Brain kann dieser Zwischenschritt mit neuronalen Netzen vermieden werden. Damit das System dies lernt, wurde es mit Audio- und Textpaaren konfrontiert, sodass es Geräusche direkt schriftlichen Übersetzungen zuordnen kann.
Die Arbeit an GNMT und der Transformer-Architektur positionierte Google Brain als führend im Bereich Sequence-to-Sequence-Lernen und Machine-Learning-Forschung und beeinflusste nachfolgende Entwicklungen bei generativer KI und Transformer-basierten Modellen.