Google Brain war ein Deep-Learning-Forschungsteam für künstliche Intelligenz, das als einziger KI-Zweig von Google diente, bevor es unter dem neueren Dach von Google AI eingegliedert wurde, einer Forschungsabteilung bei Google, die sich der künstlichen Intelligenz widmet. Das Team wurde 2011 gegründet und kombinierte offene Maschinenlern-Forschung mit Informationssystemen und groß angelegten Rechenressourcen. Es entwickelte Werkzeuge wie TensorFlow, die es der Öffentlichkeit ermöglichen, neuronale Netze zu nutzen, sowie mehrere interne KI-Forschungsprojekte, und zielte darauf ab, Forschungsmöglichkeiten im Bereich des maschinellen Lernens und der Verarbeitung natürlicher Sprache zu schaffen. Im April 2023 wurde es mit der ehemaligen Google-Schwesterfirma DeepMind zu Google DeepMind zusammengeführt.
Das Team war bekannt für seine Pionierarbeit im Bereich des Deep Learning, einschließlich der Entwicklung der Transformer-Architektur, die grundlegend für große Sprachmodelle wurde. Seine Forschung umfasste Bereiche wie Bildverbesserung, maschinelle Übersetzung und sogar von künstlicher Intelligenz entwickelte Verschlüsselung.
Geschichte
Das Google-Brain-Projekt begann 2011 bei Google X als Forschungskooperation zwischen den Google-Forschern Jeff Dean und Greg Corrado sowie dem Stanford-Professor Andrew Ng. Im Jahr 2012 trainierte das Team ein groß angelegtes neuronales Netzwerk mit 10 Millionen Bildern aus YouTube-Videos; das System lernte, hochrangige Konzepte wie Katzen zu erkennen, ohne explizit darauf trainiert worden zu sein.
Google erweiterte seine Deep-Learning-Forschung im Jahr 2013 durch die Einstellung von Geoffrey Hinton und die Übernahme von DNNResearch, das dieser zusammen mit Alex Krizhevsky und Ilya Sutskever gegründet hatte. Später im selben Jahr entwickelten Tomáš Mikolov und seine Kollegen bei Google Brain word2vec, eine Methode zum Erlernen von Worteinbettungen aus großen Textsammlungen.
Im Jahr 2015 veröffentlichte Google TensorFlow als Open Source, ein vom Google-Brain-Team entwickeltes Framework zum Entwickeln und Trainieren von Modellen des maschinellen Lernens. Im Jahr 2017 stellten Google-Forscher die Transformer-Architektur in dem Paper „Attention Is All You Need“ vor. Ursprünglich für die maschinelle Übersetzung entwickelt, wurde sie später zur dominierenden Architektur für große Sprachmodelle.
Im April 2023 fusionierte Google Brain mit DeepMind zu Google DeepMind, als Teil der fortgesetzten Bemühungen des Unternehmens, die Arbeit an KI zu beschleunigen.
Team und Standort
Google Brain wurde ursprünglich von Google Fellow Jeff Dean und dem Gastprofessor der Stanford University, Andrew Ng, gegründet. Im Jahr 2014 umfasste das Team Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio und Vincent Vanhoucke. Im Jahr 2017 gehörten zum Team Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan und Fernanda Viegas. Chris Lattner, der die Programmiersprache Swift von Apple entwickelte und anschließend sechs Monate lang das Autonomie-Team von Tesla leitete, stieß im August 2017 zum Google-Brain-Team. Lattner verließ das Team im Januar 2020 und wechselte zu SiFive.
Ab 2021 wurde Google Brain von Jeff Dean, Geoffrey Hinton und Zoubin Ghahramani geleitet. Weitere Mitglieder waren Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle und David Ha. Samy Bengio verließ das Team im April 2021, und Zoubin Ghahramani übernahm seine Aufgaben.
Google Research umfasst Google Brain und hat seinen Sitz in Mountain View. Es gibt außerdem Satellitengruppen in Accra, Amsterdam, Atlanta, Peking, Berlin, Cambridge, Israel, Los Angeles, London, Montreal, München, New York City, Paris, Pittsburgh, Princeton, San Francisco, Seattle, Tokio, Toronto und Zürich.
Projekte
Von künstlicher Intelligenz entwickeltes Verschlüsselungssystem
Im Oktober 2016 entwarf Google Brain ein Experiment, um festzustellen, dass neuronale Netze in der Lage sind, sichere symmetrische Verschlüsselung zu erlernen. In diesem Experiment wurden drei neuronale Netze erstellt: Alice, Bob und Eve. Dem Konzept eines generativen gegnerischen Netzwerks (GAN) folgend, bestand das Ziel des Experiments darin, dass Alice eine verschlüsselte Nachricht an Bob sendet, die Bob entschlüsseln kann, die Gegnerin Eve jedoch nicht. Alice und Bob hatten einen Vorteil gegenüber Eve, da sie einen Schlüssel für Ver- und Entschlüsselung teilten. Damit demonstrierte Google Brain die Fähigkeit neuronaler Netze, sichere Verschlüsselung zu erlernen.
Bildverbesserung
Im Februar 2017 entwickelte Google Brain eine probabilistische Methode zur Umwandlung von Bildern mit einer Auflösung von 8x8 in eine Auflösung von 32x32. Die Methode baute auf einem bereits bestehenden probabilistischen Modell namens pixelCNN auf, um Pixelübersetzungen zu erzeugen. Die vorgeschlagene Software nutzt zwei neuronale Netze, um Näherungen für die Pixelzusammensetzung übersetzter Bilder zu erstellen. Das erste Netzwerk, bekannt als „Conditioning Network“, verkleinert hochauflösende Bilder auf 8x8 und versucht, Abbildungen vom ursprünglichen 8x8-Bild auf diese höher aufgelösten Bilder zu erstellen. Das andere Netzwerk, bekannt als „Prior Network“, verwendet die Abbildungen des vorherigen Netzwerks, um dem Originalbild weitere Details hinzuzufügen. Das resultierende übersetzte Bild ist nicht dasselbe Bild in höherer Auflösung, sondern eine Schätzung mit 32x32-Auflösung, die auf anderen vorhandenen hochauflösenden Bildern basiert. Die Ergebnisse von Google Brain deuten auf die Möglichkeit hin, dass neuronale Netze Bilder verbessern können.
Google Übersetzer
Google Brain trug zum Google-Übersetzer-Projekt bei, indem es ein neues Deep-Learning-System einsetzte, das künstliche neuronale Netze mit riesigen Datenbanken mehrsprachiger Texte kombiniert. Im September 2016 wurde Google Neural Machine Translation (GNMT) eingeführt, ein End-to-End-Lernframework, das aus einer großen Anzahl von Beispielen lernen kann. Zuvor analysierte der phrasenbasierte maschinelle Übersetzungsansatz (PBMT) von Google Übersetzer statistisch Wort für Wort und versuchte, entsprechende Wörter in anderen Sprachen zuzuordnen, ohne die umgebenden Phrasen im Satz zu berücksichtigen. Anstatt jedoch für jedes einzelne Wort eine Ersetzung in der gewünschten Sprache zu wählen, bewertet GNMT Wortsegmente im Kontext des restlichen Satzes, um genauere Ersetzungen zu wählen. Im Vergleich zu älteren PBMT-Modellen erzielte das GNMT-Modell eine Verbesserung von 24 % bei der Ähnlichkeit mit menschlicher Übersetzung, bei einer Reduzierung der Fehler um 60 %. Das GNMT hat auch für bekanntermaßen schwierige Übersetzungen, wie Chinesisch nach Englisch, deutliche Verbesserungen gezeigt.
Während die Einführung des GNMT die Qualität der Übersetzungen von Google Übersetzer für die Pilotsprachen erhöht hat, war es sehr schwierig, solche Verbesserungen für alle 103 Sprachen zu erreichen. Um dieses Problem anzugehen, entwickelte das Google-Brain-Team ein mehrsprachiges GNMT-System, das das vorherige erweiterte, indem es Übersetzungen zwischen mehreren Sprachen ermöglicht. Darüber hinaus ermöglicht es Zero-Shot-Übersetzungen, also Übersetzungen zwischen zwei Sprachen, die das System zuvor nie explizit gesehen hat. Google kündigte an, dass Google Übersetzer nun auch ohne Transkription übersetzen kann, unter Verwendung neuronaler Netze. Dies bedeutet, dass es möglich ist, Sprache in einer Sprache direkt in Text in einer anderen Sprache zu übersetzen, ohne sie zuerst in Text zu transkribieren. Laut den Forschern bei Google Brain kann dieser Zwischenschritt mit neuronalen Netzen vermieden werden. Damit das System dies lernt, wurde es Audio- und Textpaaren in mehreren Sprachen ausgesetzt, was eine direkte Sprach-zu-Text-Übersetzung ermöglicht.
Vermächtnis
Die Beiträge von Google Brain hatten einen nachhaltigen Einfluss auf das Gebiet der KI. TensorFlow bleibt eines der am weitesten verbreiteten Frameworks für maschinelles Lernen weltweit, und die Transformer-Architektur bildet die Grundlage vieler moderner großer Sprachmodelle, einschließlich derer, die von OpenAI, Anthropic und anderen entwickelt wurden. Die Forschung des Teams zu Sequenz-zu-Sequenz-Modellen, Multi-Head-Attention und Positional-Encoding ist zum Standard in der Verarbeitung natürlicher Sprache geworden. Die Fusion mit DeepMind im Jahr 2023 konsolidierte die KI-Forschungsbemühungen von Google und baute auf dem von Google Brain gelegten Fundament auf.