Google Brainは、GoogleのAI研究部門であるGoogle AIに組み込まれる以前に、Googleの唯一のAI部門として機能していた深層学習人工知能研究チームである。2011年に設立され、人工知能に特化したGoogleの研究部門であるGoogle AIの下に組み込まれるまで、オープンエンドな機械学習研究と情報システム、大規模計算リソースを組み合わせていた。TensorFlowなどのツールを開発し、ニューラルネットワークを一般公開するとともに、社内の複数のAI研究プロジェクトを推進し、機械学習と自然言語処理における研究機会の創出を目指していた。2023年4月には、かつてのGoogleの姉妹会社であるDeepMindと合併し、Google DeepMindとなった。
このチームは、深層学習における先駆的な研究で知られ、Transformer (architecture)アーキテクチャの開発を含む。このアーキテクチャは、大規模言語モデルの基盤となった。研究分野は、画像強調、機械翻訳、さらには人工知能による暗号設計など多岐にわたった。
歴史
Google Brainプロジェクトは、2011年にGoogle Xで、Googleの研究者であるジェフ・ディーンとグレッグ・コラード、スタンフォード大学教授のアンドリュー・ンによる研究協力として始まった。2012年には、チームはYouTube動画からの1000万枚の画像で大規模ニューラルネットワークを訓練し、システムは明示的に訓練されることなく、猫などの高次概念を認識することを学習した。
Googleは2013年、ジェフリー・ヒントンを雇用し、彼がアレックス・クリジェフスキーとイリヤ・サツケバーとともに設立したDNNResearchを買収することで、深層学習研究を拡大した。同年後半、Google Brainのトマシュ・ミコロフとその同僚たちは、大規模テキストコレクションから単語埋め込みを学習する手法であるword2vecを開発した。
2015年、GoogleはGoogle Brainチームが開発した機械学習モデルの開発・訓練用フレームワークであるTensorFlowをオープンソース化した。2017年には、Googleの研究者たちが論文「Attention Is All You Need」でTransformerアーキテクチャを発表した。当初は機械翻訳用に開発されたが、後に大規模言語モデルの主要なアーキテクチャとなった。
2023年4月、Google BrainはDeepMindと合併し、Google DeepMindとなった。これは、AIに関する取り組みを加速させるための同社の継続的な努力の一環である。
チームと拠点
Google Brainは、Googleフェローのジェフ・ディーンと客員スタンフォード教授のアンドリュー・ンによって設立された。2014年時点のチームには、ジェフ・ディーン、クォック・V・レ、イリヤ・サツケバー、アレックス・クリジェフスキー、サミー・ベンジオ、ヴィンセント・ヴァンハウケが含まれていた。2017年時点のチームメンバーには、アネリア・アンジェロバ、サミー・ベンジオ、グレッグ・コラード、ジョージ・ダール、マイケル・イサード、アンジュリ・カナン、ヒューゴ・ラロシェル、クリス・オラー、ブノワ・シュタイナー、ヴィンセント・ヴァンハウケ、ヴィジェイ・ヴァスデヴァン、フェルナンダ・ヴィーガスが含まれていた。Appleのプログラミング言語Swiftを開発し、その後6ヶ月間テスラの自動運転チームを率いたクリス・ラトナーは、2017年8月にGoogle Brainチームに加わった。ラトナーは2020年1月にチームを離れ、SiFiveに加わった。
2021年時点で、Google Brainはジェフ・ディーン、ジェフリー・ヒントン、ズービン・ガラマニによって率いられていた。他のメンバーには、キャサリン・ヘラー、ピー・チャン・チャン、イアン・サイモン、ジャン＝フィリップ・ヴェール、ネヴェナ・ラジッチ、アネリア・アンジェロバ、ウカシュ・カイザー、キャリー・ジュン・カイ、エリック・ブレック、ルオミン・パン、カルロス・リケルメ、ヒューゴ・ラロシェル、デビッド・ハが含まれていた。サミー・ベンジオは2021年4月にチームを去り、ズービン・ガラマニがその責務を引き継いだ。
Google ResearchはGoogle Brainを含み、マウンテンビューに拠点を置いている。また、アクラ、アムステルダム、アトランタ、北京、ベルリン、ケンブリッジ、イスラエル、ロサンゼルス、ロンドン、モントリオール、ミュンヘン、ニューヨーク市、パリ、ピッツバーグ、プリンストン、サンフランシスコ、シアトル、東京、トロント、チューリッヒにサテライトグループを持つ。
プロジェクト
人工知能による暗号システムの設計
2016年10月、Google Brainはニューラルネットワークが安全な対称暗号を学習できることを確認する実験を設計した。この実験では、アリス、ボブ、イブという3つのニューラルネットワークが作成された。生成的敵対ネットワーク（GAN）の考え方に従い、実験の目的は、アリスが暗号化したメッセージをボブが復号できる一方で、敵対者であるイブは復号できないようにすることだった。アリスとボブは、暗号化と復号に使用する共有鍵を持つことで、イブに対して優位性を維持した。これにより、Google Brainはニューラルネットワークが安全な暗号を学習できることを実証した。
画像強調
2017年2月、Google Brainは8x8解像度の画像を32x32解像度に変換する確率的手法を開発した。この手法は、既存の確率モデルであるpixelCNNを基盤として、ピクセル変換を生成する。提案されたソフトウェアは、2つのニューラルネットワークを使用して、変換された画像のピクセル構成を近似する。最初のネットワークは「コンディショニングネットワーク」と呼ばれ、高解像度画像を8x8に縮小し、元の8x8画像からこれらの高解像度画像へのマッピングを作成しようとする。もう1つのネットワークは「事前ネットワーク」と呼ばれ、前のネットワークからのマッピングを使用して、元の画像に詳細を追加する。結果として得られる変換画像は、同じ画像の高解像度版ではなく、他の既存の高解像度画像に基づく32x32解像度の推定である。Google Brainの結果は、ニューラルネットワークによる画像強調の可能性を示している。
Google翻訳
Google Brainは、人工ニューラルネットワークと多言語テキストの大規模データベースを組み合わせた新しい深層学習システムを採用することで、Google翻訳プロジェクトに貢献した。2016年9月、Googleニューラル機械翻訳（GNMT）が開始された。これは、多数の例から学習できるエンドツーエンドの学習フレームワークである。以前のGoogle翻訳のフレーズベース機械翻訳（PBMT）アプローチは、単語ごとに統計的に分析し、文中の周囲のフレーズを考慮せずに他の言語の対応する単語を照合しようとしていた。しかし、GNMTは、目的の言語の個々の単語の置換を選択するのではなく、文の残りの部分の文脈で単語セグメントを評価して、より正確な置換を選択する。以前のPBMTモデルと比較して、GNMTモデルは人間の翻訳との類似性で24%の改善、エラーで60%の削減を達成した。GNMTは、中国語から英語への翻訳など、難しいとされる翻訳でも大幅な改善を示した。
GNMTの導入により、パイロット言語の翻訳品質は向上したが、103言語すべてに対して同様の改善を実現することは非常に困難だった。この問題に対処するため、Google Brainチームは多言語GNMTシステムを開発し、複数言語間の翻訳を可能にした。さらに、システムが明示的に学習したことのない2言語間の翻訳であるゼロショット翻訳も可能にした。Googleは、Google翻訳が文字起こしなしで翻訳できるようになったと発表した。これは、ニューラルネットワークを使用することで、ある言語の音声を、まずテキストに書き起こすことなく、別の言語のテキストに直接翻訳できることを意味する。Google Brainの研究者によると、この中間ステップはニューラルネットワークを使用することで回避できるという。システムにこれを学習させるため、彼らは複数言語の音声とテキストのペアを公開し、直接的な音声からテキストへの翻訳を可能にした。
遺産
Google Brainの貢献は、AI分野に永続的な影響を与えた。TensorFlowは現在も世界で最も広く使用されている機械学習フレームワークの1つであり、Transformerアーキテクチャは、OpenAI、Anthropicなどが開発したものを含む、多くの現代の大規模言語モデルの基盤となっている。チームによる系列変換モデル、マルチヘッドアテンション、位置エンコーディングに関する研究は、自然言語処理における標準となっている。2023年のDeepMindとの合併により、GoogleのAI研究努力は統合され、Google Brainが築いた基盤の上に構築された。