Google Brainは、Googleの人工知能研究部門であるGoogle AIという新しい傘下に組み込まれるまで、Googleの唯一のAI部門として機能していた深層学習人工知能研究チームである。2011年に設立され、オープンエンドな機械学習研究と情報システム、大規模計算リソースを組み合わせた。TensorFlowなど、ニューラルネットワークを一般公開できるようにするツールや、複数の社内AI研究プロジェクトを生み出し、機械学習と自然言語処理における研究機会の創出を目指した。2023年4月に、旧Google姉妹会社であるDeepMindに統合され、Google DeepMindとなった。
このプロジェクトは、Google X内で、Google研究者のジェフ・ディーンとグレッグ・コラード、スタンフォード大学教授のアンドリュー・ンによる共同研究として始まった。同社内における深層学習の進歩の主要な原動力となり、人工知能のより広い分野を形成する影響力のあるツールやモデルを生み出した。
歴史
Google Brainプロジェクトは、2011年にGoogle Xで、Google研究者のジェフ・ディーンとグレッグ・コラード、スタンフォード大学教授のアンドリュー・ンによる研究協力として始まった。2012年には、チームはYouTube動画からの1000万枚の画像で大規模なニューラルネットワークを訓練し、そのシステムは明示的に識別するよう訓練されていなくても、猫を含む高レベルの概念を認識することを学習した。このデモンストレーションは、深層学習が生データから特徴を学習する可能性を浮き彫りにした。
Googleは2013年に、ジェフリー・ヒントンを雇用し、彼がアレックス・クリジェフスキーとイリヤ・サツケバーと共に設立したDNNResearchを買収することで、深層学習研究を拡大した。同年後半、Google Brainのトマーシュ・ミコロフらは、大規模なテキストコレクションから単語埋め込みを学習する手法であるword2vecを開発した。この技術は自然言語処理の基礎となった。
2015年、Googleは、Google Brainチームが機械学習モデルの開発と訓練のために開発したフレームワークであるTensorFlowをオープンソース化した。TensorFlowは、研究と実運用の両方のアプリケーションを可能にする、最も広く使用される機械学習ライブラリの1つとなった。
2017年、Googleの研究者らは、論文「Attention Is All You Need」でTransformerアーキテクチャを発表した。当初は機械翻訳用に開発されたが、後に大規模言語モデルの主要なアーキテクチャとなり、GPTやBERTなどのシステムを支えることとなった。Transformerの自己注意機構は、より効率的な並列処理と、テキスト内の長距離依存関係のより良い処理を可能にした。
2023年4月、Google BrainはDeepMindと統合され、Google DeepMindとなり、同社のAI作業を加速させる継続的な取り組みの一環となった。統合されたエンティティは、研究人材とリソースを1つの傘下に統合し、AIを安全かつ責任を持って発展させることに焦点を当てることを目指した。
チームと所在地
Google Brainは、当初、Googleフェローのジェフ・ディーンと客員スタンフォード教授のアンドリュー・ンによって設立された。2014年には、チームにはジェフ・ディーン、クオック・V・レ、イリヤ・サツケバー、アレックス・クリジェフスキー、サミー・ベンジオ、ヴィンセント・ヴァンホークが含まれていた。2017年には、チームメンバーにはアネリア・アンジェロバ、サミー・ベンジオ、グレッグ・コラード、ジョージ・ダール、マイケル・イサード、アンジュリ・カナン、ヒューゴ・ラロシェル、クリス・オラー、ブノワ・シュタイナー、ヴィンセント・ヴァンホーク、ヴィジェイ・ヴァスデヴァン、フェルナンダ・ヴィエガスが含まれていた。Appleのプログラミング言語Swiftを開発し、その後6ヶ月間Teslaの自動運転チームを率いたクリス・ラトナーは、2017年8月にGoogle Brainのチームに加わった。ラトナーは2020年1月にチームを離れ、SiFiveに加わった。
2021年の時点で、Google Brainはジェフ・ディーン、ジェフリー・ヒントン、ズービン・ガーラマニによって率いられていた。他のメンバーには、キャサリン・ヘラー、ピーチュアン・チャン、イアン・サイモン、ジャン＝フィリップ・ヴェール、ネヴェナ・ラジッチ、アネリア・アンジェロバ、ウカシュ・カイザー、キャリー・ジュン・カイ、エリック・ブレック、ルオミン・パン、カルロス・リケルメ、ヒューゴ・ラロシェル、デビッド・ハーが含まれていた。サミー・ベンジオは2021年4月にチームを去り、ズービン・ガーラマニが彼の責任を引き継いだ。
Google ResearchにはGoogle Brainが含まれており、マウンテンビューに拠点を置いている。また、アクラ、アムステルダム、アトランタ、北京、ベルリン、ケンブリッジ、イスラエル、ロサンゼルス、ロンドン、モントリオール、ミュンヘン、ニューヨーク市、パリ、ピッツバーグ、プリンストン、サンフランシスコ、シアトル、東京、トロント、チューリッヒにサテライトグループを持っている。
プロジェクト
人工知能による暗号化システムの考案
2016年10月、Google Brainは、ニューラルネットワークが安全な対称暗号化を学習できるかどうかを判断する実験を設計した。この実験では、アリス、ボブ、イブという3つのニューラルネットワークが作成された。敵対的生成ネットワーク（GAN）の考え方に従い、実験の目的は、アリスが暗号化されたメッセージをボブに送信し、ボブはそれを復号できるが、敵対者であるイブはできないようにすることだった。アリスとボブは、暗号化と復号に使用される鍵を共有しているという点で、イブに対して優位性を維持していた。これにより、Google Brainはニューラルネットワークが安全な暗号化を学習できる能力を実証した。
画像強調
2017年2月、Google Brainは、8x8解像度の画像を32x32の解像度に変換する確率的手法を決定した。この手法は、既存の確率モデルであるpixelCNNを基に、ピクセル変換を生成するものであった。提案されたソフトウェアは、2つのニューラルネットワークを使用して、変換された画像のピクセル構成の近似を行う。最初のネットワークは「コンディショニングネットワーク」として知られ、高解像度画像を8x8に縮小し、元の8x8画像からこれらの高解像度画像へのマッピングを作成しようとする。もう1つのネットワークは「事前ネットワーク」として知られ、前のネットワークからのマッピングを使用して、元の画像に詳細を追加する。結果として得られる変換画像は、高解像度の同じ画像ではなく、他の既存の高解像度画像に基づく32x32解像度の推定である。Google Brainの結果は、ニューラルネットワークが画像を強調できる可能性を示している。
Google翻訳
Google Brainは、人工ニューラルネットワークと多言語テキストの大規模データベースを組み合わせた新しい深層学習システムを採用することで、Google翻訳プロジェクトに貢献した。2016年9月、エンドツーエンドの学習フレームワークであるGoogleニューラル機械翻訳（GNMT）が開始され、多数の例から学習することが可能になった。以前は、Google翻訳のフレーズベース機械翻訳（PBMT）アプローチは、文内の周囲のフレーズを考慮せずに、単語ごとに統計的に分析し、他の言語の対応する単語を照合しようとしていた。しかし、GNMTは、望ましい言語の個々の単語ごとに置換を選択するのではなく、文の残りの部分の文脈で単語セグメントを評価し、より正確な置換を選択する。以前のPBMTモデルと比較して、GNMTモデルは人間の翻訳との類似性において24%の改善を示し、エラーは60%減少した。GNMTはまた、中国語から英語への翻訳など、悪名高い難しい翻訳でも大幅な改善を示した。
GNMTの導入により、パイロット言語のGoogle翻訳の翻訳品質は向上したが、その103言語すべてに対してこのような改善を生み出すことは非常に困難であった。この問題に対処するため、Google Brainチームは、以前のシステムを拡張して複数言語間の翻訳を可能にする多言語GNMTシステムを開発することができた。さらに、システムが明示的に見たことのない2つの言語間の翻訳であるゼロショット翻訳も可能にした。Googleは、Google翻訳が現在、書き起こしなしで翻訳できるようになったと発表した。これは、ニューラルネットワークを使用して、ある言語の音声を、まずテキストに書き起こすことなく、別の言語のテキストに直接翻訳できることを意味する。Google Brainの研究者によると、この中間ステップはニューラルネットワークを使用して回避できる。システムがこれを学習するために、彼らは音声とテキストのペアを公開し、音を書かれた翻訳に直接マッピングできるようにした。
GNMTとTransformerアーキテクチャに関する研究は、Google Brainを系列変換学習と機械学習研究のリーダーとして位置づけ、その後の生成AIとTransformerベースのモデルの発展に影響を与えた。