Google Brain은 딥러닝 인공지능 연구팀으로, Google AI라는 새로운 산하 조직에 통합되기 전까지 Google의 유일한 AI 부서 역할을 했다. Google AI는 Google 내 인공지능 전담 연구 부서이다. 2011년에 설립된 이 팀은 개방형 머신러닝 연구와 정보 시스템 및 대규모 컴퓨팅 자원을 결합했다. TensorFlow와 같은 도구를 만들어 일반 대중이 신경망을 사용할 수 있게 했고, 여러 내부 AI 연구 프로젝트를 진행했으며, 머신러닝과 자연어 처리 분야의 연구 기회를 창출하는 것을 목표로 했다. 2023년 4월, Google의 자매 회사였던 DeepMind에 합병되어 Google DeepMind를 설립했다.
이 프로젝트는 Google X에서 Google 연구원 Jeff Dean과 Greg Corrado, 스탠퍼드 교수 Andrew Ng의 협력으로 시작되었다. 이는 회사 내 딥러닝 발전의 핵심 동력이 되었으며, 더 넓은 Artificial intelligence 분야를 형성한 영향력 있는 도구와 모델을 생산했다.
역사
Google Brain 프로젝트는 2011년 Google X에서 Google 연구원 Jeff Dean과 Greg Corrado, 스탠퍼드 교수 Andrew Ng가 참여한 연구 협력으로 시작되었다. 2012년, 팀은 YouTube 동영상의 1,000만 개 이미지로 대규모 Neural network을 훈련시켰다. 이 시스템은 고양이를 포함한 고수준 개념을 명시적으로 식별하도록 훈련되지 않았음에도 이를 인식하는 법을 학습했다. 이 시연은 Deep learning이 원시 데이터에서 특징을 학습할 수 있는 잠재력을 강조했다.
Google은 2013년 Geoffrey Hinton을 고용하고 그가 Alex Krizhevsky 및 Ilya Sutskever와 함께 설립한 DNNResearch를 인수하여 딥러닝 연구를 확장했다. 같은 해, Tomáš Mikolov와 Google Brain의 동료들은 대규모 텍스트 모음에서 단어 임베딩을 학습하는 방법인 word2vec을 개발했다. 이 기술은 자연어 처리의 기초가 되었다.
2015년, Google은 Google Brain 팀이 머신러닝 모델 개발 및 훈련을 위해 개발한 프레임워크인 TensorFlow를 오픈소스로 공개했다. TensorFlow는 가장 널리 사용되는 Machine learning 라이브러리 중 하나가 되어 연구 및 프로덕션 애플리케이션을 모두 가능하게 했다.
2017년, Google 연구원들은 "Attention Is All You Need" 논문에서 Transformer 아키텍처를 소개했다. 처음에는 기계 번역을 위해 개발되었지만, 이후 Large language model의 지배적인 아키텍처가 되어 GPT 및 BERT와 같은 시스템을 구동했다. Transformer의 자기 주의 메커니즘은 더 효율적인 병렬 처리와 텍스트의 장거리 의존성 처리 개선을 가능하게 했다.
2023년 4월, Google Brain은 DeepMind와 합병하여 Google DeepMind를 설립했으며, 이는 회사가 AI 작업을 가속화하기 위한 지속적인 노력의 일환이었다. 통합된 법인은 연구 인재와 자원을 한 우산 아래 모아 AI를 안전하고 책임감 있게 발전시키는 데 초점을 맞추는 것을 목표로 했다.
팀 및 위치
Google Brain은 처음에 Google Fellow Jeff Dean과 방문 스탠퍼드 교수 Andrew Ng에 의해 설립되었다. 2014년, 팀에는 Jeff Dean, Quoc V. Le, Ilya Sutskever, Alex Krizhevsky, Samy Bengio, Vincent Vanhoucke가 포함되었다. 2017년, 팀원에는 Anelia Angelova, Samy Bengio, Greg Corrado, George Dahl, Michael Isard, Anjuli Kannan, Hugo Larochelle, Chris Olah, Benoit Steiner, Vincent Vanhoucke, Vijay Vasudevan, Fernanda Viegas가 포함되었다. Apple의 프로그래밍 언어 Swift를 만들고 Tesla의 자율주행 팀을 6개월간 이끌었던 Chris Lattner는 2017년 8월 Google Brain 팀에 합류했다. Lattner는 2020년 1월 팀을 떠나 SiFive에 합류했다.
2021년 기준, Google Brain은 Jeff Dean, Geoffrey Hinton, Zoubin Ghahramani가 이끌었다. 다른 구성원으로는 Katherine Heller, Pi-Chuan Chang, Ian Simon, Jean-Philippe Vert, Nevena Lazic, Anelia Angelova, Lukasz Kaiser, Carrie Jun Cai, Eric Breck, Ruoming Pang, Carlos Riquelme, Hugo Larochelle, David Ha가 있었다. Samy Bengio는 2021년 4월 팀을 떠났고, Zoubin Ghahramani가 그의 책임을 맡았다.
Google Research에는 Google Brain이 포함되어 있으며 마운틴뷰에 본사를 두고 있다. 또한 아크라, 암스테르담, 애틀랜타, 베이징, 베를린, 케임브리지, 이스라엘, 로스앤젤레스, 런던, 몬트리올, 뮌헨, 뉴욕시, 파리, 피츠버그, 프린스턴, 샌프란시스코, 시애틀, 도쿄, 토론토, 취리히에 위성 그룹을 두고 있다.
프로젝트
인공지능 설계 암호화 시스템
2016년 10월, Google Brain은 신경망이 안전한 대칭 암호화를 학습할 수 있는지 확인하기 위한 실험을 설계했다. 이 실험에서는 Alice, Bob, Eve라는 세 개의 신경망이 생성되었다. 생성적 적대 신경망(GAN)의 개념을 따르며, 실험의 목표는 Alice가 Bob에게 암호화된 메시지를 보내 Bob이 해독할 수 있지만 적대자인 Eve는 해독할 수 없도록 하는 것이었다. Alice와 Bob은 암호화 및 복호화에 사용되는 공유 키를 가지고 있어 Eve보다 우위를 유지했다. 이를 통해 Google Brain은 신경망이 안전한 암호화를 학습할 수 있는 능력을 입증했다.
이미지 향상
2017년 2월, Google Brain은 8x8 해상도의 사진을 32x32 해상도로 변환하는 확률적 방법을 결정했다. 이 방법은 기존 확률 모델인 pixelCNN을 기반으로 픽셀 변환을 생성했다. 제안된 소프트웨어는 두 개의 신경망을 사용하여 변환된 이미지의 픽셀 구성을 근사한다. 첫 번째 네트워크인 "조건부 네트워크"는 고해상도 이미지를 8x8로 축소하고 원래 8x8 이미지에서 이러한 고해상도 이미지로의 매핑을 생성하려고 시도한다. 다른 네트워크인 "사전 네트워크"는 이전 네트워크의 매핑을 사용하여 원본 이미지에 더 많은 세부 정보를 추가한다. 결과적으로 변환된 이미지는 더 높은 해상도의 동일한 이미지가 아니라 기존의 다른 고해상도 이미지를 기반으로 한 32x32 해상도 추정치이다. Google Brain의 결과는 신경망이 이미지를 향상시킬 수 있는 가능성을 나타낸다.
Google 번역
Google Brain은 인공 신경망과 방대한 다국어 텍스트 데이터베이스를 결합한 새로운 딥러닝 시스템을 사용하여 Google 번역 프로젝트에 기여했다. 2016년 9월, GNMT(Google Neural Machine Translation)가 출시되었으며, 이는 많은 예제에서 학습할 수 있는 종단 간 학습 프레임워크이다. 이전에는 Google 번역의 구문 기반 기계 번역(PBMT) 접근 방식이 단어별로 통계적으로 분석하고 문장의 주변 구문을 고려하지 않고 다른 언어의 해당 단어를 일치시키려고 시도했다. 그러나 GNMT는 원하는 언어의 각 개별 단어에 대한 대체어를 선택하는 대신 문장의 나머지 부분 맥락에서 단어 세그먼트를 평가하여 더 정확한 대체어를 선택한다. 기존 PBMT 모델과 비교하여 GNMT 모델은 인간 번역과의 유사성에서 24% 개선되었으며 오류가 60% 감소했다. GNMT는 또한 중국어에서 영어로의 번역과 같은 악명 높은 어려운 번역에서 상당한 개선을 보여주었다.
GNMT 도입으로 파일럿 언어에 대한 Google 번역의 번역 품질이 향상되었지만, 103개 언어 모두에 이러한 개선을 적용하는 것은 매우 어려웠다. 이 문제를 해결하기 위해 Google Brain 팀은 이전 시스템을 확장하여 여러 언어 간 번역을 가능하게 하는 다국어 GNMT 시스템을 개발할 수 있었다. 또한 시스템이 이전에 명시적으로 본 적이 없는 두 언어 간의 번역인 제로샷 번역을 가능하게 했다. Google은 Google 번역이 이제 신경망을 사용하여 전사 없이도 번역할 수 있다고 발표했다. 이는 한 언어의 음성을 먼저 텍스트로 전사하지 않고 다른 언어의 텍스트로 직접 번역하는 것이 가능하다는 것을 의미한다. Google Brain 연구원들에 따르면, 이 중간 단계는 신경망을 사용하여 피할 수 있다. 시스템이 이를 학습하기 위해 연구원들은 오디오와 텍스트 쌍을 노출시켜 소리를 서면 번역에 직접 매핑할 수 있게 했다.
GNMT 및 Transformer 아키텍처에 대한 작업은 Google Brain을 Sequence-to-Sequence (Seq2Seq) 학습 및 Machine learning 연구의 선두주자로 자리매김했으며, 이후 Generative AI 및 Transformer (architecture) 기반 모델의 발전에 영향을 미쳤다.