구글 브레인(Google Brain)은 딥러닝 인공지능 연구팀으로, 구글의 인공지능 전용 부서로 활동하다가 이후 구글 AI(Google AI)라는 새로운 산하 조직에 통합되었다. 구글 AI는 인공지능 연구에 전념하는 구글의 연구 부서이다. 2011년에 설립된 구글 브레인은 개방형 머신러닝 연구와 정보 시스템 및 대규모 컴퓨팅 자원을 결합했다. 이 팀은 신경망을 일반 대중이 사용할 수 있게 한 텐서플로(TensorFlow)와 같은 도구와 여러 내부 AI 연구 프로젝트를 개발했으며, 머신러닝 및 자연어 처리 분야의 연구 기회를 창출하는 것을 목표로 했다. 2023년 4월, 구글 브레인은 구글의 자매 회사였던 딥마인드(DeepMind)와 합쳐져 구글 딥마인드를 설립했다.
이 팀은 딥러닝 분야의 선구적인 연구로 유명했으며, 특히 트랜스포머 아키텍처 개발을 통해 대규모 언어 모델의 기반을 마련했다. 연구 분야는 이미지 향상, 기계 번역, 나아가 인공지능이 설계한 암호화 시스템에 이르기까지 다양했다.
역사
구글 브레인 프로젝트는 2011년 구글 리서치(Google X)에서 시작되었으며, 구글 연구원 제프 딘(Jeff Dean)과 스탠퍼드 대학 교수 앤드류 응(Andrew Ng)이 공동으로 주도했다. 2012년, 이 팀은 유튜브 동영상에서 얻은 1,000만 개의 이미지로 대규모 신경망을 훈련시켰고, 이 시스템은 고양이를 명시적으로 식별하도록 훈련받지 않았음에도 불구하고 고양이와 같은 고수준 개념을 스스로 학습할 수 있음을 보여주었다.
2013년, 구글은 제프리 힌튼(Geoffrey Hinton)을 영입하고 그가 알렉스 크리제프스키(Alex Krizhevsky) 및 일리야 수츠케버(Ilya Sutskever)와 함께 설립한 DNResearch를 인수하며 딥러닝 연구를 확장했다. 같은 해, 토마시 미콜로프(Tomáš Mikolov)와 구글 브레인 동료들은 대규모 텍스트 말뭉치에서 단어 임베딩을 학습하는 방법인 word2vec을 개발했다.
2015년, 구글은 구글 브레인 팀이 개발한 머신러닝 모델 개발 및 훈련용 프레임워크인 텐서플로를 오픈소스로 공개했다. 2017년, 구글 연구원들은 "Attention Is All You Need" 논문에서 트랜스포머 아키텍처를 발표했다. 처음에는 기계 번역용으로 개발되었지만, 이후 트랜스포머는 대규모 언어 모델의 지배적인 아키텍처가 되었다.
2023년 4월, 구글 브레인은 딥마인드와 합병하여 구글 딥마인드를 설립했으며, 이는 AI 연구 가속화를 위한 구글의 지속적인 노력의 일환이었다.
팀
구글 브레인은 처음에 구글 펠로우 제프 딘과 방문 교수 앤드류 응에 의해 설립되었다. 2014년 당시 팀에는 제프 딘, 쿼크 V. 르(Quoc V. Le), 일리야 수츠케버, 알렉스 크리제프스키, 삼이 벤지오(Samy Bengio), 빈센트 반호크(Vincent Vanhoucke)가 포함되어 있었다. 2017년에는 아넬리아 안겔로바(Anelia Angelova), 삼이 벤지오, 그렉 코라도(Greg Corrado), 조지 달(George Dahl), 마이클 이사드(Michael Isard), 안줄리 칸난(Anjuli Kannan), 휴고 라로셸(Hugo Larochelle), 크리스 올라(Chris Olah), 브누아 슈타이너(Benoit Steiner), 빈센트 반호크, 비제이 바수데반(Vijay Vasudevan), 페르난다 비에가스(Fernanda Viegas) 등이 팀원으로 활동했다. 크리스 라트너(Chris Lattner)는 애플의 프로그래밍 언어 스위프트(Swift)를 만들고 테슬라의 자율주행 팀을 6개월간 이끈 후, 2017년 8월 구글 브레인 팀에 합류했다. 라트너는 2020년 1월 팀을 떠나 사이파이브(SiFive)에 합류했다.
2021년 기준으로 구글 브레인은 제프 딘, 제프리 힌튼, 주빈 가라마니(Zoubin Ghahramani)가 이끌었다. 다른 구성원으로는 캐서린 헬러(Katherine Heller), 피-촨 창(Pi-Chuan Chang), 이안 사이먼(Ian Simon), 장-필리프 베르트(Jean-Philippe Vert), 네베나 라지치(Nevena Lazic), 아넬리아 안겔로바, 루카스 카이저(Lukasz Kaiser), 캐리 준 차이(Carrie Jun Cai), 에릭 브렉(Eric Breck), 루오밍 팡(Ruoming Pang), 카를로스 리켈메(Carlos Riquelme), 휴고 라로셸, 데이비드 하(David Ha) 등이 있었다. 삼이 벤지오는 2021년 4월 팀을 떠났고, 주빈 가라마니가 그의 역할을 이어받았다.
구글 리서치에는 구글 브레인이 포함되어 있으며, 애크라, 암스테르담, 애틀랜타, 베이징, 베를린, 케임브리지, 이스라엘, 로스앤젤레스, 런던, 몬트리올, 뮌헨, 뉴욕, 파리, 피츠버그, 프린스턴, 샌프란시스코, 시애틀, 도쿄, 토론토, 취리히에 위성 연구 그룹을 두고 있다.
프로젝트
인공지능이 설계한 암호화 시스템
2016년 10월, 구글 브레인은 신경망이 안전한 대칭 암호화를 학습할 수 있는지 확인하기 위한 실험을 설계했다. 이 실험에서는 앨리스(Alice), 밥(Bob), 이브(Eve)라는 세 개의 신경망이 생성되었다. 생성적 적대 신경망(GAN)의 개념에 따라, 실험의 목표는 앨리스가 밥에게 암호화된 메시지를 보내고 밥이 이를 복호화할 수 있도록 하면서, 도청자인 이브는 메시지를 해독하지 못하도록 하는 것이었다. 앨리스와 밥은 암호화와 복호화에 사용되는 공유 키를 통해 이브보다 우위를 유지했다. 이를 통해 구글 브레인은 신경망이 안전한 암호화를 스스로 학습할 수 있음을 입증했다.
이미지 향상
2017년 2월, 구글 브레인은 8x8 해상도의 이미지를 32x32 해상도로 변환하는 확률적 방법을 개발했다. 이 방법은 기존의 픽셀 CNN(pixelCNN) 모델을 기반으로 구축되었다. 제안된 소프트웨어는 두 개의 신경망을 사용하여 저해상도 이미지의 픽셀 구성을 추정했다. 첫 번째 신경망인 "조건부 네트워크"는 고해상도 이미지를 8x8로 축소하고, 원본 8x8 이미지와 축소된 이미지 간의 매핑을 생성하려고 시도했다. 두 번째 신경망인 "사전 네트워크"는 이 매핑을 사용하여 원본 이미지에 더 많은 디테일을 추가했다. 그 결과 생성된 이미지는 단순히 고해상도로 확대된 원본이 아니라, 다른 고해상도 이미지들을 기반으로 추정된 32x32 해상도의 이미지였다. 구글 브레인의 연구 결과는 신경망이 이미지 향상에 사용될 수 있음을 시사했다.
구글 번역
구글 브레인은 구글 번역(Google Translate) 프로젝트에 기여했다. 2016년 9월, 구글 신경망 기계 번역(GNMT) 시스템이 도입되었다. GNMT는 종단 간 학습 프레임워크로, 방대한 다국어 텍스트 데이터베이스를 활용하여 대량의 예시로부터 학습할 수 있었다. 기존의 구글 번역은 구문 기반 기계 번역(PBMT) 방식으로, 문장을 단어 단위로 분석하고 다른 언어의 대응 단어를 찾으려고 시도했지만, 문장의 맥락은 충분히 고려하지 못했다. GNMT는 개별 단어를 대체하는 대신 문장의 나머지 부분 맥락에서 단어 세그먼트를 평가하여 더 정확한 번역을 생성했다. 기존 PBMT 모델과 비교했을 때, GNMT 모델은 인간 번역과의 유사성 측면에서 24% 더 높은 점수를 받았고 오류율은 60% 감소했다.
GNMT 도입으로 구글 번역의 파일럿 언어에 대한 번역 품질이 크게 향상되었지만, 지원되는 103개 언어 모두에 대해 이러한 개선을 적용하는 것은 어려운 과제였다. 이 문제를 해결하기 위해 구글 브레인 팀은 다국어 GNMT 시스템을 개발했다. 이 시스템은 여러 언어 쌍 간의 번역을 가능하게 함으로써 기존 시스템을 확장했다. 또한, 이 시스템은 훈련 데이터에서 한 번도 함께 등장한 적 없는 두 언어 간의 번역인 제로샷 번역도 지원했다. 구글은 GNMT가 음성을 직접 텍스트로 번역할 수 있다고 발표했으며, 이는 음성을 먼저 텍스트로 전사한 후 번역하는 기존의 중간 단계를 생략한 것이다. 구글 브레인 연구원들에 따르면, 신경망이 음성 오디오와 텍스트 쌍을 여러 언어로 학습함으로써 이 중간 단계를 피할 수 있었다.
유산
구글 브레인의 기여는 AI 분야에 지속적인 영향을 미쳤다. 텐서플로는 여전히 전 세계에서 가장 널리 사용되는 머신러닝 프레임워크 중 하나이며, 트랜스포머 아키텍처는 OpenAI, Anthropic 등이 개발한 많은 현대 대규모 언어 모델의 기반이 되었다. 이 팀의 시퀀스-투-시퀀스 모델, 멀티-헤드 어텐션, 포지셔널 인코딩에 대한 연구는 자연어 처리 분야의 표준이 되었다. 2023년 딥마인드와의 합병은 구글 브레인이 마련한 기반 위에서 구글의 AI 연구 노력을 통합했다.