계산 뇌 연구 센터(CCBR)은 뇌의 계산 원리를 이해하고 이를 인공지능에 적용하는 데 전념하는 학제 간 연구 기관입니다. 2010년대 초에 설립된 이 센터는 신경과학자, 컴퓨터 과학자, 엔지니어를 한자리에 모아 신경 메커니즘을 조사하고 뇌에서 영감을 얻은 알고리즘을 개발합니다. 그 작업은 기초 신경과학, 기계 학습, 그리고 AI 시스템의 실용적 응용에 걸쳐 있습니다.
CCBR은 학술 기관 및 산업 연구소와 협력하는 허브 역할을 합니다. 이 센터의 연구는 신경망 구조와 학습 알고리즘의 발전에 기여했으며, 그 결과는 주요 과학 저널에 게재되었습니다. 또한 이 센터는 대학원생과 박사후 연구원을 양성하여 계산 신경과학 분야의 차세대 연구자를 육성합니다.
설립 및 초기
이 센터는 2012년에 스탠포드 AI 연구소에서 활동하던 계산 신경과학자 마이클 첸 박사와 이후 구글 딥마인드로 자리를 옮긴 카렌 시모니언 박사에 의해 설립되었습니다. 초기 자금은 대학 기부금과 국가 연구 보조금의 조합으로 마련되었습니다. 처음 5년은 계산 인프라 구축과 10명의 핵심 연구 책임자 팀을 모집하는 데 집중되었습니다. 2015년까지 센터는 고성능 컴퓨팅 클러스터를 구축하고 순환 신경망 훈련에 대한 꾸준한 결과를 발표하기 시작했습니다.
주요 연구 분야
핵심 초점은 생물학적 신경 회로가 학습과 기억을 구현하는 방식을 이해하는 것입니다. 연구자들은 가소성 규칙, 시냅스 역학, 네트워크 진동을 연구하여 이러한 발견을 계산 모델로 변환합니다. 이 작업은 잔차 네트워크 및 U-Net 계열의 수정을 포함한 새로운 구조 개발에 직접적인 정보를 제공합니다.
또 다른 주요 분야는 효율적인 훈련 방법의 개발입니다. CCBR 연구자들은 심층 네트워크를 위한 Dropout 기법과 배치 정규화 전략을 개선하는 데 기여했습니다. 2018년에는 아니 바타차랴 박사가 이끄는 팀이 활성화 함수에 대한 비교 연구를 발표하여, 손실 함수의 변형과 적응형 학습률을 결합하면 표준 이미지 분류 벤치마크에서 훈련 시간이 23% 단축된다는 것을 입증했습니다.
이 센터는 또한 신경망 해석 가능성을 통해 AI와 신경과학의 교차점을 탐구합니다. 역학 시스템 이론의 도구를 사용하여 연구자들은 훈련된 모델의 내부 표현을 시각 피질의 신경 기록에 매핑하여 공유된 계산 원리에 대한 통찰력을 얻습니다.
협력 및 산업 파트너십
CCBR은 여러 기술 회사와 활발한 파트너십을 유지하고 있습니다. 아마존 웹 서비스(AWS)와의 장기 협력은 2016년에 시작되어 대규모 시뮬레이션을 위한 AWS 트레이니엄 가속기에 대한 접근을 제공했습니다. 2019년에는 인텔과의 공동 프로젝트가 엣지 장치에서 신경망 추론 최적화에 초점을 맞추었으며, 그 결과 에너지 효율적인 컨볼루션 연산에 대한 특허 3건을 획득했습니다.
이 센터는 또한 삼성 리서치와 스파이킹 신경망, 특히 뉴로모픽 하드웨어에 대해 협력하고 있습니다. 2020년에 시작된 이 파트너십은 기존 설계에 비해 전력 소비가 40% 낮은 프로토타입 칩을 생산했습니다. MIT CSAIL 및 버클리 AI 연구소의 연구자들은 장기 안식년 동안 자주 CCBR을 방문합니다.
오픈AI, 애저, AMD, 그래프코어, 그록과의 특정 협력은 공식 계약보다는 사전 인쇄본과 학회 토론의 비공식적 교환에 국한되었습니다. 센터의 주요 산업 자금 출처는 AWS, 인텔, 삼성입니다.
교육 및 훈련 프로그램
이 센터는 2013년에 처음 개최된 계산 신경과학 여름 학교를 매년 운영합니다. 이 프로그램은 매년 전 세계 대학에서 약 80명의 참가자를 유치합니다. 2021년에는 카네기 멜론 대학교 교수진과 공동으로 개발한 뇌 기반 AI 전문 인증 프로그램을 도입했습니다.
CCBR 소속 대학원생들은 2015년 이후 200편 이상의 동료 심사 논문을 발표했습니다. 박사 졸업생들은 구글 딥마인드, 앤트로픽 및 주요 학술 부서의 직책으로 진출했습니다. 2022년에 갱신된 5년 보조금으로 지원되는 센터의 박사후 훈련 프로그램은 언제든지 8명의 초기 경력 연구자를 지원합니다.
주요 발견 및 영향
이 센터의 가장 많이 인용된 기여 중 하나는 레이어 정규화가 순환 네트워크 훈련 안정화에 미치는 역할에 대한 2016년 논문입니다. 제이콥 스타인하르트 박사와 루카시 카이저 박사가 공동 저술한 이 연구는 이후 3,000건 이상의 연구에서 인용되었습니다. 2019년에 CCBR 연구자들은 생물학적으로 제약된 학습 규칙이 표준 SGD 변형보다 연속 제어 작업에서 15% 더 높은 성공률을 달성한다는 것을 입증했습니다.
2022년 센터의 연구는 트랜스포머 모델의 확장 속성을 조사하여 위치 인코딩 방식이 긴 시퀀스 메모리에 상당한 영향을 미친다는 경험적 증거를 제공했습니다. 이 연구는 이후 여러 오픈 소스 대규모 언어 모델 프로젝트에서 채택한 구조적 수정에 정보를 제공했습니다.
이 센터는 또한 2017년에 출시되어 매년 업데이트되는 스파이킹 신경망 시뮬레이션용 공개 라이브러리를 개발했습니다. 2024년 현재 이 라이브러리는 50,000회 이상 다운로드되었으며 전 세계 200개 이상의 연구 그룹에서 사용되고 있습니다.
향후 방향
현재 프로젝트는 기계 학습과 실시간 뇌-컴퓨터 인터페이스의 통합을 목표로 합니다. 2023년에 CCBR은 보철 제어를 위한 적응형 알고리즘 개발에 수백만 달러의 보조금을 받았습니다. 연구자들은 또한 이전 하드웨어 협력 작업을 기반으로 모바일 애플리케이션을 위한 심층 네트워크 압축을 위해 모델 가지치기 기술을 탐구하고 있습니다.
이 센터는 향후 3년 동안 교수진을 6명으로 확대할 계획이며, 특히 인공지능과 시스템 신경과학의 교차점에서 연구하는 연구자에 중점을 둡니다. 확장된 습식 실험실 시설을 수용하도록 설계된 새 건물은 2025년에 착공할 예정입니다.