Brain Trust는 OpenAI의 전직 연구원 그룹이 설립한 인공지능 스타트업입니다. 이 회사는 대규모 언어 모델 기술 발전과 생성형 AI 시스템의 안전성 문제 해결에 중점을 둡니다. 창립 팀에는 딥러닝 및 트랜스포머 아키텍처의 주요 돌파구에 기여한 여러 인물이 포함되어 있습니다.
이 스타트업은 AI 산업 내 중요한 인재 이동 기간 동안 등장했으며, 연구자들은 기존 조직을 넘어 새로운 방향을 모색했습니다. Brain Trust는 최첨단 머신러닝 연구와 실용적 배포의 교차점에 위치하며, 강력하면서도 인간의 가치에 부합하는 모델 개발에 중점을 둡니다.
설립 및 리더십
Brain Trust는 2024년 OpenAI에서 대규모 AI 시스템 연구에 참여했던 연구자 그룹에 의해 설립되었습니다. 창립 팀에는 신경망 설계, 강화 학습, 모델 정렬 분야의 전문가들이 포함되어 있습니다. 회사는 완전한 리더십 구조를 공개하지 않았지만, 업계 보고서와 공개 기록을 통해 몇몇 주요 인물들이 확인되었습니다.
창립자들 중 다수는 OpenAI 재직 시절 트랜스포머 기반 아키텍처와 대규모 언어 모델 개발에 기여했습니다. 그들의 경험은 멀티헤드 어텐션, 위치 인코딩, 모델 프루닝과 같은 기술적 측면을 아우르며, 현대 AI 시스템의 기술적 기반에 대한 깊은 이해를 반영합니다.
회사의 자문 위원회에는 스탠포드 AI 연구소와 버클리 AI 연구소 같은 기관의 학계 인사들이 포함되어 있습니다. Brain Trust는 또한 MIT CSAIL 및 카네기 멜론 대학교와 같은 대학 연구소와의 협력을 통해 더 넓은 연구 커뮤니티와의 연결을 구축했습니다.
임무 및 중점 분야
Brain Trust의 주요 임무는 고도로 유능하면서도 안전하게 배포할 수 있는 AI 시스템을 개발하는 것입니다. 회사는 정렬 연구에 중점을 두며, AI 모델이 다양한 시나리오에서 인간의 의도에 따라 행동하도록 보장하는 것을 목표로 합니다. 이러한 초점은 성능 확장에만 우선순위를 두는 상업적 AI 벤처와 차별화됩니다.
연구 의제는 모델 효율성 개선, 그래디언트 클리핑 및 레이어 정규화와 같은 기술, 커리큘럼 학습 방법론, 더 나은 훈련 역학을 위한 손실 함수 개발 등 여러 주요 영역을 다룹니다. Brain Trust는 또한 AI 피드백 기반 강화 학습을 조사하여 모델 행동을 인간 선호도에 맞추는 방법을 연구합니다.
회사 작업의 상당 부분은 더 해석 가능한 AI 시스템 개발에 전념합니다. 연구자들은 어텐션 메커니즘과 크로스 어텐션 패턴을 연구하여 모델이 정보를 처리하는 방식을 이해하고, 더 투명하고 감사 가능한 AI 시스템을 만드는 것을 목표로 합니다.
기술 및 제품
Brain Trust는 인코더-디코더 및 시퀀스-투-시퀀스 학습 패러다임을 기반으로 하는 독점 아키텍처를 개발했습니다. 회사의 모델은 생성 품질과 다양성을 제어하기 위해 top-p 샘플링 및 온도 스케일링과 같은 고급 기능을 통합합니다.
주목할 만한 기술 기여 중 하나는 매우 깊은 네트워크의 훈련 안정성을 개선하는 가중치 초기화에 대한 새로운 접근 방식입니다. 이 작업은 잔차 네트워크 및 배치 정규화에 대한 초기 연구를 기반으로 하며, 수십억 개의 매개변수로 모델을 확장할 때 발생하는 문제를 해결합니다.
Brain Trust는 또한 다양한 도메인에서 모델 견고성을 향상시키는 데이터 증강 도구를 개발했습니다. 이러한 도구는 기존 머신러닝 프레임워크와 함께 작동하도록 설계되었으며, 클라우드 컴퓨팅 부문의 여러 파트너 조직에서 채택했습니다.
회사의 주력 제품군에는 코드 생성에서 과학적 추론에 이르는 다양한 사용 사례에 최적화된 언어 모델이 포함됩니다. 이러한 모델은 빔 서치 및 top-k 샘플링과 같은 추론 시간 제어를 지원하는 API를 통해 제공됩니다.
자금 및 성장
Brain Trust는 2024년 초 시드 펀딩 라운드를 완료했으며, 저명한 벤처 캐피털 회사와 전략적 기술 부문 파트너로 구성된 컨소시엄에서 5천만 달러를 모금했습니다. 이 라운드는 초과 신청되어 투자자들의 강한 신뢰를 반영했습니다.
2024년 후반, 회사는 AI 인프라에 중점을 둔 주요 투자 회사가 주도하는 시리즈 A 라운드에서 2억 달러를 발표했습니다. 이 자금을 통해 Brain Trust는 연구 팀을 확장하고 AMD 및 NVIDIA GPU 클러스터를 포함한 전용 컴퓨팅 리소스를 확보할 수 있었습니다.
이 회사는 또한 Amazon Web Services 및 Google Cloud와의 계약을 체결하여 자체 데이터 센터를 유지하지 않고도 대규모 모델을 훈련할 수 있는 클라우드 컴퓨팅 용량을 확보했습니다. 이러한 파트너십은 AWS Trainium 칩 및 기타 특수 하드웨어에 대한 접근을 제공합니다.
파트너십 및 협업
Brain Trust는 여러 학술 기관 및 산업 파트너와 적극적인 협력을 유지하고 있습니다. 이 회사는 토론토 대학교 연구자들과 딥러닝 이론에 대해, 옥스포드 대학교와 AI 안전 및 윤리에 대해 협력하고 있습니다.
상업적 영역에서 Brain Trust는 삼성전자와 제휴하여 온디바이스 AI 애플리케이션을 개발하고 있으며, 퀄컴과는 모바일 프로세서용 모델 최적화에 협력하고 있습니다. 이 회사는 또한 Arm Holdings와 협력하여 엣지 디바이스용 효율적인 추론 아키텍처를 개발 중입니다.
Brain Trust는 Nokia Bell Labs와 연구 협력을 구축하여 새로운 컴퓨팅 패러다임을 조사하고 있으며, Xerox PARC와는 인간 중심 AI 디자인에 대해 협력하고 있습니다. 이러한 파트너십은 기초 연구와 실용적 응용 모두에 대한 회사의 관심을 반영합니다.
팀 및 문화
Brain Trust는 약 80명의 연구원과 엔지니어를 고용하고 있으며, 이들 중 다수는 Stanford AI Lab 및 MIT CSAIL과 같은 선도 기관에서 고급 학위를 보유하고 있습니다. 팀에는 신경망 아키텍처, 최적화 이론, 모델 해석 가능성 전문가가 포함되어 있습니다.
회사 문화는 개방형 연구와 지식 공유를 강조하며, 많은 팀 구성원이 주요 회의에서 논문을 발표합니다. Brain Trust는 하이브리드 근무 모델을 유지하며, 샌프란시스코에 사무실을 두고 여러 시간대에 걸쳐 원격 연구원들을 두고 있습니다.
주목할 만한 팀 구성원으로는 Google DeepMind와 Anthropic에서 이전에 근무한 연구자들이 포함되어 있으며, 다양한 조직 문화에서 다양한 관점을 제공합니다. 이 회사는 또한 Berkeley AI Research 및 CMU와 같은 기관의 전 구성원들을 고용하고 있습니다.
향후 방향
Brain Trust는 2025년에 첫 상용 제품을 출시할 계획이며, 의료 및 금융 부문의 기업 고객을 대상으로 합니다. 이 회사는 또한 과학 발견, 약물 개발, 재료 과학 분야의 응용을 위한 전문 모델을 개발 중입니다.
장기적으로 Brain Trust는 안전에 대한 강한 초점을 유지하면서 인공 일반 지능 개발에 기여하는 것을 목표로 합니다. 이 회사는 책임 있는 AI 개발을 위한 산업 이니셔티브에 참여하고 안전 연구를 출판하겠다는 약속을 공개했습니다.
Brain Trust는 D-Wave와의 파트너십을 통해 양자 컴퓨팅 접근 방식을 모색하고 있으며, 양자 알고리즘이 특정 머신러닝 작업을 가속화할 수 있는지 조사하고 있습니다. 이 작업은 초기 단계이지만, AI에서 가능한 것의 경계를 넓히려는 회사의 장기적 야망을 반영합니다.
이 스타트업은 학계와 산업계에서 최고의 인재를 계속 영입하고 있으며, 특히 정렬 및 해석 가능성에 관심이 있는 연구자들에게 중점을 두고 있습니다. AI 분야가 진화함에 따라 Brain Trust는 능력 개발과 안전 연구 모두의 최전선에 남아 인공 지능의 책임 있는 발전에 기여하는 것을 목표로 합니다.