Sakana AI Co, Ltd.는 도쿄에 본사를 둔 일본의 인공지능 기업이다. 이 회사는 자연 시스템에서 영감을 얻은 AI의 진화와 집단 지능에 관한 연구에 중점을 둔다. 회사 이름은 일본어로 물고기를 뜻하는 단어에서 유래했으며, 물고기 떼가 단순한 개별 규칙으로부터 하나의 일관된 실체를 형성하는 방식을 상징한다 - 이는 집단 지능에 대한 비유다.
이 회사는 David Ha, Llion Jones, Ren Ito에 의해 설립되었다. Llion Jones는 Google에서 근무하던 중 2017년 현대 Large language model의 기반이 되는 Transformer (architecture) 아키텍처를 소개한 획기적인 논문 "Attention Is All You Need"를 공동 집필했다. Sakana AI는 Lux Capital과 Khosla Ventures로부터 3천만 달러의 시드 펀딩을 모금했으며, 2024년에는 Mitsubishi UFJ, SMBC, Mizuho, Itochu, KDDI, Nomura, Nvidia를 포함한 투자자들로부터 약 2억 달러의 시리즈 A 라운드를 유치했다. 니케이는 2024년 회사의 가치를 190억 엔으로 추산했다.
설립 및 사명
Sakana AI는 자연에서 영감을 얻은 계산 방법을 통해 AI 개발을 민주화하려는 목표로 도쿄에 설립되었다. 창립자들은 거대한 Neural network을 확장하는 패러다임을 넘어, 단순한 상호작용 구성 요소가 어떻게 복잡하고 적응적인 행동을 만들어낼 수 있는지 탐구하고자 했다. 회사의 연구 의제는 진화 계산과 군집 지능에 뿌리를 두고 있으며, 이러한 분야는 역사적으로 딥러닝보다 덜 두드러졌지만 유능한 AI 시스템을 만드는 대안적 경로를 제공한다.
David Ha는 이전에 Google Brain에서 근무하며 신경망 아키텍처와 강화 학습에 관한 연구에 기여했다. Llion Jones는 현대 Generative AI의 기초가 된 transformer 아키텍처에 대한 작업에서 전문성을 가져왔다. CEO를 맡고 있는 Ren Ito는 기업가적 및 전략적 리더십을 제공했다. 세 사람의 결합된 배경은 Sakana AI가 최첨단 머신러닝 연구와 실용적인 제품 개발을 연결할 수 있게 했다.
자연에서 영감을 얻은 알고리즘
Sakana AI의 핵심 연구 분야는 진화와 집단 지능이다. 이 회사는 AI 모델을 최적화하기 위해 자연 선택, 돌연변이, 재조합과 같은 생물학적 과정을 모방하는 알고리즘을 개발한다. 이러한 접근 방식은 수동으로 설계된 아키텍처와 고정된 훈련 절차에 의존하는 전통적인 방법과 대조된다. 모델을 교배하고 진화시킬 수 있는 유기체로 취급함으로써, Sakana AI는 인간의 직관으로는 놓칠 수 있는 새로운 해법을 발견하는 것을 목표로 한다.
집단 지능은 또 다른 핵심 주제다. 이 회사는 여러 AI 에이전트가 단일 에이전트보다 문제를 더 효과적으로 해결하기 위해 어떻게 조정하고 정보를 공유할 수 있는지 연구한다. 이는 물고기 떼, 새 무리, 곤충 군집에서 관찰되는 원리를 활용하며, 단순한 지역적 규칙이 정교한 집단 행동을 만들어낸다. Sakana AI는 이러한 아이디어를 다중 에이전트 시스템에 적용하여 더 견고하고 확장 가능한 AI 배포를 가능하게 한다.
모델 교배 방법
2024년 1월, Sakana AI는 여러 기존 모델을 '교배'하여 새로운 AI 모델을 구축하는 방법을 개발했다. 이 과정은 생물학적 진화의 유전자 교차와 유사하게 서로 다른 모델의 구성 요소를 결합하고 변형시키는 것을 포함한다. 이 기술은 처음부터 훈련하는 데 막대한 계산 자원을 요구하지 않고도 향상된 능력을 가진 모델을 만들 수 있게 한다. Sakana AI는 이 방법을 AI 개발을 민주화하는 수단으로 보고 있으며, 소규모 조직과 연구자들이 대규모 컴퓨팅 인프라에 접근하지 않고도 모델 생성에 참여할 수 있다고 본다.
교배 방법은 진화 계산과 Model Pruning의 통찰을 활용하여 유익한 특성을 선택적으로 결합한다. 이는 허용적인 라이선스로 공개되는 경우가 많은 오픈소스 모델에 적용될 수 있어 협력적인 모델 개선 생태계를 가능하게 한다. 이 접근 방식은 대규모 모델 훈련과 관련된 환경적 및 재정적 비용을 줄이는 데 영향을 미치며, 전 세계적으로 AI 연구를 더 접근 가능하게 만든다.
AI 과학자 프로젝트
Sakana AI는 또한 과학 연구의 전체 과정을 자동화하는 AI 과학자라는 모델을 개발 중이다. 이 야심찬 프로젝트는 가설 생성, 실험 설계, 시뮬레이션 실행, 결과 분석, 논문 작성이 가능한 AI 시스템을 만드는 것을 목표로 한다. AI 과학자는 생물학에서 재료 과학에 이르는 다양한 분야에서 과학적 방법의 일상적인 측면을 처리함으로써 발견을 가속화할 수 있다.
이 프로젝트는 추론과 텍스트 생성을 위한 Large language model과 데이터 분석 및 실험 설계를 위한 전문 모듈을 포함한 여러 AI 기능을 통합한다. 아직 초기 단계에 있지만, AI 과학자는 자율 연구 시스템을 향한 중요한 진전을 나타낸다. Sakana AI는 이 작업을 인간 과학자를 대체하는 것이 아니라 보완하는 것으로 위치시키며, 생산성을 증대시킬 수 있다고 본다.
자금 및 투자자
Sakana AI의 재정적 지원은 벤처 캐피탈과 기업 투자자 모두의 강한 신뢰를 반영한다. 3천만 달러의 시드 라운드는 프론티어 기술 스타트업을 지원하는 것으로 알려진 실리콘밸리의 두 주요 기업인 Lux Capital과 Khosla Ventures가 주도했다. 2024년에 발표된 시리즈 A 라운드는 Mitsubishi UFJ, SMBC, Mizuho, Itochu, KDDI, Nomura, Nvidia를 포함한 일본 금융 기관 및 기술 기업 컨소시엄으로부터 약 2억 달러를 유치했다.
Artificial intelligence 하드웨어의 선도 공급업체인 Nvidia의 참여는 특정 칩 아키텍처에 대한 Sakana AI의 알고리즘 최적화에서 잠재적 시너지를 시사한다. 주요 일본 은행과 종합상사의 참여는 금융, 물류, 통신 분야에 AI를 적용하려는 전략적 관심을 나타낸다. 이러한 다양한 투자자 기반은 Sakana AI에 자본과 산업 파트너십에 대한 접근을 모두 제공한다.
AI 환경에서의 위치
Sakana AI는 OpenAI, Anthropic, Google DeepMind와 같은 대형 연구소가 지배하는 경쟁 분야에서 운영된다. 그러나 자연에서 영감을 얻은 알고리즘에 대한 초점은 주로 기존 아키텍처의 확장을 추구하는 이러한 경쟁사들과 차별화된다. 회사의 도쿄 위치는 또한 Sony AI와 Fujitsu의 노력과 함께 일본의 성장하는 AI 생태계 내에 자리 잡게 한다. Sakana AI의 접근 방식은 진화 계산에서 유사한 주제를 탐구하는 MIT CSAIL 및 Stanford AI Lab과 같은 학술 기관의 작업을 보완할 수 있다.
회사의 효율성과 민주화에 대한 강조는 더 작고 전문화된 모델의 개발과 같은 AI 커뮤니티의 광범위한 추세와 공명한다. 모델 생성의 계산 장벽을 줄임으로써, Sakana AI는 더 분산되고 포용적인 AI 연구 환경을 가능하게 할 수 있다. 그 방법은 진화 최적화의 혜택을 받는 Residual Network (ResNet) 및 기타 아키텍처의 설계에도 정보를 제공할 수 있다.
향후 방향
앞으로 Sakana AI는 로봇 공학과 다중 에이전트 시스템을 포함한 집단 지능의 새로운 응용 분야로 연구를 확장할 계획이다. 회사는 또한 실제 환경에서 방법을 검증하기 위해 학계 및 산업 협력자와의 파트너십을 모색하고 있다. 2024년 현재, Sakana AI는 연구자들이 자신의 작업을 가속화하는 데 사용할 수 있는 도구를 출시하는 목표로 교배 기술과 AI 과학자를 계속 개선하고 있다.
회사의 성공은 자연에서 영감을 얻은 접근 방식이 규모 면에서 전통적인 딥러닝과 경쟁력 있는 결과를 달성할 수 있는지에 달려 있다. 초기 결과는 유망하지만, 더 넓은 채택은 효율성, 견고성 또는 능력에서 명확한 이점을 입증해야 할 것이다. 진화, 집단 지능, 실용적인 AI 개발의 교차점에 있는 Sakana AI의 독특한 위치는 진화하는 Machine learning 환경에서 주목할 만한 플레이어로 만든다.
같이 보기
- collective-intelligence
- evolutionary-computation
- Generative AI
- Large language model