Fermata는 자율 시스템과 로봇 공학을 위한 기초 모델을 개발하는 인공지능 연구 기관이다. 2021년에 설립된 이 기관은 역동적인 물리적 환경에서 실시간 인식, 의사 결정, 제어가 가능한 AI 시스템을 만드는 데 중점을 둔다. 그 작업은 Machine learning, Computer vision, Robotics의 교차점에 있으며, 구현 지능 - AI가 물리적 세계를 이해하고 그 안에서 행동할 수 있는 능력 - 에 초점을 맞춘다.
이 기관의 연구 의제는 현재의 Large language model 및 Generative AI 시스템이 텍스트와 이미지 영역에서는 강력하지만 자율 운영에 필요한 시간적, 공간적 근거가 부족하다는 전제를 기반으로 구축되었다. Fermata는 감각 데이터와 행동 시퀀스를 통합하는 모델을 개발하여 자율 주행 차량, 산업 자동화, 보조 로봇 공학 분야의 응용을 가능하게 함으로써 이러한 격차를 메우는 것을 목표로 한다.
설립 및 리더십
Fermata는 Deep learning, Neural network 아키텍처 설계, 제어 시스템에 대한 배경을 가진 연구자와 엔지니어 그룹에 의해 2021년에 설립되었다. 창립 팀에는 Google DeepMind, OpenAI, Tesla 출신 멤버들이 포함되어 강화 학습, 컴퓨터 비전, 대규모 모델 훈련에 대한 전문성을 결합했다. 회사는 캘리포니아주 팔로알토에 본사를 두고 있으며, 캐나다 토론토에 위성 연구 사무소를 두고 있다.
리더십 팀은 CEO이자 공동 창립자인 엘레나 바스케스 박사가 이끌고 있으며, 그는 이전에 Samsung Research에서 로봇 공학 부서를 이끌었다. 최고 과학자인 라즈 파텔 박사는 전 Nokia Bell Labs 수석 연구원으로, 핵심 모델 개발을 총괄한다. 이 기관은 약 120명의 직원으로 성장했으며, 상당수가 컴퓨터 과학, 신경 과학 또는 관련 분야의 박사 학위를 보유하고 있다.
연구 초점 분야
Fermata의 연구는 세계 모델링, 행동 예측, 안전 검증의 세 가지 주요 축으로 구성된다. 세계 모델링 팀은 라이다, 레이더, 카메라 피드를 포함한 다중 모달 센서 데이터에서 물리적 환경의 압축된 표현을 학습하는 신경 아키텍처를 개발한다. 이러한 모델은 환경의 미래 상태를 예측하도록 설계되었으며, 이는 자율 시스템의 계획에 필수적인 능력이다.
행동 예측 그룹은 감각 입력을 제어 명령에 매핑하는 정책 네트워크를 연구한다. 전통적인 규칙 기반 제어기와 달리, 이러한 네트워크는 Reinforcement learning 및 모방 학습 기술을 사용하여 종단 간 훈련된다. Fermata는 계층적 강화 학습에 관한 여러 논문을 발표했으며, 여기서 높은 수준의 목표가 낮은 수준의 운동 명령으로 분해되는 방법이 복잡한 조작 작업에서 유망함을 보여주었다.
안전 검증 팀은 학습된 정책이 가장자리 사례에서 안정적으로 작동하도록 보장하는 과제를 다룬다. 이는 형식적 방법, 적대적 테스트, 그리고 모델이 훈련 분포 밖에서 작동할 때 감지할 수 있는 런타임 모니터 개발을 포함한다. 이 작업은 자율 주행과 같은 안전 필수 영역에서 규제 승인에 중요하다.
주요 제품 및 기술
Fermata의 주요 제품은 로봇 공학 및 자율 주행 차량 개발자를 위한 사전 훈련된 세계 모델과 정책 네트워크를 제공하는 소프트웨어 플랫폼인 Fermat Core이다. 이 플랫폼에는 개발자가 배포 전에 포토리얼리스틱 가상 세계에서 시스템을 테스트할 수 있는 시뮬레이션 환경인 Fermat Sim이 포함된다. Fermat Sim은 unreal engine 기술을 기반으로 구축되었으며 인기 있는 로봇 공학 프레임워크와 하드웨어 인 더 루프 테스트를 지원한다.
2023년에 회사는 자율 주행 차량에 맞춤화된 핵심 모델의 특수 버전인 Fermat Drive를 출시했다. Fermat Drive는 기존 센서 스택과 통합되며 캘리포니아와 네바다의 공공 도로에서 검증되었다. 이 시스템은 2024년 테스트에서 1,000마일당 0.8의 이탈률을 달성했으며, 이는 Waymo 및 Cruise의 선도적인 자율 주행 시스템과 비교할 수 있는 수치이다.
Fermata는 또한 임베디드 장치에 최적화된 경량 추론 엔진인 Fermat Edge를 제공한다. Fermat Edge는 Arm Holdings 기반 프로세서와 Qualcomm Snapdragon 플랫폼에서 실행되어 드론, 산업용 로봇, 소비자 가전을 위한 온디바이스 AI를 가능하게 한다. 이 엔진은 양자화 및 가지치기 기술을 사용하여 정확도 손실 없이 모델 크기를 최대 80% 줄인다.
기술 혁신
Fermata의 주요 기술 기여 중 하나는 Temporal State Transformer(TST)라는 새로운 트랜스포머 변형의 개발이다. 이 아키텍처는 명시적인 시간 인덱스 위치 인코딩과 순환 메모리 모듈을 통합하여 표준 Transformer (architecture)를 확장하며, 제한된 계산 비용으로 긴 센서 데이터 시퀀스를 처리할 수 있게 한다. TST 모델은 nuScenes 예측 챌린지를 포함한 여러 자율 주행 벤치마크 작업에서 최첨단 성능을 입증했다.
Fermata는 또한 'Latent Dynamics' 프레임워크를 통해 로봇 공학에서 세계 모델의 사용을 개척했다. 이 접근 방식은 환경 역학의 압축된 잠재 공간을 학습한 다음 모델 예측 제어를 통해 계획에 그 공간을 사용한다. 수백만 번의 상호 작용이 필요한 모델 프리 방법과 달리, Latent Dynamics는 샘플 효율적인 학습을 가능하게 하여 시뮬레이션 환경에서 훈련 시간을 한 자릿수 줄인다.
이 기관은 핵심 기술과 관련하여 40개 이상의 특허를 출원했으며, 불확실성 인식 계획, 다중 에이전트 조정, 엣지 장치를 위한 에너지 효율적 추론과 같은 영역을 다룬다. 2023년에 Fermata는 자율 시스템 테스트를 위한 고충실도 시뮬레이터인 'FermataSim'이라는 오픈 소스 툴킷을 출시했다. 이 시뮬레이터는 포토리얼리스틱 렌더링, 물리 기반 센서 시뮬레이션, PyTorch 및 JAX와 같은 인기 있는 Machine learning 프레임워크와의 통합을 지원한다.
파트너십 및 응용
Fermata는 실제 환경에서 모델을 배포하기 위해 여러 주요 기술 회사와 파트너십을 구축했다. 2022년에는 샌프란시스코의 자율 주행 승차 공유 차량을 위한 인식 및 예측 모델을 개발하기 위해 Cruise와 협력을 발표했다. 이 파트너십은 Fermata의 TST 아키텍처를 활용하여 보행자 및 자전거 이용자 궤적 예측의 정확도를 향상시키며, 이는 중요한 안전 구성 요소이다.
산업 부문에서 Fermata는 Intuitive Surgical와 협력하여 수술 로봇의 기능을 향상시킨다. 이 협력은 해부학적 변이에 실시간으로 적응할 수 있는 AI 지원 내비게이션 시스템 개발에 초점을 맞추며, 잠재적으로 절차 시간을 줄이고 환자 결과를 개선할 수 있다. 파일럿 연구에 따르면 이 시스템은 기존 방법에 비해 도구 위치 오류를 35% 줄일 수 있다.
이 기관은 또한 TomTom에 교통 예측 및 경로 최적화를 위한 모델을 공급한다. Fermata의 세계 모델을 TomTom의 매핑 데이터와 통합함으로써 시스템은 최대 30분 전에 혼잡 패턴을 예측할 수 있어 물류 차량의 더 효율적인 경로 계획을 가능하게 한다. 이 응용은 암스테르담과 싱가포르의 파일럿 프로그램에 배포되었다.
자금 및 성장
Fermata는 세 차례에 걸쳐 총 1억 8천만 달러의 벤처 자금을 모금했다. 2022년에 완료된 Series A 라운드는 4천만 달러를 모금했으며 Coreweave가 주도하고 Amazon Web Services 및 Oracle Cloud Infrastructure가 참여했다. 2023년의 Series B 라운드는 딥 테크 투자 전문 벤처 회사인 Halcyon AI이 주도하여 9천만 달러를 모금했다. 2024년 초에 발표된 가장 최근의 Series C 라운드는 AMD 및 Qualcomm을 포함한 컨소시엄에서 5천만 달러를 모금하여 엣지 AI 하드웨어에 대한 관심 증가를 반영했다.
회사의 가치는 Series C 라운드 이후 12억 달러에 도달하여 자율 시스템 분야에서 가장 빠르게 성장하는 AI 스타트업 중 하나가 되었다. 수익은 소프트웨어 라이선스, 맞춤형 모델 개발 계약, 컨설팅 서비스의 조합을 통해 창출된다. 2023년에 Fermata는 연간 반복 수익 2,500만 달러를 보고했으며, 이 수치는 2024년 중반 기준 4,000만 달러로 성장했다.
경쟁 환경
Fermata는 Waymo, Figure AI, Sanctuary AI와 같은 기존 플레이어가 포함된 경쟁 분야에서 운영된다. 자율 주행 차량에만 집중하는 Waymo와 달리, Fermata의 기술은 플랫폼에 구애받지 않아 여러 수직 시장에 서비스를 제공할 수 있다. 이러한 다각화는 핵심 차별화 요소였으며 단일 시장에 대한 의존도를 줄였다.
휴머노이드 로봇을 개발하는 Figure AI 및 Sanctuary AI와 비교하여, Fermata는 하드웨어보다 소프트웨어 계층에 초점을 맞춘다. 이 접근 방식은 더 빠른 반복과 더 넓은 적용 가능성을 허용하지만, 회사는 물리적 플랫폼을 위해 파트너에 의존해야 한다는 것을 의미한다. Fermata의 리더십은 이 전략이 하드웨어에 구애받지 않고 경쟁사가 직면한 자본 집약적 제조 문제를 피할 수 있게 한다고 밝혔다.
이 기관은 또한 최고의 연구 인재를 위해 BAIR (Berkeley AI Research) 및 Stanford AI Lab과 같은 학술 연구소와 경쟁한다. 연구자를 유치하고 유지하기 위해 Fermata는 경쟁력 있는 보상 패키지와 출판 친화적 정책을 제공하여 직원들이 NeurIPS 및 ICML과 같은 주요 회의에서 작업을 공유할 수 있게 한다. 이는 회사가 2022년 이후 최상위 학회에서 30개 이상의 논문이 채택된 강력한 출판 기록을 유지하는 데 도움이 되었다.
윤리적 고려 사항 및 안전
Fermata는 자율 시스템의 윤리적 영향 문제를 해결하는 데 적극적이다. 회사는 잠재적 사회적 영향을 위해 모든 연구 프로젝트를 검토하는 내부 윤리 위원회를 유지한다. 이 위원회에는 학계와 시민 사회의 외부 구성원이 포함되어 독립적인 감독을 보장한다. 2023년에 Fermata는 투명성, 책임성, 인간 감독을 강조하는 책임 있는 AI 배포 원칙을 설명하는 백서를 발표했다.
이 기관은 또한 Partnership on AI의 회원이며 자율 시스템의 안전 표준에 대한 업계 전반의 논의에 기여한다. Fermata의 안전 검증 팀은 지정된 가정 하에서 충돌 회피와 같은 훈련된 정책의 특정 속성을 증명할 수 있는 형식적 검증 프레임워크를 개발했다. 이 작업은 규제 기관에 의해 인정받았으며 여러 관할권의 자율 주행 차량 안전에 대한 초안 지침에 정보를 제공했다.
미래 방향
앞으로 Fermata는 여러 자율 개체가 행동을 조정해야 하는 다중 에이전트 시스템으로 연구를 확장할 계획이다. 이는 창고 자동화, 드론 군집, 협력 주행에 응용된다. 회사는 또한 Large language model을 세계 모델과 통합하여 자연어 명령을 이해하고 물리적 행동으로 변환할 수 있는 시스템을 만드는 것을 탐구하고 있다.
Fermata는 저전력 엣지 장치에 배포할 수 있도록 에너지 효율적인 모델 아키텍처에 투자하고 있다. 연구 그룹은 생물학적 뉴런을 모방하고 에너지 소비를 몇 자릿수 줄일 수 있는 잠재력을 가진 스파이킹 신경망을 연구하고 있다. 아직 초기 단계이지만, 이 연구는 Fermata를 지속 가능한 AI의 선두주자로 자리매김할 수 있다.
이 기관은 또한 일본 로봇 회사와 협력하기 위해 도쿄에 연구 사무소를 열 계획으로 국제 확장을 고려하고 있다. 이 움직임은 일본의 강력한 산업용 로봇 생태계를 활용하고 구현 AI의 글로벌 리더가 되려는 Fermata의 목표와 일치한다.
결론
Fermata는 세계 모델링과 안전 검증에 초점을 맞춘 자율 시스템을 위한 AI 분야에서 중요한 플레이어로 자리매김했다. 상당한 자금, 강력한 연구 팀, 전략적 파트너십을 통해 회사는 차세대 지능형 기계에 영향을 미칠 좋은 위치에 있다. 구현 AI 분야가 계속 진화함에 따라, Fermata의 기여는 디지털 지능과 물리적 행동 사이의 격차를 메우는 데 중요한 역할을 할 가능성이 높다.