Fermataは、自律システムとロボティクスのための基盤モデルを開発する人工知能研究組織である。2021年に設立されたこの組織は、動的な物理環境におけるリアルタイムの知覚、意思決定、制御が可能なAIシステムの構築に焦点を当てている。その活動はMachine learning、Computer vision、Roboticsの交差点に位置し、具現化知能、すなわちAIが物理世界を理解し行動する能力に重点を置いている。
この組織の研究課題は、現在のLarge language modelやGenerative AIシステムがテキストや画像の領域では強力である一方、自律運用に必要な時間的・空間的基盤を欠いているという前提に基づいて構築されている。Fermataは、感覚データと行動シーケンスを統合するモデルを開発することでこのギャップを埋めることを目指しており、自動運転車、産業オートメーション、支援ロボティクスなどの応用を可能にしている。
設立とリーダーシップ
Fermataは2021年に、Deep learning、Neural networkアーキテクチャ設計、制御システムのバックグラウンドを持つ研究者とエンジニアのグループによって設立された。創設チームにはGoogle DeepMind、OpenAI、Teslaの元メンバーが含まれており、強化学習、コンピュータビジョン、大規模モデルトレーニングの専門知識を結集している。同社はカリフォルニア州パロアルトに本社を置き、カナダのトロントにサテライト研究オフィスを構えている。
リーダーシップチームは、Samsung Researchでロボティクス部門を率いたCEO兼共同創設者のエレナ・バスケス博士が率いている。チーフサイエンティストのラジ・パテル博士は、Nokia Bell Labsの元主席研究員であり、コアモデルの開発を監督している。組織は約120名の従業員に成長しており、そのかなりの割合がコンピュータサイエンス、神経科学、または関連分野の博士号を保有している。
研究重点分野
Fermataの研究は、世界モデリング、行動予測、安全性検証という3つの主要な柱を中心に組織されている。世界モデリングチームは、ライダー、レーダー、カメラフィードなどのマルチモーダルセンサーデータから物理環境のコンパクトな表現を学習するニューラルアーキテクチャを開発している。これらのモデルは環境の将来状態を予測するように設計されており、自律システムの計画に不可欠な能力である。
行動予測グループは、感覚入力を制御コマンドにマッピングするポリシーネットワークに取り組んでいる。従来のルールベースのコントローラーとは異なり、これらのネットワークはReinforcement learningと模倣学習技術を使用してエンドツーエンドでトレーニングされる。Fermataは、高レベルの目標が低レベルのモーターコマンドに分解される階層的強化学習に関するいくつかの論文を発表しており、この方法は複雑な操作タスクで有望を示している。
安全性検証チームは、学習されたポリシーがエッジケースで確実に動作することを保証するという課題に取り組んでいる。これには、形式手法、敵対的テスト、およびモデルがトレーニング分布外で動作していることを検出できるランタイムモニターの開発が含まれる。この作業は、自動運転などの安全性が重要な領域での規制承認にとって重要である。
主要製品と技術
Fermataの主要製品はFermat Coreであり、ロボティクスおよび自動運転車開発者向けに事前トレーニングされた世界モデルとポリシーネットワークを提供するソフトウェアプラットフォームである。このプラットフォームには、開発者が展開前にフォトリアリスティックな仮想世界でシステムをテストできるシミュレーション環境Fermat Simが含まれている。Fermat Simはunreal-engine技術に基づいて構築されており、一般的なロボティクスフレームワークとのハードウェアインザループテストをサポートしている。
2023年、同社は自動運転車向けに特化したコアモデルのバージョンであるFermat Driveをリリースした。Fermat Driveは既存のセンサースタックと統合され、カリフォルニア州とネバダ州の公道で検証されている。このシステムは2024年のテストで1,000マイルあたり0.8の介入率を達成しており、これはWaymoやCruiseの主要な自動運転システムに匹敵する数字である。
Fermataはまた、組み込みデバイス向けに最適化された軽量推論エンジンであるFermat Edgeも提供している。Fermat EdgeはArm HoldingsベースのプロセッサとQualcomm Snapdragonプラットフォームで動作し、ドローン、産業用ロボット、消費者向け家電向けのオンデバイスAIを可能にする。このエンジンは量子化とプルーニング技術を使用して、精度を大幅に損なうことなくモデルサイズを最大80%削減する。
技術的革新
Fermataの主要な技術的貢献の1つは、Temporal State Transformer（TST）と呼ばれる新しいトランスフォーマーバリアントの開発である。このアーキテクチャは、明示的な時間インデックス付き位置エンコーディングとリカレントメモリモジュールを組み込むことで標準のTransformer (architecture)を拡張し、限られた計算コストで長いセンサーデータシーケンスを処理できるようにする。TSTモデルは、nuScenes予測チャレンジを含む自動運転のいくつかのベンチマークタスクで最先端のパフォーマンスを実証している。
Fermataはまた、『Latent Dynamics』フレームワークを通じてロボティクスでの世界モデルの使用を開拓した。このアプローチは、環境ダイナミクスの圧縮された潜在空間を学習し、その空間をモデル予測制御を介した計画に使用する。モデルフリーの方法がポリシーを学習するために数百万のインタラクションを必要とするのとは異なり、Latent Dynamicsはサンプル効率的な学習を可能にし、シミュレートされた環境でのトレーニング時間を桁違いに削減する。
この組織は、不確実性を考慮した計画、マルチエージェント調整、エッジデバイス向けのエネルギー効率的な推論などの分野をカバーする、コア技術に関連する40以上の特許を申請している。2023年、Fermataは自律システムをテストするための高忠実度シミュレーターであるオープンソースツールキット『FermataSim』をリリースした。このシミュレーターは、フォトリアリスティックなレンダリング、物理ベースのセンサーシミュレーション、およびPyTorchやJAXなどの一般的なMachine learningフレームワークとの統合をサポートしている。
パートナーシップと応用
Fermataは、モデルを実際の設定で展開するために、いくつかの主要なテクノロジー企業とのパートナーシップを確立している。2022年、サンフランシスコでの自動運転ライドヘイリング車両向けの知覚および予測モデルを開発するためにCruiseとのコラボレーションを発表した。このパートナーシップは、FermataのTSTアーキテクチャを活用して、歩行者とサイクリストの軌道予測の精度を向上させており、これは重要な安全コンポーネントである。
産業部門では、FermataはIntuitive Surgicalと協力して手術ロボットの機能を強化している。このコラボレーションは、解剖学的変異にリアルタイムで適応できるAI支援ナビゲーションシステムの開発に焦点を当てており、手順時間を短縮し、患者の転帰を改善する可能性がある。パイロット研究では、このシステムが従来の方法と比較してツール位置決めエラーを35%削減できることが示されている。
この組織はまた、交通予測とルート最適化のためにTomTomにモデルを提供している。Fermataの世界モデルをTomTomのマッピングデータと統合することで、システムは最大30分先の混雑パターンを予測でき、物流フリートのより効率的なルート計画を可能にする。このアプリケーションは、アムステルダムとシンガポールのパイロットプログラムで展開されている。
資金調達と成長
Fermataは、3回のラウンドで合計1億8,000万ドルのベンチャー資金を調達している。2022年に完了したシリーズAラウンドは4,000万ドルを調達し、Coreweaveが主導し、Amazon Web ServicesとOracle Cloud Infrastructureが参加した。2023年のシリーズBラウンドは9,000万ドルを調達し、ディープテック投資に特化したベンチャー企業であるHalcyon AIが主導した。2024年初頭に発表された最新のシリーズCラウンドは、AMDとQualcommを含むコンソーシアムから5,000万ドルを調達し、エッジAIハードウェアへの関心の高まりを反映している。
同社の評価額はシリーズCラウンド後に12億ドルに達し、自律システム分野で最も急速に成長しているAIスタートアップの1つとなっている。収益は、ソフトウェアライセンス、カスタムモデル開発契約、コンサルティングサービスの組み合わせを通じて生み出されている。2023年、Fermataは2,500万ドルの年間経常収益を報告しており、この数字は2024年半ば時点で4,000万ドルに成長している。
競争環境
Fermataは、Waymo、Figure AI、Sanctuary AIなどの確立されたプレーヤーを含む競争の激しい分野で活動している。自動運転車にのみ焦点を当てているWaymoとは異なり、Fermataの技術はプラットフォームに依存せず、複数の垂直市場にサービスを提供できる。この多様化は重要な差別化要因となっており、単一市場への依存を減らしている。
ヒューマノイドロボットを開発するFigure AIやSanctuary AIと比較して、Fermataはハードウェアではなくソフトウェア層に焦点を当てている。このアプローチにより、より迅速な反復とより広い適用性が可能になるが、同社は物理プラットフォームをパートナーに依存する必要があることも意味する。Fermataのリーダーシップは、この戦略によりハードウェアに依存せず、競合他社が直面する資本集約的な製造課題を回避できると述べている。
この組織はまた、BAIR (Berkeley AI Research)やStanford AI Labなどの学術ラボとトップ研究人材をめぐって競争している。研究者を引き付け維持するために、Fermataは競争力のある報酬パッケージと出版に友好的なポリシーを提供しており、従業員がNeurIPSやICMLなどの主要会議で作業を共有できるようにしている。これにより、同社は2022年以来トップクラスの会議で30以上の論文が受理され、強力な出版記録を維持するのに役立っている。
倫理的考慮事項と安全性
Fermataは、自律システムの倫理的影響に対処するために積極的に取り組んでいる。同社は、潜在的な社会的影響についてすべての研究プロジェクトをレビューする内部倫理委員会を維持している。この委員会には学界と市民社会からの外部メンバーが含まれており、独立した監視を確保している。2023年、Fermataは透明性、説明責任、人間の監督を強調する責任あるAI展開の原則を概説したホワイトペーパーを公開した。
この組織はまた、Partnership on AIのメンバーでもあり、自律システムの安全基準に関する業界全体の議論に貢献している。Fermataの安全性検証チームは、指定された仮定の下で衝突回避などのトレーニングされたポリシーの特定の特性を証明できる形式検証フレームワークを開発した。この作業は規制当局に認識されており、いくつかの管轄区域での自動運転車の安全性に関するドラフトガイドラインに情報を提供している。
将来の方向性
今後、Fermataは複数の自律エンティティが行動を調整する必要があるマルチエージェントシステムへの研究を拡大する計画である。これは、倉庫オートメーション、ドローンスウォーム、協調運転に応用がある。同社はまた、Large language modelと世界モデルの統合を模索しており、自然言語コマンドを理解し、それらを物理的な行動に変換できるシステムの構築を目指している。
Fermataは、低電力エッジデバイスでの展開を可能にするエネルギー効率的なモデルアーキテクチャに投資している。研究グループは、生物学的ニューロンを模倣し、エネルギー消費を数桁削減する可能性があるスパイキングニューラルネットワークに取り組んでいる。まだ初期段階ではあるが、この研究はFermataを持続可能なAIのリーダーとして位置付ける可能性がある。
この組織はまた、国際展開を検討しており、日本のロボティクス企業と協力するために東京に研究オフィスを開設する計画がある。この動きは、日本の強力な産業ロボティクスエコシステムを活用し、具現化AIのグローバルリーダーになるというFermataの目標に沿ったものとなる。
結論
Fermataは、世界モデリングと安全性検証に焦点を当てることで差別化された、自律システム向けAIの分野で重要なプレーヤーとしての地位を確立している。 substantialな資金調達、強力な研究チーム、戦略的パートナーシップにより、同社は次世代のインテリジェントマシンに影響を与える良い位置にある。具現化AIの分野が進化し続ける中、Fermataの貢献はデジタルインテリジェンスと物理的な行動の間のギャップを埋める上で重要な役割を果たす可能性が高い。