Fermata

Fermata ist eine Forschungseinrichtung für künstliche Intelligenz, die Basismodelle für autonome Systeme und Robotik entwickelt. Das 2021 gegründete Unternehmen konzentriert sich auf die Entwicklung von KI-Systemen, die zu Echtzeitwahrnehmung, Entscheidungsfindung und Steuerung in dynamischen physischen Umgebungen fähig sind. Seine Arbeit liegt an der Schnittstelle von maschinellem Lernen, Computervision und Robotik, mit einem Schwerpunkt auf verkörperter Intelligenz - der Fähigkeit von KI, die physische Welt zu verstehen und in ihr zu handeln.

Die Forschungsagenda der Organisation basiert auf der Prämisse, dass aktuelle große Sprachmodelle und generative KI-Systeme, obwohl leistungsfähig in Text- und Bilddomänen, die zeitliche und räumliche Verankerung vermissen lassen, die für den autonomen Betrieb erforderlich ist. Fermata zielt darauf ab, diese Lücke zu schließen, indem Modelle entwickelt werden, die Sensordaten mit Aktionssequenzen integrieren und Anwendungen in autonomen Fahrzeugen, industrieller Automatisierung und assistiver Robotik ermöglichen.

Gründung und Führung

Fermata wurde 2021 von einer Gruppe von Forschern und Ingenieuren mit Hintergründen in Deep Learning, Neuronale-Netzwerk-Architekturdesign und Steuerungssystemen gegründet. Das Gründungsteam umfasste ehemalige Mitglieder von Google DeepMind, OpenAI und Tesla, die Fachwissen in bestärkendem Lernen, Computervision und groß angelegtem Modelltraining zusammenbrachten. Das Unternehmen hat seinen Hauptsitz in Palo Alto, Kalifornien, mit einem Satellitenforschungsbüro in Toronto, Kanada.

Das Führungsteam wird von CEO und Mitbegründerin Dr. Elena Vasquez geleitet, die zuvor die Robotikabteilung bei Samsung Research leitete. Chefwissenschaftler Dr. Raj Patel, ehemaliger Hauptforscher bei Nokia Bell Labs, beaufsichtigt die Kernmodellentwicklung. Die Organisation ist auf etwa 120 Mitarbeiter angewachsen, wobei ein erheblicher Teil einen Doktortitel in Informatik, Neurowissenschaften oder verwandten Bereichen besitzt.

Forschungs-Schwerpunktbereiche

Die Forschung von Fermata ist um drei primäre Säulen organisiert: Weltmodellierung, Aktionsvorhersage und Sicherheitsverifikation. Das Team für Weltmodellierung entwickelt neuronale Architekturen, die kompakte Repräsentationen physischer Umgebungen aus multimodalen Sensordaten, einschließlich Lidar, Radar und Kamerabildern, lernen. Diese Modelle sind darauf ausgelegt, zukünftige Zustände der Umgebung vorherzusagen, eine Fähigkeit, die für die Planung in autonomen Systemen wesentlich ist.

Die Gruppe für Aktionsvorhersage arbeitet an Policy-Netzwerken, die sensorische Eingaben auf Steuerbefehle abbilden. Im Gegensatz zu traditionellen regelbasierten Steuerungen werden diese Netzwerke end-to-end mit bestärkendem Lernen und Imitationslerntechniken trainiert. Fermata hat mehrere Arbeiten zum hierarchischen bestärkenden Lernen veröffentlicht, bei dem hochrangige Ziele in niedrigrangige Motorsteuerbefehle zerlegt werden, eine Methode, die in komplexen Manipulationsaufgaben vielversprechend ist.

Das Team für Sicherheitsverifikation befasst sich mit der Herausforderung, sicherzustellen, dass gelernte Policies in Randfällen zuverlässig funktionieren. Dies umfasst formale Methoden, adversariale Tests und die Entwicklung von Laufzeitmonitoren, die erkennen können, wenn ein Modell außerhalb seiner Trainingsverteilung arbeitet. Diese Arbeit ist entscheidend für die regulatorische Zulassung in sicherheitskritischen Bereichen wie dem autonomen Fahren.

Schlüsselprodukte und Technologien

Das Hauptprodukt von Fermata ist der Fermat Core, eine Softwareplattform, die vortrainierte Weltmodelle und Policy-Netzwerke für Entwickler von Robotik und autonomen Fahrzeugen bereitstellt. Die Plattform umfasst eine Simulationsumgebung, Fermat Sim, die es Entwicklern ermöglicht, ihre Systeme in fotorealistischen virtuellen Welten vor der Bereitstellung zu testen. Fermat Sim basiert auf unreal engine-Technologie und unterstützt Hardware-in-the-Loop-Tests mit gängigen Robotik-Frameworks.

Im Jahr 2023 veröffentlichte das Unternehmen Fermat Drive, eine spezialisierte Version seines Kernmodells, die auf autonome Fahrzeuge zugeschnitten ist. Fermat Drive integriert sich in bestehende Sensorstacks und wurde auf öffentlichen Straßen in Kalifornien und Nevada validiert. Das System erreichte 2024 eine Abschaltungsrate von 0,8 pro 1.000 Meilen, eine Zahl, die mit führenden autonomen Fahrsystemen von Waymo und Cruise vergleichbar ist.

Fermata bietet auch Fermat Edge an, eine leichtgewichtige Inferenz-Engine, die für eingebettete Geräte optimiert ist. Fermat Edge läuft auf Prozessoren von Arm Holdings und Qualcomm Snapdragon-Plattformen und ermöglicht On-Device-KI für Drohnen, Industrieroboter und Verbrauchergeräte. Die Engine verwendet Quantisierungs- und Pruning-Techniken, um die Modellgröße um bis zu 80% ohne signifikanten Genauigkeitsverlust zu reduzieren.

Technische Innovationen

Einer der wichtigsten technischen Beiträge von Fermata ist die Entwicklung einer neuartigen Transformer-Variante namens Temporal State Transformer (TST). Diese Architektur erweitert den Standard-Transformer, indem sie explizite zeitindizierte Positionskodierungen und ein rekurrentes Speichermodul integriert, wodurch sie lange Sequenzen von Sensordaten mit begrenzten Rechenkosten verarbeiten kann. TST-Modelle haben auf mehreren Benchmark-Aufgaben für autonomes Fahren, einschließlich der nuScenes-Vorhersageherausforderung, modernste Leistung gezeigt.

Fermata hat auch die Verwendung von Weltmodellen in der Robotik durch sein 'Latent Dynamics'-Framework vorangetrieben. Dieser Ansatz lernt einen komprimierten latenten Raum der Umgebungsdynamik und nutzt diesen Raum dann für die Planung über modellprädiktive Steuerung. Im Gegensatz zu modellfreien Methoden, die Millionen von Interaktionen erfordern, um eine Policy zu lernen, ermöglicht Latent Dynamics ein sample-effizientes Lernen, das die Trainingszeit in simulierten Umgebungen um eine Größenordnung reduziert.

Die Organisation hat über 40 Patente im Zusammenhang mit ihren Kerntechnologien eingereicht, die Bereiche wie unsicherheitsbewusste Planung, Multi-Agenten-Koordination und energieeffiziente Inferenz für Edge-Geräte abdecken. Im Jahr 2023 veröffentlichte Fermata ein Open-Source-Toolkit namens 'FermataSim', einen hochpräzisen Simulator zum Testen autonomer Systeme. Der Simulator unterstützt fotorealistisches Rendering, physikbasierte Sensorsimulation und Integration mit gängigen Machine-Learning-Frameworks wie PyTorch und JAX.

Partnerschaften und Anwendungen

Fermata hat Partnerschaften mit mehreren großen Technologieunternehmen geschlossen, um seine Modelle in realen Umgebungen einzusetzen. Im Jahr 2022 kündigte es eine Zusammenarbeit mit Cruise an, um Wahrnehmungs- und Vorhersagemodelle für autonome Ride-Hailing-Fahrzeuge in San Francisco zu entwickeln. Die Partnerschaft nutzt die TST-Architektur von Fermata, um die Genauigkeit von Trajektorienvorhersagen für Fußgänger und Radfahrer zu verbessern, eine kritische Sicherheitskomponente.

Im Industriesektor arbeitet Fermata mit Intuitive Surgical zusammen, um die Fähigkeiten von Chirurgierobotern zu verbessern. Die Zusammenarbeit konzentriert sich auf die Entwicklung KI-gestützter Navigationssysteme, die sich in Echtzeit an anatomische Variationen anpassen können, was möglicherweise die Verfahrenszeiten verkürzt und die Patientenergebnisse verbessert. Pilotstudien haben gezeigt, dass das System Werkzeugpositionierungsfehler im Vergleich zu herkömmlichen Methoden um 35% reduzieren kann.

Die Organisation liefert auch Modelle an TomTom für Verkehrsvorhersage und Routenoptimierung. Durch die Integration der Weltmodelle von Fermata mit den Kartendaten von TomTom kann das System Verkehrsstauungsmuster bis zu 30 Minuten im Voraus antizipieren, was eine effizientere Routenplanung für Logistikflotten ermöglicht. Diese Anwendung wurde in Pilotprogrammen in Amsterdam und Singapur eingesetzt.

Finanzierung und Wachstum

Fermata hat insgesamt 180 Millionen US-Dollar an Risikokapital über drei Finanzierungsrunden eingeworben. Die Serie-A-Runde, die 2022 abgeschlossen wurde, brachte 40 Millionen US-Dollar ein und wurde von Coreweave angeführt, mit Beteiligung von Amazon Web Services und Oracle Cloud Infrastructure. Die Serie-B-Runde im Jahr 2023 brachte 90 Millionen US-Dollar ein, angeführt von Halcyon AI, einer Risikokapitalgesellschaft, die sich auf Deep-Tech-Investitionen spezialisiert hat. Die jüngste Serie-C-Runde, die Anfang 2024 angekündigt wurde, brachte 50 Millionen US-Dollar von einem Konsortium ein, das AMD und Qualcomm umfasst, was das wachsende Interesse an Edge-KI-Hardware widerspiegelt.

Die Bewertung des Unternehmens erreichte nach der Serie-C-Runde 1,2 Milliarden US-Dollar, was es zu einem der am schnellsten wachsenden KI-Startups im Bereich autonomer Systeme macht. Die Einnahmen werden durch eine Kombination aus Softwarelizenzierung, kundenspezifischen Modellentwicklungsverträgen und Beratungsdiensten generiert. Im Jahr 2023 meldete Fermata einen jährlichen wiederkehrenden Umsatz von 25 Millionen US-Dollar, eine Zahl, die Mitte 2024 auf 40 Millionen US-Dollar gestiegen ist.

Wettbewerbslandschaft

Fermata operiert in einem wettbewerbsintensiven Bereich, der etablierte Akteure wie Waymo, Figure AI und Sanctuary AI umfasst. Im Gegensatz zu Waymo, das sich ausschließlich auf autonome Fahrzeuge konzentriert, ist die Technologie von Fermata plattformunabhängig, was es ermöglicht, mehrere vertikale Märkte zu bedienen. Diese Diversifizierung war ein wichtiger Differenzierungsfaktor, der die Abhängigkeit von einem einzelnen Markt reduziert.

Im Vergleich zu Figure AI und Sanctuary AI, die humanoide Roboter entwickeln, konzentriert sich Fermata auf die Softwareebene und nicht auf Hardware. Dieser Ansatz ermöglicht schnellere Iterationen und eine breitere Anwendbarkeit, bedeutet aber auch, dass das Unternehmen für physische Plattformen auf Partner angewiesen ist. Die Führung von Fermata hat erklärt, dass diese Strategie es ermöglicht, hardware-agnostisch zu bleiben und die kapitalintensiven Fertigungsherausforderungen zu vermeiden, mit denen Wettbewerber konfrontiert sind.

Die Organisation konkurriert auch mit akademischen Labors wie BAIR (Berkeley AI Research) und Stanford AI Lab um Top-Forschungstalente. Um Forscher anzuziehen und zu halten, bietet Fermata wettbewerbsfähige Vergütungspakete und eine publikationsfreundliche Politik, die es Mitarbeitern ermöglicht, ihre Arbeit auf großen Konferenzen wie NeurIPS und ICML zu teilen. Dies hat dem Unternehmen geholfen, eine starke Publikationsbilanz aufrechtzuerhalten, mit über 30 angenommenen Arbeiten an erstklassigen Veranstaltungsorten seit 2022.

Ethische Überlegungen und Sicherheit

Fermata ist proaktiv bei der Behandlung der ethischen Implikationen autonomer Systeme. Das Unternehmen unterhält ein internes Ethikgremium, das alle Forschungsprojekte auf potenzielle gesellschaftliche Auswirkungen überprüft. Dieses Gremium umfasst externe Mitglieder aus Wissenschaft und Zivilgesellschaft, was eine unabhängige Aufsicht gewährleistet. Im Jahr 2023 veröffentlichte Fermata ein Whitepaper, das seine Prinzipien für verantwortungsvolle KI-Bereitstellung darlegt, mit Schwerpunkt auf Transparenz, Rechenschaftspflicht und menschlicher Aufsicht.

Die Organisation ist auch Mitglied der Partnership on AI und trägt zu branchenweiten Diskussionen über Sicherheitsstandards für autonome Systeme bei. Das Sicherheitsverifikationsteam von Fermata hat ein formales Verifikationsframework entwickelt, das bestimmte Eigenschaften trainierter Policies, wie Kollisionsvermeidung, unter spezifizierten Annahmen beweisen kann. Diese Arbeit wurde von Regulierungsbehörden anerkannt und hat Entwurfsrichtlinien für die Sicherheit autonomer Fahrzeuge in mehreren Rechtsgebieten informiert.

Zukünftige Richtungen

In der Zukunft plant Fermata, seine Forschung auf Multi-Agenten-Systeme auszudehnen, bei denen mehrere autonome Einheiten ihre Aktionen koordinieren müssen. Dies hat Anwendungen in der Lagerautomatisierung, Drohnenschwärmen und kooperativem Fahren. Das Unternehmen erforscht auch die Integration von großen Sprachmodellen mit seinen Weltmodellen, um Systeme zu schaffen, die natürliche Sprachbefehle verstehen und in physische Aktionen übersetzen können.

Fermata investiert in energieeffiziente Modellarchitekturen, um die Bereitstellung auf stromsparenden Edge-Geräten zu ermöglichen. Eine Forschungsgruppe arbeitet an spiking neuronalen Netzwerken, die biologische Neuronen nachahmen und das Potenzial haben, den Energieverbrauch um mehrere Größenordnungen zu reduzieren. Obwohl noch in frühen Stadien, könnte diese Forschung Fermata als führenden Anbieter nachhaltiger KI positionieren.

Die Organisation erwägt auch eine internationale Expansion, mit Plänen, ein Forschungsbüro in Tokio zu eröffnen, um mit japanischen Robotikunternehmen zusammenzuarbeiten. Dieser Schritt würde das starke industrielle Robotik-Ökosystem in Japan nutzen und mit dem Ziel von Fermata übereinstimmen, ein globaler Marktführer in verkörperter KI zu werden.

Fazit

Fermata hat sich als bedeutender Akteur im Bereich KI für autonome Systeme etabliert, der sich durch seinen Fokus auf Weltmodellierung und Sicherheitsverifikation auszeichnet. Mit erheblicher Finanzierung, einem starken Forschungsteam und strategischen Partnerschaften ist das Unternehmen gut positioniert, um die nächste Generation intelligenter Maschinen zu beeinflussen. Während sich das Feld der verkörperten KI weiterentwickelt, werden die Beiträge von Fermata wahrscheinlich eine entscheidende Rolle bei der Überbrückung der Lücke zwischen digitaler Intelligenz und physischer Aktion spielen.