Fermata est une organisation de recherche en intelligence artificielle qui développe des modèles fondamentaux pour les systèmes autonomes et la robotique. Fondée en 2021, l'organisation se concentre sur la création de systèmes d'IA capables de perception, de prise de décision et de contrôle en temps réel dans des environnements physiques dynamiques. Ses travaux se situent à l'intersection de l'apprentissage automatique, de la vision par ordinateur et de la robotique, avec un accent sur l'intelligence incarnée - la capacité de l'IA à comprendre et à agir dans le monde physique.
Le programme de recherche de l'organisation repose sur le principe que les grands modèles de langage et les systèmes de IA générative actuels, bien que puissants dans les domaines du texte et de l'image, manquent de l'ancrage temporel et spatial requis pour une opération autonome. Fermata vise à combler cette lacune en développant des modèles qui intègrent les données sensorielles avec des séquences d'actions, permettant des applications dans les véhicules autonomes, l'automatisation industrielle et la robotique d'assistance.
Fondation et Direction
Fermata a été établie en 2021 par un groupe de chercheurs et d'ingénieurs ayant des antécédents en apprentissage profond, en conception d'architectures de réseaux neuronaux et en systèmes de contrôle. L'équipe fondatrice comprenait d'anciens membres de Google DeepMind, OpenAI et Tesla, réunissant une expertise en apprentissage par renforcement, en vision par ordinateur et en formation de modèles à grande échelle. L'entreprise a son siège à Palo Alto, en Californie, avec un bureau de recherche satellite à Toronto, au Canada.
L'équipe de direction est dirigée par la PDG et cofondatrice, Dr Elena Vasquez, qui dirigeait auparavant la division robotique chez Samsung Research. Le directeur scientifique, Dr Raj Patel, ancien chercheur principal chez Nokia Bell Labs, supervise le développement des modèles de base. L'organisation compte environ 120 employés, dont une part significative détient des doctorats en informatique, en neurosciences ou dans des domaines connexes.
Domaines de Recherche Principaux
La recherche de Fermata est organisée autour de trois piliers principaux : la modélisation du monde, la prédiction d'actions et la vérification de sécurité. L'équipe de modélisation du monde développe des architectures neuronales qui apprennent des représentations compactes des environnements physiques à partir de données sensorielles multimodales, y compris des flux lidar, radar et caméra. Ces modèles sont conçus pour prédire les états futurs de l'environnement, une capacité essentielle pour la planification dans les systèmes autonomes.
Le groupe de prédiction d'actions travaille sur des réseaux de politiques qui mappent les entrées sensorielles aux commandes de contrôle. Contrairement aux contrôleurs basés sur des règles traditionnels, ces réseaux sont formés de bout en bout en utilisant des techniques de apprentissage par renforcement et d'apprentissage par imitation. Fermata a publié plusieurs articles sur l'apprentissage par renforcement hiérarchique, où les objectifs de haut niveau sont décomposés en commandes motrices de bas niveau, une méthode qui a montré des résultats prometteurs dans des tâches de manipulation complexes.
L'équipe de vérification de sécurité aborde le défi de garantir que les politiques apprises se comportent de manière fiable dans les cas limites. Cela implique des méthodes formelles, des tests adversariaux et le développement de moniteurs d'exécution capables de détecter lorsqu'un modèle opère en dehors de sa distribution d'entraînement. Ce travail est critique pour l'approbation réglementaire dans des domaines à enjeux de sécurité élevés comme la conduite autonome.
Produits et Technologies Clés
Le produit principal de Fermata est le Fermat Core, une plateforme logicielle qui fournit des modèles de monde pré-entraînés et des réseaux de politiques pour les développeurs de robotique et de véhicules autonomes. La plateforme comprend un environnement de simulation, Fermat Sim, qui permet aux développeurs de tester leurs systèmes dans des mondes virtuels photoréalistes avant le déploiement. Fermat Sim est construit sur la technologie unreal-engine et prend en charge les tests matériel-dans-la-boucle avec des frameworks robotiques populaires.
En 2023, l'entreprise a publié Fermat Drive, une version spécialisée de son modèle de base adaptée aux véhicules autonomes. Fermat Drive s'intègre avec les piles de capteurs existantes et a été validé sur les routes publiques en Californie et au Nevada. Le système a atteint un taux de désengagement de 0,8 pour 1 000 miles lors des tests de 2024, un chiffre comparable aux systèmes de conduite autonome leaders de Waymo et Cruise.
Fermata propose également Fermat Edge, un moteur d'inférence léger optimisé pour les dispositifs embarqués. Fermat Edge fonctionne sur des processeurs basés sur Arm Holdings et des plateformes Qualcomm Snapdragon, permettant l'IA sur appareil pour les drones, les robots industriels et les appareils grand public. Le moteur utilise des techniques de quantification et d'élagage pour réduire la taille du modèle jusqu'à 80 % sans perte significative de précision.
Innovations Techniques
L'une des contributions techniques clés de Fermata est le développement d'une variante novatrice de transformeur appelée le Transformeur d'État Temporel (TST). Cette architecture étend le transformeur standard en incorporant des encodages positionnels indexés dans le temps explicites et un module de mémoire récurrente, lui permettant de traiter de longues séquences de données sensorielles avec un coût computationnel borné. Les modèles TST ont démontré des performances de pointe sur plusieurs tâches de référence pour la conduite autonome, y compris le défi de prédiction nuScenes.
Fermata a également été pionnière dans l'utilisation de modèles de monde en robotique grâce à son framework 'Latent Dynamics'. Cette approche apprend un espace latent compressé de la dynamique de l'environnement, puis utilise cet espace pour la planification via un contrôle prédictif basé sur un modèle. Contrairement aux méthodes sans modèle, qui nécessitent des millions d'interactions pour apprendre une politique, Latent Dynamics permet un apprentissage efficace en échantillons, réduisant le temps de formation d'un ordre de grandeur dans des environnements simulés.
L'organisation a déposé plus de 40 brevets liés à ses technologies de base, couvrant des domaines tels que la planification consciente de l'incertitude, la coordination multi-agents et l'inférence économe en énergie pour les dispositifs de périphérie. En 2023, Fermata a publié une boîte à outils open-source appelée 'FermataSim', un simulateur haute fidélité pour tester les systèmes autonomes. Le simulateur prend en charge le rendu photoréaliste, la simulation de capteurs basée sur la physique et l'intégration avec des frameworks populaires de apprentissage automatique comme PyTorch et JAX.
Partenariats et Applications
Fermata a établi des partenariats avec plusieurs grandes entreprises technologiques pour déployer ses modèles dans des contextes réels. En 2022, elle a annoncé une collaboration avec Cruise pour développer des modèles de perception et de prédiction pour les véhicules de covoiturage autonomes à San Francisco. Le partenariat exploite l'architecture TST de Fermata pour améliorer la précision des prédictions de trajectoire des piétons et des cyclistes, un composant de sécurité critique.
Dans le secteur industriel, Fermata travaille avec Intuitive Surgical pour améliorer les capacités des robots chirurgicaux. La collaboration se concentre sur le développement de systèmes de navigation assistés par IA qui peuvent s'adapter aux variations anatomiques en temps réel, réduisant potentiellement les temps de procédure et améliorant les résultats pour les patients. Des études pilotes ont montré que le système peut réduire les erreurs de positionnement des outils de 35 % par rapport aux méthodes conventionnelles.
L'organisation fournit également des modèles à TomTom pour la prédiction du trafic et l'optimisation des itinéraires. En intégrant les modèles de monde de Fermata avec les données cartographiques de TomTom, le système peut anticiper les schémas de congestion jusqu'à 30 minutes à l'avance, permettant une planification d'itinéraire plus efficace pour les flottes logistiques. Cette application a été déployée dans des programmes pilotes à Amsterdam et à Singapour.
Financement et Croissance
Fermata a levé un total de 180 millions de dollars en financement de capital-risque sur trois tours. Le tour de série A, achevé en 2022, a levé 40 millions de dollars et a été mené par Coreweave, avec la participation de Amazon Web Services et Oracle Cloud Infrastructure. Le tour de série B en 2023 a levé 90 millions de dollars, mené par Halcyon AI, une firme de capital-risque spécialisée dans les investissements en technologie profonde. Le tour de série C le plus récent, annoncé début 2024, a levé 50 millions de dollars auprès d'un consortium comprenant AMD et Qualcomm, reflétant un intérêt croissant pour le matériel d'IA de périphérie.
La valorisation de l'entreprise a atteint 1,2 milliard de dollars après le tour de série C, la plaçant parmi les startups d'IA à la croissance la plus rapide dans le domaine des systèmes autonomes. Les revenus sont générés par une combinaison de licences logicielles, de contrats de développement de modèles personnalisés et de services de conseil. En 2023, Fermata a rapporté 25 millions de dollars de revenus récurrents annuels, un chiffre qui a augmenté à 40 millions de dollars à la mi-2024.
Paysage Concurrentiel
Fermata opère dans un domaine concurrentiel qui comprend des acteurs établis tels que Waymo, Figure AI et Sanctuary AI. Contrairement à Waymo, qui se concentre exclusivement sur les véhicules autonomes, la technologie de Fermata est indépendante de la plateforme, lui permettant de servir plusieurs verticales. Cette diversification a été un différenciateur clé, réduisant la dépendance à un marché unique.
Comparé à Figure AI et Sanctuary AI, qui développent des robots humanoïdes, Fermata se concentre sur la couche logicielle plutôt que sur le matériel. Cette approche permet une itération plus rapide et une applicabilité plus large, mais signifie également que l'entreprise doit compter sur des partenaires pour les plateformes physiques. La direction de Fermata a déclaré que cette stratégie leur permet de rester indépendants du matériel et d'éviter les défis de fabrication à forte intensité de capital rencontrés par les concurrents.
L'organisation concurrence également les laboratoires académiques tels que BAIR (Berkeley AI Research) et Stanford AI Lab pour attirer les meilleurs talents de recherche. Pour attirer et retenir les chercheurs, Fermata offre des packages de rémunération compétitifs et une politique favorable aux publications, permettant aux employés de partager leurs travaux lors de conférences majeures comme NeurIPS et ICML. Cela a aidé l'entreprise à maintenir un solide dossier de publications, avec plus de 30 articles acceptés dans des conférences de premier plan depuis 2022.
Considérations Éthiques et Sécurité
Fermata a été proactive dans l'adresse des implications éthiques des systèmes autonomes. L'entreprise maintient un comité d'éthique interne qui examine tous les projets de recherche pour les impacts sociétaux potentiels. Ce comité comprend des membres externes du monde académique et de la société civile, assurant une supervision indépendante. En 2023, Fermata a publié un livre blanc décrivant ses principes pour un déploiement responsable de l'IA, mettant l'accent sur la transparence, la responsabilité et la supervision humaine.
L'organisation est également membre du Partnership on AI, contribuant aux discussions à l'échelle de l'industrie sur les normes de sécurité pour les systèmes autonomes. L'équipe de vérification de sécurité de Fermata a développé un framework de vérification formelle qui peut prouver certaines propriétés des politiques entraînées, telles que l'évitement de collision, sous des hypothèses spécifiées. Ce travail a été reconnu par les régulateurs et a informé des projets de directives pour la sécurité des véhicules autonomes dans plusieurs juridictions.
Orientations Futures
À l'avenir, Fermata prévoit d'étendre sa recherche aux systèmes multi-agents, où plusieurs entités autonomes doivent coordonner leurs actions. Cela a des applications dans l'automatisation des entrepôts, les essaims de drones et la conduite coopérative. L'entreprise explore également l'intégration des grands modèles de langage avec ses modèles de monde, visant à créer des systèmes capables de comprendre des commandes en langage naturel et de les traduire en actions physiques.
Fermata investit dans des architectures de modèles économes en énergie pour permettre le déploiement sur des dispositifs de périphérie à faible consommation. Un groupe de recherche travaille sur les réseaux neuronaux à impulsions, qui imitent les neurones biologiques et ont le potentiel de réduire la consommation d'énergie de plusieurs ordres de grandeur. Bien qu'encore à un stade précoce, cette recherche pourrait positionner Fermata comme un leader dans l'IA durable.
L'organisation envisage également une expansion internationale, avec des plans pour ouvrir un bureau de recherche à Tokyo afin de collaborer avec des entreprises de robotique japonaises. Cette décision tirerait parti du solide écosystème de robotique industrielle au Japon et s'alignerait sur l'objectif de Fermata de devenir un leader mondial dans l'IA incarnée.
Conclusion
Fermata s'est établie comme un acteur significatif dans le domaine de l'IA pour les systèmes autonomes, se distinguant par son accent sur la modélisation du monde et la vérification de sécurité. Avec un financement substantiel, une équipe de recherche solide et des partenariats stratégiques, l'entreprise est bien positionnée pour influencer la prochaine génération de machines intelligentes. Alors que le domaine de l'IA incarnée continue d'évoluer, les contributions de Fermata sont susceptibles de jouer un rôle crucial dans le rapprochement entre l'intelligence numérique et l'action physique.