Fermata es una organización de investigación en inteligencia artificial que desarrolla modelos fundacionales para sistemas autónomos y robótica. Fundada en 2021, la organización se centra en crear sistemas de IA capaces de percepción, toma de decisiones y control en tiempo real en entornos físicos dinámicos. Su trabajo se sitúa en la intersección de aprendizaje automático, visión por computadora y robótica, con énfasis en la inteligencia incorporada - la capacidad de la IA para comprender y actuar dentro del mundo físico.
La agenda de investigación de la organización se basa en la premisa de que los modelos de lenguaje grandes y los sistemas de IA generativa actuales, aunque potentes en los dominios de texto e imagen, carecen del anclaje temporal y espacial necesario para la operación autónoma. Fermata busca cerrar esta brecha desarrollando modelos que integren datos sensoriales con secuencias de acción, habilitando aplicaciones en vehículos autónomos, automatización industrial y robótica asistencial.
Fundación y Liderazgo
Fermata fue establecida en 2021 por un grupo de investigadores e ingenieros con experiencia en aprendizaje profundo, diseño de arquitecturas de redes neuronales y sistemas de control. El equipo fundador incluía exmiembros de Google DeepMind, OpenAI y Tesla, reuniendo experiencia en aprendizaje por refuerzo, visión por computadora y entrenamiento de modelos a gran escala. La empresa tiene su sede en Palo Alto, California, con una oficina satélite de investigación en Toronto, Canadá.
El equipo de liderazgo está encabezado por la CEO y cofundadora, Dra. Elena Vasquez, quien anteriormente dirigió la división de robótica en Samsung Research. El científico jefe, Dr. Raj Patel, exinvestigador principal en Nokia Bell Labs, supervisa el desarrollo del modelo central. La organización ha crecido hasta aproximadamente 120 empleados, con una porción significativa con doctorados en informática, neurociencia o campos relacionados.
Áreas de Enfoque de Investigación
La investigación de Fermata se organiza en torno a tres pilares principales: modelado del mundo, predicción de acciones y verificación de seguridad. El equipo de modelado del mundo desarrolla arquitecturas neuronales que aprenden representaciones compactas de entornos físicos a partir de datos de sensores multimodales, incluyendo lidar, radar y cámaras. Estos modelos están diseñados para predecir estados futuros del entorno, una capacidad esencial para la planificación en sistemas autónomos.
El grupo de predicción de acciones trabaja en redes de políticas que mapean entradas sensoriales a comandos de control. A diferencia de los controladores basados en reglas tradicionales, estas redes se entrenan de extremo a extremo utilizando técnicas de aprendizaje por refuerzo y aprendizaje por imitación. Fermata ha publicado varios artículos sobre aprendizaje por refuerzo jerárquico, donde los objetivos de alto nivel se descomponen en comandos motores de bajo nivel, un método que ha mostrado promesa en tareas complejas de manipulación.
El equipo de verificación de seguridad aborda el desafío de garantizar que las políticas aprendidas se comporten de manera confiable en casos límite. Esto implica métodos formales, pruebas adversariales y el desarrollo de monitores de tiempo de ejecución que puedan detectar cuando un modelo opera fuera de su distribución de entrenamiento. Este trabajo es crítico para la aprobación regulatoria en dominios de seguridad crítica como la conducción autónoma.
Productos y Tecnologías Clave
El producto principal de Fermata es Fermat Core, una plataforma de software que proporciona modelos de mundo preentrenados y redes de políticas para desarrolladores de robótica y vehículos autónomos. La plataforma incluye un entorno de simulación, Fermat Sim, que permite a los desarrolladores probar sus sistemas en mundos virtuales fotorrealistas antes del despliegue. Fermat Sim está construido sobre tecnología de unreal engine y soporta pruebas de hardware en el bucle con marcos de robótica populares.
En 2023, la empresa lanzó Fermat Drive, una versión especializada de su modelo central adaptada para vehículos autónomos. Fermat Drive se integra con los conjuntos de sensores existentes y ha sido validado en carreteras públicas en California y Nevada. El sistema logró una tasa de desconexión de 0.8 por cada 1,000 millas en las pruebas de 2024, una cifra comparable a los sistemas líderes de conducción autónoma de Waymo y Cruise.
Fermata también ofrece Fermat Edge, un motor de inferencia ligero optimizado para dispositivos integrados. Fermat Edge se ejecuta en procesadores basados en Arm Holdings y plataformas Qualcomm Snapdragon, habilitando IA en el dispositivo para drones, robots industriales y electrodomésticos. El motor utiliza técnicas de cuantización y poda para reducir el tamaño del modelo hasta en un 80% sin pérdida significativa de precisión.
Innovaciones Técnicas
Una de las contribuciones técnicas clave de Fermata es el desarrollo de una variante novedosa de transformador llamada Transformador de Estado Temporal (TST). Esta arquitectura extiende el transformador estándar incorporando codificaciones posicionales explícitas indexadas por tiempo y un módulo de memoria recurrente, permitiendo procesar secuencias largas de datos de sensores con costo computacional acotado. Los modelos TST han demostrado un rendimiento de vanguardia en varias tareas de referencia para conducción autónoma, incluido el desafío de predicción nuScenes.
Fermata también fue pionera en el uso de modelos de mundo en robótica a través de su marco 'Latent Dynamics'. Este enfoque aprende un espacio latente comprimido de la dinámica del entorno, y luego utiliza ese espacio para la planificación mediante control predictivo basado en modelos. A diferencia de los métodos sin modelo, que requieren millones de interacciones para aprender una política, Latent Dynamics permite un aprendizaje eficiente en muestras, reduciendo el tiempo de entrenamiento en un orden de magnitud en entornos simulados.
La organización ha presentado más de 40 patentes relacionadas con sus tecnologías centrales, cubriendo áreas como planificación consciente de la incertidumbre, coordinación multiagente e inferencia energéticamente eficiente para dispositivos de borde. En 2023, Fermata lanzó un kit de herramientas de código abierto llamado 'FermataSim', un simulador de alta fidelidad para probar sistemas autónomos. El simulador soporta renderizado fotorrealista, simulación de sensores basada en física e integración con marcos populares de aprendizaje automático como PyTorch y JAX.
Asociaciones y Aplicaciones
Fermata ha establecido asociaciones con varias empresas tecnológicas importantes para desplegar sus modelos en entornos del mundo real. En 2022, anunció una colaboración con Cruise para desarrollar modelos de percepción y predicción para vehículos de viaje compartido autónomos en San Francisco. La asociación aprovecha la arquitectura TST de Fermata para mejorar la precisión de las predicciones de trayectorias de peatones y ciclistas, un componente crítico de seguridad.
En el sector industrial, Fermata trabaja con Intuitive Surgical para mejorar las capacidades de los robots quirúrgicos. La colaboración se centra en desarrollar sistemas de navegación asistidos por IA que puedan adaptarse a variaciones anatómicas en tiempo real, potencialmente reduciendo los tiempos de procedimiento y mejorando los resultados para los pacientes. Estudios piloto han mostrado que el sistema puede reducir los errores de posicionamiento de herramientas en un 35% en comparación con métodos convencionales.
La organización también suministra modelos a TomTom para la predicción de tráfico y la optimización de rutas. Al integrar los modelos de mundo de Fermata con los datos de mapeo de TomTom, el sistema puede anticipar patrones de congestión hasta 30 minutos de antelación, habilitando una planificación de rutas más eficiente para flotas logísticas. Esta aplicación ha sido desplegada en programas piloto en Ámsterdam y Singapur.
Financiamiento y Crecimiento
Fermata ha recaudado un total de $180 millones en financiamiento de capital de riesgo en tres rondas. La ronda Serie A, completada en 2022, recaudó $40 millones y fue liderada por Coreweave, con participación de Amazon Web Services y Oracle Cloud Infrastructure. La ronda Serie B en 2023 recaudó $90 millones, liderada por Halcyon AI, una firma de capital de riesgo especializada en inversiones de tecnología profunda. La ronda Serie C más reciente, anunciada a principios de 2024, recaudó $50 millones de un consorcio que incluye a AMD y Qualcomm, reflejando un creciente interés en hardware de IA de borde.
La valoración de la empresa alcanzó los $1.2 mil millones después de la ronda Serie C, colocándola entre las startups de IA de más rápido crecimiento en el espacio de sistemas autónomos. Los ingresos se generan a través de una combinación de licencias de software, contratos de desarrollo de modelos personalizados y servicios de consultoría. En 2023, Fermata reportó $25 millones en ingresos recurrentes anuales, una cifra que ha crecido a $40 millones a mediados de 2024.
Panorama Competitivo
Fermata opera en un campo competitivo que incluye actores establecidos como Waymo, Figure AI y Sanctuary AI. A diferencia de Waymo, que se centra exclusivamente en vehículos autónomos, la tecnología de Fermata es independiente de la plataforma, lo que le permite servir a múltiples verticales. Esta diversificación ha sido un diferenciador clave, reduciendo la dependencia de un solo mercado.
En comparación con Figure AI y Sanctuary AI, que desarrollan robots humanoides, Fermata se centra en la capa de software en lugar del hardware. Este enfoque permite una iteración más rápida y una aplicabilidad más amplia, pero también significa que la empresa debe depender de socios para las plataformas físicas. El liderazgo de Fermata ha declarado que esta estrategia les permite permanecer independientes del hardware y evitar los desafíos de fabricación intensivos en capital que enfrentan los competidores.
La organización también compite con laboratorios académicos como BAIR (Berkeley AI Research) y Stanford AI Lab por el mejor talento investigador. Para atraer y retener investigadores, Fermata ofrece paquetes de compensación competitivos y una política amigable con las publicaciones, permitiendo a los empleados compartir su trabajo en conferencias importantes como NeurIPS e ICML. Esto ha ayudado a la empresa a mantener un sólido historial de publicaciones, con más de 30 artículos aceptados en lugares de primer nivel desde 2022.
Consideraciones Éticas y Seguridad
Fermata ha sido proactiva en abordar las implicaciones éticas de los sistemas autónomos. La empresa mantiene una junta de ética interna que revisa todos los proyectos de investigación por posibles impactos sociales. Esta junta incluye miembros externos de la academia y la sociedad civil, asegurando una supervisión independiente. En 2023, Fermata publicó un documento técnico que describe sus principios para el despliegue responsable de IA, enfatizando la transparencia, la responsabilidad y la supervisión humana.
La organización también es miembro de la Asociación sobre IA, contribuyendo a discusiones a nivel de la industria sobre estándares de seguridad para sistemas autónomos. El equipo de verificación de seguridad de Fermata ha desarrollado un marco de verificación formal que puede probar ciertas propiedades de las políticas entrenadas, como la evitación de colisiones, bajo supuestos especificados. Este trabajo ha sido reconocido por los reguladores y ha informado borradores de pautas para la seguridad de vehículos autónomos en varias jurisdicciones.
Direcciones Futuras
De cara al futuro, Fermata planea expandir su investigación hacia sistemas multiagente, donde múltiples entidades autónomas deben coordinar sus acciones. Esto tiene aplicaciones en automatización de almacenes, enjambres de drones y conducción cooperativa. La empresa también está explorando la integración de modelos de lenguaje grandes con sus modelos de mundo, con el objetivo de crear sistemas que puedan comprender comandos en lenguaje natural y traducirlos en acciones físicas.
Fermata está invirtiendo en arquitecturas de modelos energéticamente eficientes para habilitar el despliegue en dispositivos de borde de bajo consumo. Un grupo de investigación está trabajando en redes neuronales de picos, que imitan neuronas biológicas y tienen el potencial de reducir el consumo de energía en varios órdenes de magnitud. Aunque todavía está en etapas tempranas, esta investigación podría posicionar a Fermata como líder en IA sostenible.
La organización también está considerando la expansión internacional, con planes de abrir una oficina de investigación en Tokio para colaborar con empresas de robótica japonesas. Este movimiento aprovecharía el fuerte ecosistema de robótica industrial en Japón y se alinearía con el objetivo de Fermata de convertirse en un líder global en IA incorporada.
Conclusión
Fermata se ha establecido como un actor significativo en el campo de la IA para sistemas autónomos, distinguido por su enfoque en el modelado del mundo y la verificación de seguridad. Con un financiamiento sustancial, un equipo de investigación sólido y asociaciones estratégicas, la empresa está bien posicionada para influir en la próxima generación de máquinas inteligentes. A medida que el campo de la IA incorporada continúa evolucionando, es probable que las contribuciones de Fermata jueguen un papel crucial en cerrar la brecha entre la inteligencia digital y la acción física.