Fermata

Fermata是一家人工智能研究组织，致力于开发用于自主系统和机器人技术的基础模型。该组织成立于2021年，专注于创建能够在动态物理环境中进行实时感知、决策和控制的AI系统。其工作处于机器学习、计算机视觉和机器人技术的交汇点，强调具身智能，即AI理解和作用于物理世界的能力。

该组织的研究议程基于这样一个前提：当前的大型语言模型和生成式AI系统虽然在文本和图像领域表现出色，但缺乏自主操作所需的时间和空间基础。Fermata旨在通过开发将感官数据与动作序列相结合的模型来弥合这一差距，从而实现在自动驾驶车辆、工业自动化和辅助机器人技术中的应用。

创始与领导层

Fermata由一群具有深度学习、神经网络架构设计和控制系统背景的研究人员和工程师于2021年创立。创始团队包括前谷歌DeepMind、OpenAI和特斯拉自动驾驶成员，汇集了强化学习、计算机视觉和大规模模型训练方面的专业知识。公司总部位于加利福尼亚州帕洛阿尔托，并在加拿大多伦多设有卫星研究办公室。

领导团队由首席执行官兼联合创始人Elena Vasquez博士领导，她此前曾担任三星研究院机器人部门负责人。首席科学家Raj Patel博士，前诺基亚贝尔实验室首席研究员，负责核心模型开发。该组织已发展到约120名员工，其中相当一部分拥有计算机科学、神经科学或相关领域的博士学位。

研究重点领域

Fermata的研究围绕三大支柱组织：世界建模、动作预测和安全验证。世界建模团队开发神经架构，从多模态传感器数据（包括激光雷达、雷达和摄像头）中学习物理环境的紧凑表示。这些模型旨在预测环境的未来状态，这是自主系统规划所必需的能力。

动作预测小组致力于将感官输入映射到控制命令的策略网络。与传统基于规则的控制器不同，这些网络使用强化学习和模仿学习技术进行端到端训练。Fermata已发表多篇关于分层强化学习的论文，其中高层目标被分解为低层运动命令，这种方法在复杂操作任务中显示出潜力。

安全验证团队应对确保学习策略在边缘情况下可靠行为的挑战。这涉及形式化方法、对抗性测试以及运行时监控器的开发，以检测模型是否在其训练分布之外运行。这项工作对于自动驾驶等安全关键领域的监管批准至关重要。

主要产品和技术

Fermata的主要产品是Fermat Core，一个为机器人和自动驾驶汽车开发者提供预训练世界模型和策略网络的软件平台。该平台包括一个仿真环境Fermat Sim，允许开发者在部署前在逼真的虚拟世界中测试其系统。Fermat Sim基于虚幻引擎技术构建，并支持与流行机器人框架的硬件在环测试。

2023年，公司发布了Fermat Drive，这是其核心模型的专用版本，专为自动驾驶汽车定制。Fermat Drive与现有传感器堆栈集成，并已在加利福尼亚州和内华达州的公共道路上得到验证。该系统在2024年测试中实现了每1,000英里0.8次的脱离率，与Waymo和Cruise等领先自动驾驶系统相当。

Fermata还提供Fermat Edge，一个针对嵌入式设备优化的轻量级推理引擎。Fermat Edge运行在基于ARM的处理器和高通骁龙平台上，支持无人机、工业机器人和消费类家电的设备端AI。该引擎使用量化和剪枝技术，将模型大小减少高达80%，而精度损失不大。

技术创新

Fermata的关键技术贡献之一是开发了一种新颖的Transformer变体，称为时间状态Transformer（TST）。该架构通过引入显式时间索引位置编码和循环记忆模块扩展了标准Transformer，使其能够以有界计算成本处理长序列传感器数据。TST模型在多个自动驾驶基准任务上展示了最先进的性能，包括nuScenes预测挑战。

Fermata还通过其“潜在动力学”框架开创了机器人技术中世界模型的使用。该方法学习环境动力学的压缩潜在空间，然后通过模型预测控制使用该空间进行规划。与需要数百万次交互来学习策略的无模型方法不同，潜在动力学实现了样本高效学习，在模拟环境中将训练时间减少了一个数量级。

该组织已就其核心技术提交了40多项专利，涵盖不确定性感知规划、多智能体协调和边缘设备能效推理等领域。2023年，Fermata发布了一个名为“FermataSim”的开源工具包，这是一个用于测试自主系统的高保真模拟器。该模拟器支持逼真渲染、基于物理的传感器模拟以及与PyTorch和JAX等流行机器学习框架的集成。

合作伙伴关系和应用

Fermata已与多家主要科技公司建立合作伙伴关系，以在现实世界中部署其模型。2022年，它宣布与Cruise合作，为旧金山的自动驾驶网约车开发感知和预测模型。该合作利用Fermata的TST架构来提高行人和骑行者轨迹预测的准确性，这是一个关键的安全组件。

在工业领域，Fermata与直觉外科合作，增强手术机器人的能力。该合作专注于开发能够实时适应解剖变异的AI辅助导航系统，可能减少手术时间并改善患者预后。试点研究表明，与传统方法相比，该系统可以将工具定位误差减少35%。

该组织还向TomTom提供用于交通预测和路线优化的模型。通过将Fermata的世界模型与TomTom的地图数据集成，该系统可以提前30分钟预测拥堵模式，从而实现物流车队更高效的路线规划。该应用已在阿姆斯特丹和新加坡的试点项目中部署。

资金和增长

Fermata已通过三轮融资共筹集了1.8亿美元的风险投资。2022年完成的A轮融资筹集了4000万美元，由CoreWeave领投，亚马逊网络服务和甲骨文云参与。2023年的B轮融资筹集了9000万美元，由专注于深度科技投资的Halcyon风险投资公司领投。最近一轮C轮融资于2024年初宣布，从包括AMD和高通在内的财团筹集了5000万美元，反映了对边缘AI硬件日益增长的兴趣。

C轮融资后，公司估值达到12亿美元，使其成为自主系统领域增长最快的AI初创公司之一。收入通过软件许可、定制模型开发合同和咨询服务的组合产生。2023年，Fermata报告了2500万美元的年度经常性收入，截至2024年中期，这一数字已增长到4000万美元。

竞争格局

Fermata在一个竞争激烈的领域运营，包括Waymo、Figure AI和Sanctuary AI等成熟参与者。与专注于自动驾驶汽车的Waymo不同，Fermata的技术是平台无关的，使其能够服务于多个垂直领域。这种多元化是一个关键差异化因素，减少了对任何单一市场的依赖。

与开发人形机器人的Figure AI和Sanctuary AI相比，Fermata专注于软件层而非硬件。这种方法允许更快的迭代和更广泛的适用性，但也意味着公司必须依赖合作伙伴提供物理平台。Fermata的领导层表示，这一策略使他们能够保持硬件无关，并避免竞争对手面临的资本密集型制造挑战。

该组织还与伯克利AI研究和斯坦福AI实验室等学术实验室竞争顶尖研究人才。为了吸引和留住研究人员，Fermata提供有竞争力的薪酬方案和友好的发表政策，允许员工在NeurIPS和ICML等主要会议上分享他们的工作。这帮助公司保持了强劲的发表记录，自2022年以来在顶级场所接受了30多篇论文。

伦理考量和安全

Fermata一直积极应对自主系统的伦理影响。公司维持一个内部伦理委员会，审查所有研究项目的潜在社会影响。该委员会包括来自学术界和公民社会的外部成员，确保独立监督。2023年，Fermata发布了一份白皮书，概述了其负责任AI部署的原则，强调透明度、问责制和人类监督。

该组织还是人工智能伙伴关系的成员，为自主系统安全标准的行业讨论做出贡献。Fermata的安全验证团队开发了一个形式化验证框架，可以在指定假设下证明训练策略的某些属性，如碰撞避免。这项工作已得到监管机构的认可，并为多个司法管辖区的自动驾驶汽车安全指南草案提供了信息。

未来方向

展望未来，Fermata计划将其研究扩展到多智能体系统，其中多个自主实体必须协调其行动。这在仓库自动化、无人机群和协作驾驶中有应用。公司还在探索将大型语言模型与其世界模型集成，旨在创建能够理解自然语言命令并将其转化为物理行动的系统。

Fermata正在投资能效模型架构，以实现低功耗边缘设备的部署。一个研究小组正在研究尖峰神经网络，它模仿生物神经元，有潜力将能耗降低几个数量级。虽然仍处于早期阶段，但这项研究可能使Fermata成为可持续AI的领导者。

该组织还在考虑国际扩张，计划在东京开设研究办公室，与日本机器人公司合作。此举将利用日本强大的工业机器人生态系统，并与Fermata成为具身AI全球领导者的目标保持一致。

结论

Fermata已确立了自己在自主系统AI领域的重要参与者地位，以其对世界建模和安全验证的关注而著称。凭借大量资金、强大的研究团队和战略合作伙伴关系，该公司有望影响下一代智能机器。随着具身AI领域的不断发展，Fermata的贡献很可能在弥合数字智能与物理行动之间的差距方面发挥关键作用。