Niantic AI是Niantic的人工智能部门，Niantic是一家以增强现实（AR）游戏《Pokémon GO》闻名的科技公司。该部门专注于开发理解物理世界的人工智能和机器学习系统，利用Niantic从数百万用户贡献的扫描中收集的庞大地理空间数据存储库。其工作支撑着Niantic的AR平台，旨在构建一个“行星级”的真实世界数字地图，支持导航、机器人和混合现实等应用。
Niantic AI成立于2020年代初，最初是一个内部研究单位，现已发展成为公司内的一个独立实体，发表学术论文并发布开源工具。它处于计算机视觉、深度学习和地理空间数据的交叉领域，与OpenAI或Google DeepMind等通用人工智能实验室不同。该部门的使命是创造能够感知并与物理环境交互的AI，而非仅仅专注于语言或抽象推理。
地理空间数据基础
Niantic AI的核心资产是其专有的地理空间图像数据集，通过《Pokémon GO》和《Ingress》等游戏收集。用户贡献公共场所的照片和3D扫描，Niantic将其聚合为高分辨率、持续更新的世界地图。截至2025年，该数据集包含超过1000万个扫描地点，每天新增扫描。这些数据在行人视角的密度和覆盖范围上独一无二，补充了TomTom等公司的卫星图像和街景地图。
该部门使用这些数据训练模型，以理解空间布局、物体识别和场景语义。与典型的图像数据集不同，Niantic的数据包含精确的GPS坐标、相机姿态和时间信息，从而能够创建3D重建和语义地图。这一基础支持视觉定位等任务，即设备通过将相机输入与已知地图匹配来确定其位置。
视觉定位系统
Niantic AI的一个关键产品是视觉定位系统（VPS），这是一种利用智能手机相机提供厘米级定位的技术。VPS将实时相机帧与预构建的环境3D地图进行比较，使用神经网络模型估计设备的位置和方向。这一能力对于持久AR体验至关重要，其中虚拟对象保持锚定在真实世界位置。
VPS于2021年首次部署在《Pokémon GO》中，支持“PokéStop扫描”和“Campfire”等功能，这些功能需要精确放置。截至2024年，该系统每月处理超过1亿次定位请求，平均精度为10厘米。Niantic AI还发布了基于网页的VPS演示，并开源了其定位管道的部分内容，允许开发者将该技术集成到第三方应用中。
扫描与重建模型
Niantic AI开发用于从用户提交的扫描中进行3D场景重建的模型。这些模型使用残差网络和U-Net架构处理多视图图像，生成密集点云或网格。该部门的方法强调效率，能够在计算资源有限的移动设备上实现实时重建。
一个 notable 项目是“Scaniverse”，一款使用Niantic AI重建算法的3D扫描应用。Scaniverse于2021年推出，允许用户用智能手机捕捉物体和环境，生成可共享或用于AR的纹理3D模型。底层模型在Niantic的地理空间数据集上训练，该数据集提供了多样化的室内外场景示例。该部门还探索数据增强技术，以提高模型在不同光照和天气条件下的鲁棒性。
语义理解与AR
除了几何之外，Niantic AI还致力于物理世界的语义理解。这涉及对场景中的物体、表面和区域进行分类，例如区分地面、建筑物、植被和家具。这些语义地图支持更逼真的AR交互，其中虚拟对象可以遮挡或与真实世界表面交互。
该部门已发表关于地理空间图像全景分割的研究，在Cityscapes等基准测试上取得了最先进的结果。它还研究用于AR的生成式AI，例如使用大型语言模型生成位置的情境描述，或驱动引导用户穿越真实世界空间的对话代理。然而，这些基于语言的应用是次要的，核心焦点仍是计算机视觉。
开源与研究
Niantic AI维持活跃的研究计划，在CVPR、ICCV和NeurIPS等主要会议上发表论文。该部门已发布多个开源工具，包括“NianticLabs/scan-to-mesh”和“NianticLabs/visual-positioning”，提供其核心技术的参考实现。这些发布旨在促进社区创新，并将Niantic确立为地理空间AI领域的领导者。
2023年，Niantic AI发起了“Niantic空间AI挑战赛”，邀请研究人员使用公司数据集解决3D重建和定位问题。该挑战赛吸引了来自大学和行业的500多名参与者，包括MIT CSAIL和斯坦福AI实验室的团队。该部门还与学术机构合作，资助关于多头注意力用于点云处理和课程学习用于增量映射等主题的研究。
游戏之外的应用
虽然Niantic的游戏是其AI的主要消费者，但该部门探索其他领域的应用。例如，Niantic AI已与Waymo合作，测试VPS用于城市环境中的自动驾驶车辆定位，尽管这一合作仍处于早期阶段。该技术还可能惠及Sanctuary AI和其他需要在人类中心空间中精确导航的机器人公司。
在企业领域，Niantic AI提供了一个名为“Niantic Lightship”的平台，其中包括面向开发者的VPS和映射工具。该平台已被用于为博物馆、零售和旅游创建AR体验，例如史密森尼学会的互动展览和营销活动的位置寻宝游戏。该部门还研究将地理空间AI用于环境监测，例如检测植被或基础设施随时间的变化。
挑战与未来方向
Niantic AI面临重大挑战，包括与收集和存储用户生成图像相关的隐私问题。公司已实施措施，如模糊扫描中的面部和车牌，但公众审查仍然存在。此外，训练大型地理空间模型的计算成本很高，需要与Google Cloud和Amazon Web Services等云提供商合作。
展望未来，Niantic AI旨在扩展其地图覆盖范围，包括目前代表性不足的室内空间和农村地区。该部门还在研究用于3D场景理解的Transformer架构，超越卷积方法。随着AR眼镜和Apple的Vision Pro获得关注，Niantic AI的技术可能成为空间计算平台的标准组件，实现数字与物理现实的 seamless 集成。
总之，Niantic AI是一个专门的AI研发部门，利用独特的地理空间数据集构建视觉定位、3D重建和语义理解的模型。其工作是Niantic AR生态系统的组成部分，并对机器人、导航和新兴的空间计算领域具有更广泛的影响。