Niantic AI est la division d'intelligence artificielle de Niantic, l'entreprise technologique connue pour le jeu de réalité augmentée (RA) Pokémon GO. La division se concentre sur le développement de systèmes d'intelligence artificielle et de apprentissage automatique qui comprennent le monde physique, en exploitant le vaste référentiel de données géospatiales de Niantic, collectées à partir de millions de scans contribués par les utilisateurs. Son travail sous-tend la plateforme de RA de Niantic et vise à permettre une carte numérique « à l'échelle planétaire » du monde réel, soutenant des applications dans la navigation, la robotique et la réalité mixte.
Fondée au début des années 2020 en tant qu'unité de recherche interne, Niantic AI est devenue une entité distincte au sein de l'entreprise, publiant des articles académiques et libérant des outils open-source. Elle opère à l'intersection de la vision par ordinateur, du apprentissage profond et des données géospatiales, se distinguant des laboratoires d'IA à usage général comme OpenAI ou Google DeepMind. La mission de la division est de créer une IA qui perçoit et interagit avec l'environnement physique, plutôt que de se concentrer uniquement sur le langage ou le raisonnement abstrait.
Fondation de données géospatiales
L'atout principal de Niantic AI est son ensemble de données propriétaire d'imagerie géospatiale, collecté via des jeux comme Pokémon GO et Ingress. Les utilisateurs contribuent des photos et des scans 3D d'espaces publics, que Niantic agrège en une carte du monde haute résolution, mise à jour en continu. En 2025, l'ensemble de données comprend plus de 10 millions de lieux scannés, avec de nouveaux scans ajoutés quotidiennement. Ces données sont uniques par leur densité et leur couverture des vues au niveau du piéton, complétant l'imagerie satellite et la cartographie au niveau de la rue d'entreprises comme TomTom.
La division utilise ces données pour entraîner des modèles qui comprennent la disposition spatiale, la reconnaissance d'objets et la sémantique des scènes. Contrairement aux ensembles de données d'images typiques, les données de Niantic incluent des coordonnées GPS précises, des poses de caméra et des informations temporelles, permettant la création de reconstructions 3D et de cartes sémantiques. Cette fondation soutient des tâches telles que la localisation visuelle, où un appareil détermine sa position en faisant correspondre l'entrée de la caméra avec la carte connue.
Système de positionnement visuel
Un produit clé de Niantic AI est le système de positionnement visuel (VPS), une technologie qui fournit une localisation au centimètre près à l'aide de la caméra d'un smartphone. Le VPS compare les images de caméra en direct avec une carte 3D préconstruite de l'environnement, en utilisant des modèles de réseaux neuronaux pour estimer la position et l'orientation de l'appareil. Cette capacité est essentielle pour les expériences de RA persistantes, où les objets virtuels restent ancrés à des emplacements du monde réel.
Le VPS a été déployé pour la première fois dans Pokémon GO en 2021, permettant des fonctionnalités comme « PokéStop Scan » et « Campfire » qui nécessitent un placement précis. Le système traite plus de 100 millions de demandes de localisation par mois en 2024, avec une précision moyenne de 10 centimètres. Niantic AI a également publié une démo VPS basée sur le web et ouvert une partie de son pipeline de localisation, permettant aux développeurs d'intégrer la technologie dans des applications tierces.
Modèles de scan et de reconstruction
Niantic AI développe des modèles pour la reconstruction de scènes 3D à partir de scans soumis par les utilisateurs. Ces modèles utilisent des architectures de réseaux résiduels et de U-Net pour traiter des images multi-vues et générer des nuages de points denses ou des maillages. L'approche de la division met l'accent sur l'efficacité, permettant une reconstruction en temps réel sur des appareils mobiles avec des ressources de calcul limitées.
Un projet notable est « Scaniverse », une application de scan 3D qui utilise les algorithmes de reconstruction de Niantic AI. Lancée en 2021, Scaniverse permet aux utilisateurs de capturer des objets et des environnements avec un smartphone, produisant des modèles 3D texturés qui peuvent être partagés ou utilisés en RA. Les modèles sous-jacents sont entraînés sur l'ensemble de données géospatiales de Niantic, qui fournit des exemples diversifiés de scènes intérieures et extérieures. La division explore également des techniques de augmentation de données pour améliorer la robustesse des modèles dans différentes conditions d'éclairage et météorologiques.
Compréhension sémantique et RA
Au-delà de la géométrie, Niantic AI travaille sur la compréhension sémantique du monde physique. Cela implique de classer les objets, les surfaces et les régions dans une scène, comme distinguer le sol, les bâtiments, la végétation et les meubles. Ces cartes sémantiques permettent des interactions de RA plus réalistes, où les objets virtuels peuvent occlure ou interagir avec les surfaces du monde réel.
La division a publié des recherches sur la segmentation panoptique pour l'imagerie géospatiale, atteignant des résultats de pointe sur des benchmarks comme Cityscapes. Elle étudie également l'IA générative pour la RA, comme l'utilisation de grands modèles de langage pour générer des descriptions contextuelles de lieux ou pour alimenter des agents conversationnels qui guident les utilisateurs à travers des espaces du monde réel. Cependant, ces applications basées sur le langage sont secondaires par rapport au cœur de la vision par ordinateur.
Open source et recherche
Niantic AI maintient un programme de recherche actif, publiant des articles lors de grandes conférences telles que CVPR, ICCV et NeurIPS. La division a libéré plusieurs outils open-source, notamment « NianticLabs/scan-to-mesh » et « NianticLabs/visual-positioning », qui fournissent des implémentations de référence de ses technologies de base. Ces publications visent à favoriser l'innovation communautaire et à établir Niantic comme un leader dans l'IA géospatiale.
En 2023, Niantic AI a lancé le « Niantic Spatial AI Challenge », un concours invitant les chercheurs à résoudre des problèmes de reconstruction 3D et de localisation en utilisant l'ensemble de données de l'entreprise. Le concours a attiré plus de 500 participants d'universités et de l'industrie, y compris des équipes de MIT CSAIL et de Stanford AI Lab. La division collabore également avec des institutions académiques, finançant des recherches sur des sujets comme l'attention multi-têtes pour le traitement de nuages de points et l'apprentissage curriculaire pour la cartographie incrémentale.
Applications au-delà du jeu
Bien que les jeux de Niantic soient le principal consommateur de son IA, la division explore des applications dans d'autres domaines. Par exemple, Niantic AI a établi un partenariat avec Waymo pour tester le VPS pour la localisation de véhicules autonomes dans des environnements urbains, bien que cette collaboration en soit encore à ses débuts. La technologie pourrait également bénéficier à Sanctuary AI et à d'autres entreprises de robotique qui nécessitent une navigation précise dans des espaces centrés sur l'humain.
Dans le secteur des entreprises, Niantic AI propose une plateforme appelée « Niantic Lightship », qui inclut des outils VPS et de cartographie pour les développeurs. Cette plateforme a été utilisée pour créer des expériences de RA pour les musées, le commerce de détail et le tourisme, comme des expositions interactives au Smithsonian et des chasses au trésor basées sur la localisation pour des campagnes marketing. La division étudie également l'utilisation de l'IA géospatiale pour la surveillance environnementale, comme la détection de changements dans la végétation ou les infrastructures au fil du temps.
Défis et orientations futures
Niantic AI fait face à des défis importants, notamment des préoccupations de confidentialité liées à la collecte et au stockage d'imagerie générée par les utilisateurs. L'entreprise a mis en œuvre des mesures telles que le floutage des visages et des plaques d'immatriculation dans les scans, mais l'examen public demeure. De plus, le coût de calcul de l'entraînement de grands modèles géospatiaux est élevé, nécessitant des partenariats avec des fournisseurs de cloud comme Google Cloud et Amazon Web Services.
À l'avenir, Niantic AI vise à étendre sa couverture cartographique pour inclure les espaces intérieurs et les zones rurales, actuellement sous-représentées. La division recherche également des architectures basées sur transformers pour la compréhension de scènes 3D, allant au-delà des approches convolutionnelles. Alors que les lunettes de RA et le Vision Pro d'Apple gagnent en popularité, la technologie de Niantic AI pourrait devenir un composant standard des plateformes de calcul spatial, permettant une intégration transparente des réalités numérique et physique.
En résumé, Niantic AI est une division spécialisée de recherche et développement en IA qui exploite un ensemble de données géospatiales unique pour construire des modèles de localisation visuelle, de reconstruction 3D et de compréhension sémantique. Son travail est intégral à l'écosystème de RA de Niantic et a des implications plus larges pour la robotique, la navigation et le domaine émergent du calcul spatial.