Niantic AI ist die Abteilung für künstliche Intelligenz von Niantic, dem Technologieunternehmen, das für das Augmented-Reality-Spiel (AR) Pokémon GO bekannt ist. Die Abteilung konzentriert sich auf die Entwicklung von Systemen der künstlichen Intelligenz und maschinellem Lernen, die die physische Welt verstehen, und nutzt dabei Niantics umfangreiches Archiv an georäumlichen Daten, die aus Millionen von nutzergenerierten Scans gesammelt wurden. Ihre Arbeit bildet die Grundlage für Niantics AR-Plattform und zielt darauf ab, eine „planetare“ digitale Karte der realen Welt zu ermöglichen, die Anwendungen in Navigation, Robotik und gemischter Realität unterstützt.
Niantic AI wurde in den frühen 2020er-Jahren als interne Forschungseinheit gegründet und hat sich zu einer eigenständigen Einheit innerhalb des Unternehmens entwickelt, die akademische Arbeiten veröffentlicht und Open-Source-Tools bereitstellt. Sie operiert an der Schnittstelle von Computer Vision, Deep Learning und georäumlichen Daten und unterscheidet sich damit von allgemeinen KI-Labors wie OpenAI oder Google DeepMind. Die Mission der Abteilung ist es, KI zu entwickeln, die die physische Umgebung wahrnimmt und mit ihr interagiert, anstatt sich ausschließlich auf Sprache oder abstraktes Denken zu konzentrieren.
Grundlage georäumlicher Daten
Der Kernbestand von Niantic AI ist sein proprietärer Datensatz georäumlicher Bilder, der durch Spiele wie Pokémon GO und Ingress gesammelt wird. Nutzer tragen Fotos und 3D-Scans öffentlicher Räume bei, die Niantic zu einer hochauflösenden, kontinuierlich aktualisierten Karte der Welt aggregiert. Bis 2025 umfasst der Datensatz über 10 Millionen gescannte Orte, wobei täglich neue Scans hinzukommen. Diese Daten sind einzigartig in ihrer Dichte und Abdeckung von Fußgängerperspektiven und ergänzen Satellitenbilder und Straßenkartierungen von Unternehmen wie TomTom.
Die Abteilung nutzt diese Daten, um Modelle zu trainieren, die räumliche Anordnung, Objekterkennung und Szenensemantik verstehen. Im Gegensatz zu typischen Bilddatensätzen enthalten Niantics Daten präzise GPS-Koordinaten, Kameraposen und zeitliche Informationen, was die Erstellung von 3D-Rekonstruktionen und semantischen Karten ermöglicht. Diese Grundlage unterstützt Aufgaben wie die visuelle Lokalisierung, bei der ein Gerät seine Position bestimmt, indem es Kameraeingaben mit der bekannten Karte abgleicht.
Visuelles Positionierungssystem
Ein Schlüsselprodukt von Niantic AI ist das Visual Positioning System (VPS), eine Technologie, die eine Lokalisierung auf Zentimeterebene mit einer Smartphone-Kamera ermöglicht. VPS vergleicht Live-Kamerabilder mit einer vorgebauten 3D-Karte der Umgebung und verwendet neuronale Netze, um die Position und Ausrichtung des Geräts zu schätzen. Diese Fähigkeit ist für persistente AR-Erlebnisse unerlässlich, bei denen virtuelle Objekte an realen Orten verankert bleiben.
VPS wurde erstmals 2021 in Pokémon GO eingesetzt und ermöglicht Funktionen wie „PokéStop Scan“ und „Campfire“, die eine präzise Platzierung erfordern. Das System verarbeitet ab 2024 über 100 Millionen Lokalisierungsanfragen pro Monat mit einer durchschnittlichen Genauigkeit von 10 Zentimetern. Niantic AI hat außerdem eine webbasierte VPS-Demo veröffentlicht und Teile seiner Lokalisierungspipeline als Open Source bereitgestellt, sodass Entwickler die Technologie in Drittanwendungen integrieren können.
Scan- und Rekonstruktionsmodelle
Niantic AI entwickelt Modelle für die 3D-Szenenrekonstruktion aus nutzereingereichten Scans. Diese Modelle verwenden Residual-Netzwerk- und U-Net-Architekturen, um Multi-View-Bilder zu verarbeiten und dichte Punktwolken oder Netze zu erzeugen. Der Ansatz der Abteilung betont Effizienz und ermöglicht eine Echtzeit-Rekonstruktion auf mobilen Geräten mit begrenzten Rechenressourcen.
Ein bemerkenswertes Projekt ist „Scaniverse“, eine 3D-Scan-App, die die Rekonstruktionsalgorithmen von Niantic AI verwendet. Scaniverse wurde 2021 gestartet und ermöglicht es Nutzern, Objekte und Umgebungen mit einem Smartphone zu erfassen und texturierte 3D-Modelle zu erzeugen, die geteilt oder in AR verwendet werden können. Die zugrunde liegenden Modelle werden mit Niantics georäumlichem Datensatz trainiert, der vielfältige Beispiele für Innen- und Außenszenen bietet. Die Abteilung erforscht auch Datenaugmentierung-Techniken, um die Robustheit der Modelle unter verschiedenen Licht- und Wetterbedingungen zu verbessern.
Semantisches Verständnis und AR
Über die Geometrie hinaus arbeitet Niantic AI am semantischen Verständnis der physischen Welt. Dies umfasst die Klassifizierung von Objekten, Oberflächen und Regionen innerhalb einer Szene, etwa die Unterscheidung zwischen Boden, Gebäuden, Vegetation und Möbeln. Diese semantischen Karten ermöglichen realistischere AR-Interaktionen, bei denen virtuelle Objekte mit realen Oberflächen verdeckt werden oder interagieren können.
Die Abteilung hat Forschung zur panoptischen Segmentierung georäumlicher Bilder veröffentlicht und erreicht Spitzenergebnisse bei Benchmarks wie Cityscapes. Sie untersucht auch generative KI für AR, etwa die Verwendung von Large Language Models, um kontextbezogene Beschreibungen von Orten zu generieren oder Konversationsagenten zu betreiben, die Nutzer durch reale Räume führen. Diese sprachbasierten Anwendungen sind jedoch sekundär zum Kernfokus auf Computer Vision.
Open Source und Forschung
Niantic AI unterhält ein aktives Forschungsprogramm und veröffentlicht Arbeiten auf großen Konferenzen wie CVPR, ICCV und NeurIPS. Die Abteilung hat mehrere Open-Source-Tools veröffentlicht, darunter „NianticLabs/scan-to-mesh“ und „NianticLabs/visual-positioning“, die Referenzimplementierungen ihrer Kerntechnologien bereitstellen. Diese Veröffentlichungen zielen darauf ab, Innovationen in der Gemeinschaft zu fördern und Niantic als führend in georäumlicher KI zu etablieren.
Im Jahr 2023 startete Niantic AI die „Niantic Spatial AI Challenge“, einen Wettbewerb, der Forscher einlädt, Probleme in 3D-Rekonstruktion und Lokalisierung mit dem Datensatz des Unternehmens zu lösen. Der Wettbewerb zog über 500 Teilnehmer aus Universitäten und der Industrie an, darunter Teams von MIT CSAIL und Stanford AI Lab. Die Abteilung kooperiert auch mit akademischen Institutionen und finanziert Forschung zu Themen wie Multi-Head-Attention für Punktwolkenverarbeitung und Curriculum Learning für inkrementelles Kartieren.
Anwendungen jenseits von Spielen
Während Niantics Spiele der primäre Nutzer seiner KI sind, erkundet die Abteilung Anwendungen in anderen Bereichen. Beispielsweise hat Niantic AI mit Waymo zusammengearbeitet, um VPS für die Lokalisierung autonomer Fahrzeuge in städtischen Umgebungen zu testen, obwohl sich diese Zusammenarbeit noch in einem frühen Stadium befindet. Die Technologie könnte auch Sanctuary AI und anderen Robotikunternehmen zugutekommen, die eine präzise Navigation in menschenzentrierten Räumen benötigen.
Im Unternehmenssektor bietet Niantic AI eine Plattform namens „Niantic Lightship“ an, die VPS- und Kartierungswerkzeuge für Entwickler umfasst. Diese Plattform wurde verwendet, um AR-Erlebnisse für Museen, Einzelhandel und Tourismus zu erstellen, etwa interaktive Ausstellungen im Smithsonian und ortsbasierte Schnitzeljagden für Marketingkampagnen. Die Abteilung untersucht auch die Nutzung georäumlicher KI für Umweltüberwachung, etwa zur Erkennung von Veränderungen in Vegetation oder Infrastruktur im Laufe der Zeit.
Herausforderungen und zukünftige Richtungen
Niantic AI steht vor erheblichen Herausforderungen, darunter Datenschutzbedenken im Zusammenhang mit der Erfassung und Speicherung nutzergenerierter Bilder. Das Unternehmen hat Maßnahmen wie das Unschärfen von Gesichtern und Nummernschildern in Scans implementiert, aber die öffentliche Prüfung bleibt bestehen. Darüber hinaus sind die Rechenkosten für das Training großer georäumlicher Modelle hoch und erfordern Partnerschaften mit Cloud-Anbietern wie Google Cloud und Amazon Web Services.
In der Zukunft strebt Niantic AI an, seine Kartenabdeckung auf Innenräume und ländliche Gebiete auszuweiten, die derzeit unterrepräsentiert sind. Die Abteilung erforscht auch Transformer-basierte Architekturen für das 3D-Szenenverständnis und geht über konvolutionale Ansätze hinaus. Da AR-Brillen und Apples Vision Pro an Bedeutung gewinnen, könnte Niantics Technologie zu einem Standardbestandteil von Plattformen für räumliches Computing werden und eine nahtlose Integration digitaler und physischer Realitäten ermöglichen.
Zusammenfassend ist Niantic AI eine spezialisierte KI-Forschungs- und Entwicklungsabteilung, die einen einzigartigen georäumlichen Datensatz nutzt, um Modelle für visuelle Lokalisierung, 3D-Rekonstruktion und semantisches Verständnis zu entwickeln. Ihre Arbeit ist integraler Bestandteil des AR-Ökosystems von Niantic und hat breitere Auswirkungen auf Robotik, Navigation und das aufkommende Feld des räumlichen Computings.