Niantic AI es la división de inteligencia artificial de Niantic, la empresa tecnológica conocida por el juego de realidad aumentada (RA) Pokémon GO. La división se centra en desarrollar sistemas de inteligencia artificial y aprendizaje automático que comprenden el mundo físico, aprovechando el vasto repositorio de datos geoespaciales de Niantic recopilados a partir de millones de escaneos aportados por usuarios. Su trabajo sustenta la plataforma de RA de Niantic y tiene como objetivo habilitar un mapa digital a "escala planetaria" del mundo real, apoyando aplicaciones en navegación, robótica y realidad mixta.
Fundada a principios de la década de 2020 como una unidad de investigación interna, Niantic AI ha crecido hasta convertirse en una entidad distinta dentro de la empresa, publicando artículos académicos y lanzando herramientas de código abierto. Opera en la intersección de la visión por computadora, el aprendizaje profundo y los datos geoespaciales, diferenciándose de laboratorios de IA de propósito general como OpenAI o Google DeepMind. La misión de la división es crear IA que perciba e interactúe con el entorno físico, en lugar de centrarse únicamente en el lenguaje o el razonamiento abstracto.
Fundación de Datos Geoespaciales
El activo principal de Niantic AI es su conjunto de datos propietario de imágenes geoespaciales, recopilado a través de juegos como Pokémon GO e Ingress. Los usuarios contribuyen con fotos y escaneos 3D de espacios públicos, que Niantic agrega en un mapa del mundo de alta resolución y actualizado continuamente. A partir de 2025, el conjunto de datos incluye más de 10 millones de ubicaciones escaneadas, con nuevos escaneos añadidos diariamente. Estos datos son únicos en su densidad y cobertura de vistas a nivel de peatón, complementando las imágenes satelitales y el mapeo a nivel de calle de empresas como TomTom.
La división utiliza estos datos para entrenar modelos que comprenden el diseño espacial, el reconocimiento de objetos y la semántica de escenas. A diferencia de los conjuntos de datos de imágenes típicos, los datos de Niantic incluyen coordenadas GPS precisas, poses de cámara e información temporal, lo que permite la creación de reconstrucciones 3D y mapas semánticos. Esta base respalda tareas como la localización visual, donde un dispositivo determina su posición comparando la entrada de la cámara con el mapa conocido.
Sistema de Posicionamiento Visual
Un producto clave de Niantic AI es el Sistema de Posicionamiento Visual (VPS), una tecnología que proporciona localización a nivel de centímetros utilizando la cámara de un teléfono inteligente. El VPS compara fotogramas de cámara en vivo con un mapa 3D preconstruido del entorno, utilizando modelos de red neuronal para estimar la posición y orientación del dispositivo. Esta capacidad es esencial para experiencias de RA persistentes, donde los objetos virtuales permanecen anclados a ubicaciones del mundo real.
El VPS se implementó por primera vez en Pokémon GO en 2021, habilitando funciones como "PokéStop Scan" y "Campfire" que requieren una colocación precisa. El sistema procesa más de 100 millones de solicitudes de localización por mes a partir de 2024, con una precisión promedio de 10 centímetros. Niantic AI también ha lanzado una demostración web del VPS y ha abierto partes de su canal de localización, permitiendo a los desarrolladores integrar la tecnología en aplicaciones de terceros.
Modelos de Escaneo y Reconstrucción
Niantic AI desarrolla modelos para la reconstrucción de escenas 3D a partir de escaneos aportados por usuarios. Estos modelos utilizan arquitecturas de red residual y U-Net para procesar imágenes multivista y generar nubes de puntos densas o mallas. El enfoque de la división enfatiza la eficiencia, permitiendo la reconstrucción en tiempo real en dispositivos móviles con recursos computacionales limitados.
Un proyecto notable es "Scaniverse", una aplicación de escaneo 3D que utiliza los algoritmos de reconstrucción de Niantic AI. Lanzada en 2021, Scaniverse permite a los usuarios capturar objetos y entornos con un teléfono inteligente, produciendo modelos 3D texturizados que pueden compartirse o usarse en RA. Los modelos subyacentes se entrenan en el conjunto de datos geoespaciales de Niantic, que proporciona ejemplos diversos de escenas interiores y exteriores. La división también explora técnicas de aumento de datos para mejorar la robustez del modelo en diferentes condiciones de iluminación y clima.
Comprensión Semántica y RA
Más allá de la geometría, Niantic AI trabaja en la comprensión semántica del mundo físico. Esto implica clasificar objetos, superficies y regiones dentro de una escena, como distinguir entre suelo, edificios, vegetación y muebles. Estos mapas semánticos permiten interacciones de RA más realistas, donde los objetos virtuales pueden ocluir o interactuar con superficies del mundo real.
La división ha publicado investigaciones sobre segmentación panóptica para imágenes geoespaciales, logrando resultados de vanguardia en puntos de referencia como Cityscapes. También investiga IA generativa para RA, como el uso de modelos de lenguaje grandes para generar descripciones contextuales de ubicaciones o para impulsar agentes conversacionales que guían a los usuarios a través de espacios del mundo real. Sin embargo, estas aplicaciones basadas en lenguaje son secundarias al enfoque central de visión por computadora.
Código Abierto e Investigación
Niantic AI mantiene un programa de investigación activo, publicando artículos en conferencias importantes como CVPR, ICCV y NeurIPS. La división ha lanzado varias herramientas de código abierto, incluyendo "NianticLabs/scan-to-mesh" y "NianticLabs/visual-positioning", que proporcionan implementaciones de referencia de sus tecnologías principales. Estos lanzamientos buscan fomentar la innovación comunitaria y establecer a Niantic como líder en IA geoespacial.
En 2023, Niantic AI lanzó el "Niantic Spatial AI Challenge", una competencia que invita a investigadores a resolver problemas en reconstrucción 3D y localización utilizando el conjunto de datos de la empresa. El desafío atrajo a más de 500 participantes de universidades e industria, incluidos equipos de MIT CSAIL y Stanford AI Lab. La división también colabora con instituciones académicas, financiando investigaciones sobre temas como atención de múltiples cabezas para el procesamiento de nubes de puntos y aprendizaje curricular para el mapeo incremental.
Aplicaciones Más Allá de los Juegos
Si bien los juegos de Niantic son el principal consumidor de su IA, la división explora aplicaciones en otros dominios. Por ejemplo, Niantic AI se ha asociado con Waymo para probar el VPS en la localización de vehículos autónomos en entornos urbanos, aunque esta colaboración permanece en etapas tempranas. La tecnología también podría beneficiar a Sanctuary AI y otras empresas de robótica que requieren navegación precisa en espacios centrados en humanos.
En el sector empresarial, Niantic AI ofrece una plataforma llamada "Niantic Lightship", que incluye herramientas de VPS y mapeo para desarrolladores. Esta plataforma se ha utilizado para crear experiencias de RA para museos, comercio minorista y turismo, como exhibiciones interactivas en el Smithsonian y búsquedas de tesoros basadas en ubicación para campañas de marketing. La división también investiga el uso de IA geoespacial para el monitoreo ambiental, como detectar cambios en la vegetación o infraestructura a lo largo del tiempo.
Desafíos y Direcciones Futuras
Niantic AI enfrenta desafíos significativos, incluidos problemas de privacidad relacionados con la recopilación y almacenamiento de imágenes generadas por usuarios. La empresa ha implementado medidas como difuminar rostros y placas de matrícula en los escaneos, pero el escrutinio público permanece. Además, el costo computacional de entrenar grandes modelos geoespaciales es alto, requiriendo asociaciones con proveedores de nube como Google Cloud y Amazon Web Services.
De cara al futuro, Niantic AI tiene como objetivo expandir su cobertura de mapas para incluir espacios interiores y áreas rurales, que actualmente están subrepresentadas. La división también está investigando arquitecturas basadas en transformadores para la comprensión de escenas 3D, yendo más allá de los enfoques convolucionales. A medida que las gafas de RA y el Vision Pro de Apple ganan tracción, la tecnología de Niantic AI podría convertirse en un componente estándar de las plataformas de computación espacial, permitiendo una integración fluida de las realidades digital y física.
En resumen, Niantic AI es una división especializada de investigación y desarrollo de IA que aprovecha un conjunto de datos geoespaciales único para construir modelos de localización visual, reconstrucción 3D y comprensión semántica. Su trabajo es integral para el ecosistema de RA de Niantic y tiene implicaciones más amplias para la robótica, la navegación y el campo emergente de la computación espacial.