Niantic AI는 증강 현실(AR) 게임 Pokémon GO로 알려진 기술 기업 Niantic의 인공지능 부서이다. 이 부서는 물리적 세계를 이해하는 인공지능 및 머신러닝 시스템 개발에 주력하며, 수백만 명의 사용자가 기여한 스캔 데이터로 구축된 Niantic의 방대한 지리공간 데이터 저장소를 활용한다. 이 작업은 Niantic의 AR 플랫폼을 뒷받침하며, 내비게이션, 로보틱스, 혼합 현실 애플리케이션을 지원하는 '행성 규모'의 현실 세계 디지털 지도를 구현하는 것을 목표로 한다.
2020년대 초반 내부 연구 부서로 설립된 Niantic AI는 회사 내에서 독립적인 조직으로 성장했으며, 학술 논문을 발표하고 오픈소스 도구를 공개하고 있다. 이 부서는 컴퓨터 비전, 딥러닝, 지리공간 데이터의 교차점에서 운영되며, OpenAI나 Google DeepMind 같은 범용 AI 연구소와는 차별화된다. 이 부서의 사명은 언어나 추상적 추론에만 집중하는 것이 아니라 물리적 환경을 인식하고 상호작용하는 AI를 만드는 것이다.
지리공간 데이터 기반
Niantic AI의 핵심 자산은 Pokémon GO 및 Ingress 같은 게임을 통해 수집된 독점 지리공간 이미지 데이터셋이다. 사용자는 공공 장소의 사진과 3D 스캔을 기여하며, Niantic은 이를 고해상도로 지속적으로 업데이트되는 세계 지도로 통합한다. 2025년 기준, 이 데이터셋은 1천만 개 이상의 스캔 장소를 포함하며, 매일 새로운 스캔이 추가된다. 이 데이터는 보행자 수준의 뷰를 밀도 있게 포괄한다는 점에서 독특하며, TomTom 같은 기업의 위성 이미지 및 거리 수준 매핑을 보완한다.
이 부서는 이 데이터를 사용하여 공간 배치, 객체 인식, 장면 의미론을 이해하는 모델을 훈련한다. 일반적인 이미지 데이터셋과 달리 Niantic의 데이터는 정밀한 GPS 좌표, 카메라 포즈, 시간 정보를 포함하여 3D 재구성 및 의미론적 지도 생성을 가능하게 한다. 이 기반은 카메라 입력을 알려진 지도와 매칭하여 기기가 자신의 위치를 결정하는 시각적 위치 파악과 같은 작업을 지원한다.
시각적 위치 파악 시스템
Niantic AI의 주요 제품 중 하나는 스마트폰 카메라를 사용하여 센티미터 수준의 위치 파악을 제공하는 기술인 시각적 위치 파악 시스템(VPS)이다. VPS는 실시간 카메라 프레임을 사전 구축된 3D 환경 지도와 비교하고, 신경망 모델을 사용하여 기기의 위치와 방향을 추정한다. 이 기능은 가상 객체가 실제 세계 위치에 고정되어 유지되어야 하는 지속적인 AR 경험에 필수적이다.
VPS는 2021년 Pokémon GO에 처음 배포되어 'PokéStop Scan' 및 'Campfire'와 같은 정확한 배치가 필요한 기능을 가능하게 했다. 이 시스템은 2024년 기준 월 1억 건 이상의 위치 파악 요청을 처리하며, 평균 정확도는 10센티미터이다. Niantic AI는 또한 웹 기반 VPS 데모를 공개하고 위치 파악 파이프라인의 일부를 오픈소스로 제공하여 개발자가 이 기술을 타사 애플리케이션에 통합할 수 있게 했다.
스캔 및 재구성 모델
Niantic AI는 사용자 제출 스캔에서 3D 장면 재구성을 위한 모델을 개발한다. 이 모델은 잔차 네트워크 및 U-Net 아키텍처를 사용하여 다중 뷰 이미지를 처리하고 밀집 포인트 클라우드 또는 메시를 생성한다. 이 부서의 접근 방식은 효율성을 강조하여 제한된 계산 리소스를 가진 모바일 기기에서 실시간 재구성을 가능하게 한다.
주목할 만한 프로젝트 중 하나는 Niantic AI의 재구성 알고리즘을 사용하는 3D 스캐닝 앱 'Scaniverse'이다. 2021년 출시된 Scaniverse는 사용자가 스마트폰으로 객체와 환경을 캡처하여 텍스처가 있는 3D 모델을 생성하고, 이를 공유하거나 AR에 사용할 수 있게 한다. 기본 모델은 실내외 장면의 다양한 예를 제공하는 Niantic의 지리공간 데이터셋으로 훈련된다. 이 부서는 또한 다양한 조명 및 기상 조건에서 모델 견고성을 개선하기 위한 데이터 증강 기술을 탐구한다.
의미론적 이해와 AR
기하학 외에도 Niantic AI는 물리적 세계의 의미론적 이해에 대해 작업한다. 이는 장면 내 객체, 표면, 영역을 분류하는 것을 포함하며, 예를 들어 지면, 건물, 식생, 가구를 구분한다. 이러한 의미론적 지도는 가상 객체가 실제 세계 표면과 겹치거나 상호작용할 수 있는 더 현실적인 AR 상호작용을 가능하게 한다.
이 부서는 지리공간 이미지에 대한 전역 분할 연구를 발표했으며, Cityscapes와 같은 벤치마크에서 최첨단 결과를 달성했다. 또한 생성형 AI를 AR에 적용하는 연구를 진행하며, 예를 들어 대규모 언어 모델을 사용하여 위치에 대한 맥락 설명을 생성하거나 사용자를 실제 세계 공간으로 안내하는 대화형 에이전트를 구동한다. 그러나 이러한 언어 기반 애플리케이션은 핵심 컴퓨터 비전 초점에 비해 부차적이다.
오픈소스 및 연구
Niantic AI는 CVPR, ICCV, NeurIPS와 같은 주요 학회에서 논문을 발표하며 활발한 연구 프로그램을 유지한다. 이 부서는 'NianticLabs/scan-to-mesh' 및 'NianticLabs/visual-positioning'을 포함한 여러 오픈소스 도구를 공개했으며, 이는 핵심 기술의 참조 구현을 제공한다. 이러한 공개는 커뮤니티 혁신을 촉진하고 Niantic을 지리공간 AI의 선두주자로 자리매김하는 것을 목표로 한다.
2023년 Niantic AI는 회사 데이터셋을 사용하여 3D 재구성 및 위치 파악 문제를 해결하도록 연구자를 초청하는 'Niantic Spatial AI Challenge'를 시작했다. 이 대회는 MIT CSAIL 및 Stanford AI Lab 팀을 포함하여 대학과 산업계에서 500명 이상의 참가자를 끌어들였다. 이 부서는 또한 포인트 클라우드 처리를 위한 멀티 헤드 어텐션 및 증분 매핑을 위한 커리큘럼 러닝과 같은 주제에 대한 연구를 지원하며 학술 기관과 협력한다.
게임 외 애플리케이션
Niantic의 게임이 AI의 주요 소비처이지만, 이 부서는 다른 영역에서의 애플리케이션을 탐구한다. 예를 들어, Niantic AI는 Waymo와 협력하여 도시 환경에서 자율 주행 차량 위치 파악을 위한 VPS를 테스트하고 있지만, 이 협력은 초기 단계에 머물러 있다. 이 기술은 인간 중심 공간에서 정밀한 내비게이션이 필요한 Sanctuary AI 및 기타 로보틱스 기업에도 도움이 될 수 있다.
엔터프라이즈 부문에서 Niantic AI는 VPS 및 매핑 도구를 포함하는 'Niantic Lightship' 플랫폼을 제공한다. 이 플랫폼은 박물관, 소매, 관광을 위한 AR 경험을 만드는 데 사용되었으며, 예를 들어 스미소니언의 인터랙티브 전시 및 마케팅 캠페인을 위한 위치 기반 보물찾기 등이 있다. 이 부서는 또한 시간 경과에 따른 식생 또는 인프라 변화 감지와 같은 환경 모니터링에 지리공간 AI를 사용하는 것을 조사한다.
과제 및 향후 방향
Niantic AI는 사용자 생성 이미지 수집 및 저장과 관련된 개인정보 보호 문제를 포함한 상당한 과제에 직면한다. 회사는 스캔에서 얼굴과 번호판을 흐리게 하는 등의 조치를 시행했지만, 대중의 감시는 여전하다. 또한 대규모 지리공간 모델 훈련의 계산 비용이 높아 Google Cloud 및 Amazon Web Services 같은 클라우드 제공업체와의 파트너십이 필요하다.
향후 Niantic AI는 현재 대표성이 부족한 실내 공간과 농촌 지역을 포함하도록 지도 범위를 확장하는 것을 목표로 한다. 이 부서는 또한 컨볼루션 접근 방식을 넘어 3D 장면 이해를 위한 트랜스포머 기반 아키텍처를 연구하고 있다. AR 글래스와 Apple의 Vision Pro가 주목을 받으면서, Niantic AI의 기술은 공간 컴퓨팅 플랫폼의 표준 구성 요소가 되어 디지털 및 물리적 현실의 원활한 통합을 가능하게 할 수 있다.
요약하자면, Niantic AI는 독특한 지리공간 데이터셋을 활용하여 시각적 위치 파악, 3D 재구성, 의미론적 이해를 위한 모델을 구축하는 전문 AI 연구 및 개발 부서이다. 이 작업은 Niantic의 AR 생태계에 필수적이며, 로보틱스, 내비게이션, 그리고 떠오르는 공간 컴퓨팅 분야에 더 넓은 영향을 미친다.