Niantic AIは、拡張現実（AR）ゲーム『Pokémon GO』で知られるテクノロジー企業Nianticの人工知能部門である。この部門は、物理世界を理解する人工知能および機械学習システムの開発に注力しており、数百万件のユーザー投稿スキャンから収集されたNianticの膨大な地理空間データリポジトリを活用している。その取り組みはNianticのARプラットフォームを支え、現実世界の「惑星規模」のデジタル地図を実現することを目指しており、ナビゲーション、ロボティクス、複合現実のアプリケーションを支援している。
2020年代初頭に社内研究部門として設立されたNiantic AIは、社内の独立した組織へと成長し、学術論文を発表し、オープンソースツールをリリースしている。コンピュータビジョン、深層学習、地理空間データの交差点で活動しており、OpenAIやGoogle DeepMindのような汎用AI研究所とは一線を画している。この部門の使命は、言語や抽象的な推論のみに焦点を当てるのではなく、物理環境を知覚し相互作用するAIを創造することである。
地理空間データ基盤
Niantic AIの中核資産は、『Pokémon GO』や『Ingress』などのゲームを通じて収集された地理空間画像の独自データセットである。ユーザーは公共空間の写真や3Dスキャンを投稿し、Nianticはそれらを高解像度で継続的に更新される世界地図に集約する。2025年時点で、このデータセットには1,000万以上のスキャン済み場所が含まれ、毎日新しいスキャンが追加されている。このデータは、歩行者レベルの視点の密度とカバレッジにおいて独自性があり、TomTomなどの企業による衛星画像やストリートレベルマッピングを補完している。
この部門は、このデータを使用して、空間レイアウト、物体認識、シーンセマンティクスを理解するモデルを訓練する。典型的な画像データセットとは異なり、Nianticのデータには正確なGPS座標、カメラポーズ、時間情報が含まれており、3D再構成とセマンティックマップの作成を可能にしている。この基盤は、デバイスが既知のマップに対してカメラ入力を照合して位置を決定する視覚的位置特定などのタスクをサポートしている。
視覚位置決めシステム
Niantic AIの主要製品は、スマートフォンカメラを使用してセンチメートルレベルの位置特定を提供する技術である視覚位置決めシステム（VPS）である。VPSは、ライブカメラフレームを環境の事前構築済み3Dマップと比較し、ニューラルネットワークモデルを使用してデバイスの位置と向きを推定する。この機能は、仮想オブジェクトが現実世界の場所に固定されたままになる持続的AR体験に不可欠である。
VPSは2021年に『Pokémon GO』で初めて展開され、「PokéStop Scan」や「Campfire」などの正確な配置を必要とする機能を可能にした。このシステムは、2024年時点で月間1億件以上の位置特定リクエストを処理し、平均精度は10センチメートルである。Niantic AIはまた、ウェブベースのVPSデモをリリースし、位置特定パイプラインの一部をオープンソース化しており、開発者がこの技術をサードパーティアプリケーションに統合できるようにしている。
スキャンと再構成モデル
Niantic AIは、ユーザー投稿スキャンからの3Dシーン再構成モデルを開発している。これらのモデルは、残差ネットワークおよびU-Netアーキテクチャを使用して、多視点画像を処理し、高密度ポイントクラウドまたはメッシュを生成する。この部門のアプローチは効率性を重視しており、限られた計算リソースを持つモバイルデバイスでのリアルタイム再構成を可能にしている。
注目すべきプロジェクトの1つは、Niantic AIの再構成アルゴリズムを使用する3Dスキャンアプリ「Scaniverse」である。2021年にローンチされたScaniverseは、ユーザーがスマートフォンで物体や環境をキャプチャし、共有またはARで使用できるテクスチャ付き3Dモデルを生成することを可能にする。基盤となるモデルはNianticの地理空間データセットで訓練されており、屋内および屋外シーンの多様な例を提供している。この部門はまた、異なる照明および気象条件にわたるモデルの堅牢性を向上させるためのデータ拡張技術も探求している。
セマンティック理解とAR
幾何学を超えて、Niantic AIは物理世界のセマンティック理解に取り組んでいる。これには、シーン内の物体、表面、領域を分類することが含まれ、例えば、地面、建物、植生、家具を区別する。これらのセマンティックマップは、仮想オブジェクトが現実世界の表面を遮蔽または相互作用できる、より現実的なARインタラクションを可能にする。
この部門は、地理空間画像のパノプティックセグメンテーションに関する研究を発表し、Cityscapesなどのベンチマークで最先端の結果を達成している。また、生成AIをARに使用することも調査しており、例えば、大規模言語モデルを使用して場所の文脈説明を生成したり、現実世界の空間をユーザーに案内する会話エージェントを強化したりしている。ただし、これらの言語ベースのアプリケーションは、中核となるコンピュータビジョンへの焦点に比べて二次的である。
オープンソースと研究
Niantic AIは活発な研究プログラムを維持しており、CVPR、ICCV、NeurIPSなどの主要会議で論文を発表している。この部門は、「NianticLabs/scan-to-mesh」や「NianticLabs/visual-positioning」を含むいくつかのオープンソースツールをリリースしており、中核技術の参照実装を提供している。これらのリリースは、コミュニティの革新を促進し、地理空間AIのリーダーとしてNianticを確立することを目的としている。
2023年、Niantic AIは「Niantic Spatial AI Challenge」を開始した。これは、同社のデータセットを使用して3D再構成と位置特定の問題を解決するよう研究者を招待するコンペティションである。このチャレンジには、MIT CSAILやスタンフォードAIラボのチームを含む、大学および産業界から500人以上の参加者が集まった。この部門はまた、学術機関と協力し、ポイントクラウド処理のためのマルチヘッドアテンションや、増分マッピングのためのカリキュラム学習などのトピックに関する研究に資金を提供している。
ゲーム以外のアプリケーション
NianticのゲームがそのAIの主要な消費者である一方、この部門は他の領域でのアプリケーションを探求している。例えば、Niantic AIはWaymoと提携して、都市環境での自動運転車両の位置特定にVPSをテストしているが、このコラボレーションはまだ初期段階にある。この技術はまた、人間中心の空間での正確なナビゲーションを必要とするSanctuary AIや他のロボティクス企業にも利益をもたらす可能性がある。
エンタープライズセクターでは、Niantic AIは「Niantic Lightship」と呼ばれるプラットフォームを提供しており、開発者向けのVPSおよびマッピングツールが含まれている。このプラットフォームは、博物館、小売、観光向けのAR体験を作成するために使用されており、例えば、スミソニアンでのインタラクティブ展示やマーケティングキャンペーン用の位置情報ベースの宝探しなどがある。この部門はまた、時間の経過に伴う植生やインフラの変化を検出するなど、環境モニタリングに地理空間AIを使用することも調査している。
課題と将来の方向性
Niantic AIは、ユーザー生成画像の収集と保存に関連するプライバシー懸念を含む、重大な課題に直面している。同社はスキャン内の顔やナンバープレートをぼかすなどの対策を実施しているが、公の監視は続いている。さらに、大規模な地理空間モデルの訓練にかかる計算コストは高く、Google CloudやAmazon Web Servicesなどのクラウドプロバイダーとのパートナーシップが必要である。
今後、Niantic AIは、現在過小評価されている屋内空間と農村地域を含むようにマップカバレッジを拡大することを目指している。この部門はまた、畳み込みアプローチを超えて、3Dシーン理解のためのトランスフォーマーベースのアーキテクチャを研究している。ARグラスやAppleのVision Proが勢いを増すにつれて、Niantic AIの技術は空間コンピューティングプラットフォームの標準コンポーネントとなり、デジタルと物理の現実のシームレスな統合を可能にする可能性がある。
要約すると、Niantic AIは、独自の地理空間データセットを活用して、視覚的位置特定、3D再構成、セマンティック理解のためのモデルを構築する専門的なAI研究開発部門である。その取り組みはNianticのARエコシステムに不可欠であり、ロボティクス、ナビゲーション、および新興の空間コンピューティング分野に広範な影響を与えている。