지리공간 기반 모델은 주로 위성 및 항공 이미지인 지구 관측 데이터를 처리하고 분석하도록 설계된 일종의 AI 모델이다. 이는 방대한 데이터셋으로 사전 훈련된 대규모 신경망인 기반 모델의 더 넓은 범주에 속하며, 이후 특정 하위 작업에 맞게 적응된다. 단일 목적을 위해 구축된 전통적인 머신 러닝 모델과 달리, 지리공간 기반 모델은 지구 표면의 일반적인 표현을 학습하여 제한된 추가 훈련 데이터로도 광범위한 응용 분야를 지원할 수 있다.
이러한 모델은 원래 자연어 처리를 위해 개발된 트랜스포머 아키텍처에 기반을 둔 딥 러닝 구조를 활용한다. 수백만 개의 레이블이 없거나 약하게 레이블된 위성 이미지로 사전 훈련함으로써, 모델은 지형, 식생, 도시 구조, 수역 및 기타 지리적 특징과 관련된 패턴을 포착한다. 이 사전 훈련 단계는 계산 집약적이며, 일반적으로 AWS Trainium 칩이나 NVIDIA GPU와 같은 특수 하드웨어가 필요하지만, 결과 모델은 더 작고 작업별 데이터셋으로 미세 조정될 수 있다.
사전 훈련 및 데이터 소스
지리공간 기반 모델의 효과성은 사전 훈련 데이터의 다양성과 규모에 크게 의존한다. 일반적인 소스로는 중간 해상도에서 전 세계를 커버하는 Landsat 및 Sentinel-2와 같은 프로그램의 광학 이미지와 Maxar 및 Planet과 같은 회사의 고해상도 상업용 이미지가 포함된다. 일부 모델은 구름을 투과하고 야간에도 작동할 수 있는 합성 aperture 레이더(SAR) 데이터도 통합하여 보완적인 정보를 제공한다.
사전 훈련 목표는 종종 자기 지도 학습을 포함하며, 여기서 모델은 이미지의 누락된 부분을 예측하거나 동일한 장면의 증강된 버전을 구별하는 방법을 학습한다. 예를 들어, 모델은 위성 이미지의 마스킹된 영역을 재구성하도록 훈련될 수 있으며, 이를 통해 공간적 맥락과 토지 피복 패턴을 이해하게 된다. 이 접근 방식은 지리공간 분석에서 중요한 병목 현상인 값비싼 인간 레이블 데이터의 필요성을 줄인다.
주요 기능 및 작업
지리공간 기반 모델은 전통적으로 별도의 목적별 모델이 필요했던 수많은 작업으로 미세 조정될 수 있다. 일반적인 응용 분야는 다음과 같다:
- 토지 피복 분류: 픽셀이나 영역이 산림, 수역, 경작지, 도시 지역 또는 기타 범주를 나타내는지 식별.
- 변화 감지: 다른 날짜의 이미지를 비교하여 산림 벌채, 도시 확장 또는 재해 피해를 식별.
- 객체 감지: 건물, 선박 또는 태양광 패널과 같은 특정 특징의 위치 파악.
- 분할: 필드, 도로 또는 수역의 정확한 경계 delineation.
모델이 이미 일반적인 시각적 특징을 학습했기 때문에, 미세 조정은 일반적으로 처음부터 훈련된 모델에 필요한 수만 개와 비교하여 수백에서 수천 개의 레이블된 예제만 필요하다.这使得 지리공간 분석이 주석 예산이 제한된 조직에 더 접근 가능하게 만든다.
주목할 만한 모델 및 연구
여러 지리공간 기반 모델이 학계 및 산업 그룹에 의해 개발되었다. 한 가지 prominent 예는 2022년 MIT CSAIL 연구자들이 도입한 SatMAE로, 위성 이미지에 마스크드 오토인코더 접근 방식을 적용한다. 또 다른 예는 NASA와 IBM이 개발하고 2023년에 출시된 Prithvi로, 트랜스포머 아키텍처를 기반으로 하며 NASA의 Harmonized Landsat Sentinel 데이터로 훈련되었다. Prithvi는 홍수 매핑 및 산불 화상 흔적 감지와 같은 작업에 사용되었다.
2024년에는 AI2(Allen Institute for AI)가 전 세계적, 다중 센서 사전 훈련에 초점을 맞춘 Clay를 출시했다. 또한 Oracle Cloud 및 Google Cloud와 같은 상업적 제공업체는 클라우드 플랫폼의 일부로 지리공간 기반 모델을 제공하기 시작하여, 사용자가 기본 인프라를 관리하지 않고 API를 통해 접근할 수 있게 했다. Stanford AI Lab 및 Berkeley AI Research와 같은 연구 그룹도 특히 효율적인 사전 훈련 방법 개발에 기여하며 이 분야를 발전시키는 데 역할을 했다.
과제 및 한계
그들의 약속에도 불구하고, 지리공간 기반 모델은 여러 과제에 직면한다. 주요 문제 중 하나는 도메인 이동이다: 한 지역이나 센서로 사전 훈련된 모델은 기후, 토지 이용 또는 이미징 조건의 차이로 인해 다른 지역에서는 성능이 저하될 수 있다. 예를 들어, 주로 북미 이미지로 훈련된 모델은 열대 우림이나 사막 풍경에서 어려움을 겪을 수 있다. 연구자들은 데이터 증강 및 도메인 적응과 같은 기술을 통해 이를 해결하지만, 여전히 해결되지 않은 문제로 남아 있다.
또 다른 한계는 해상도이다. 많은 글로벌 데이터셋은 픽셀당 10~30미터의 해상도를 가지며, 이는 개별 건물이나 차량과 같은 작은 특징을 감지하기에는 불충분하다. 고해상도 모델은 더 많은 저장 공간과 계산을 필요로 하며, 사전 훈련 데이터는 종종 독점적이어서 재현성을 제한한다. 또한 계절적 변화나 구름 덮임과 같은 시간적 역학은 정적 장면을 가정하는 모델을 혼란시킬 수 있지만, 일부 최신 모델은 시간을 명시적 입력 차원으로 통합한다.
마지막으로 편향 및 공정성에 대한 우려가 있다. 사전 훈련 데이터가 특정 지리적 지역을 과대 대표하는 경우, 모델은 대표성이 낮은 지역에 대해 덜 정확할 수 있으며, 잠재적으로 잘못된 정책 결정으로 이어질 수 있다. 전 세계적으로 공평한 성능을 보장하는 것은 활발한 연구 분야이다.
미래 방향
이 분야는 빠르게 진화하고 있으며, 여러 추세가 그 미래를 형성하고 있다. 한 방향은 광학 이미지와 SAR, 고도 모델 및 심지어 텍스트 메타데이터를 결합한 다중 모달 데이터의 통합이다. 또 다른 방향은 엣지 장치에서 실행되거나 최소한의 계산으로 미세 조정될 수 있는 더 작고 효율적인 모델의 개발로, 인프라가 제한된 개발도상국에서 사용 가능하게 만든다.
또한 몇 주 앞서 작물 수확량이나 홍수 범위를 예측하는 것과 같은 시간적 예측을 위한 기반 모델에 대한 관심도 증가하고 있다. 이러한 모델은 정적 이미지 분석을 넘어 동적 과정을 포착하도록 확장될 것이다. 생성 AI 기술이 발전함에 따라, 일부 연구자들은 지리공간 모델이 훈련이나 시뮬레이션 목적으로 합성 위성 이미지를 생성할 수 있는지 탐구하고 있지만, 이는 잘못된 정보에 대한 윤리적 질문을 제기한다.
학계, NASA 및 유럽 우주국과 같은 정부 기관, 그리고 민간 기업 간의 협력은 벤치마크를 표준화하고 기후 과학자부터 도시 계획자까지 다양한 사용자에게 이러한 모델이 혜택을 주도록 하는 데 중요할 것이다.