Un modèle de fondation géospatial est un type de modèle d'IA conçu pour traiter et analyser des données d'observation de la Terre, principalement des images satellitaires et aériennes. Il appartient à la catégorie plus large des modèles de fondation, qui sont des réseaux de neurones à grande échelle pré-entraînés sur de vastes ensembles de données, puis adaptés à des tâches spécifiques en aval. Contrairement aux modèles d'apprentissage automatique traditionnels conçus pour un objectif unique, un modèle de fondation géospatial apprend des représentations générales de la surface terrestre, lui permettant de prendre en charge une large gamme d'applications avec des données d'entraînement supplémentaires limitées.
Ces modèles exploitent des architectures de apprentissage profond, souvent basées sur l'architecture transformer, initialement développée pour le traitement du langage naturel. En se pré-entraînant sur des millions d'images satellitaires non étiquetées ou faiblement étiquetées, le modèle capture des motifs liés au terrain, à la végétation, aux structures urbaines, aux plans d'eau et à d'autres caractéristiques géographiques. Cette phase de pré-entraînement est intensive en calcul, nécessitant généralement du matériel spécialisé tel que les puces AWS Trainium ou les GPU NVIDIA, bien que le modèle résultant puisse être affiné sur des ensembles de données plus petits et spécifiques à une tâche.
Pré-entraînement et sources de données
L'efficacité d'un modèle de fondation géospatial dépend fortement de la diversité et de l'échelle de ses données de pré-entraînement. Les sources courantes incluent l'imagerie optique de programmes comme Landsat et Sentinel-2, qui offrent une couverture mondiale à des résolutions modérées, ainsi que l'imagerie commerciale à haute résolution de sociétés telles que Maxar et Planet. Certains modèles intègrent également des données de radar à synthèse d'ouverture (SAR), qui peuvent pénétrer les nuages et fonctionner de nuit, offrant des informations complémentaires.
Les objectifs de pré-entraînement impliquent souvent l'apprentissage auto-supervisé, où le modèle apprend à prédire des parties manquantes d'une image ou à distinguer des versions augmentées de la même scène. Par exemple, un modèle pourrait être entraîné à reconstruire des régions masquées d'une image satellitaire, le forçant à comprendre le contexte spatial et les motifs d'occupation du sol. Cette approche réduit le besoin de données étiquetées par des humains, coûteuses, qui constituent un goulot d'étranglement significatif dans l'analyse géospatiale.
Capacités et tâches clés
Un modèle de fondation géospatial peut être affiné pour de nombreuses tâches qui nécessitaient traditionnellement des modèles distincts et spécialisés. Les applications courantes incluent :
- Classification de l'occupation du sol : Identifier si un pixel ou une région représente une forêt, de l'eau, des terres cultivées, une zone urbaine ou d'autres catégories.
- Détection de changements : Comparer des images de différentes dates pour identifier la déforestation, l'expansion urbaine ou les dommages causés par des catastrophes.
- Détection d'objets : Localiser des caractéristiques spécifiques telles que des bâtiments, des navires ou des panneaux solaires.
- Segmentation : Délimiter avec précision les contours de champs, de routes ou de plans d'eau.
Étant donné que le modèle a déjà appris des caractéristiques visuelles générales, l'affinage nécessite généralement seulement quelques centaines à quelques milliers d'exemples étiquetés, contre des dizaines de milliers pour un modèle entraîné de zéro. Cela rend l'analyse géospatiale plus accessible aux organisations disposant de budgets d'annotation limités.
Modèles notables et recherche
Plusieurs modèles de fondation géospatiaux ont été développés par des groupes académiques et industriels. Un exemple marquant est SatMAE, introduit par des chercheurs du MIT CSAIL en 2022, qui applique une approche d'autoencodeur masqué à l'imagerie satellitaire. Un autre est Prithvi, développé par la NASA et IBM, publié en 2023, basé sur une architecture transformer et entraîné sur les données Harmonized Landsat Sentinel de la NASA. Prithvi a été utilisé pour des tâches telles que la cartographie des inondations et la détection des cicatrices de brûlures d'incendies de forêt.
En 2024, Clay a été publié par AI2 (l'Allen Institute for AI), se concentrant sur un pré-entraînement mondial multi-capteurs. De plus, des fournisseurs commerciaux comme Oracle Cloud et Google Cloud ont commencé à proposer des modèles de fondation géospatiaux dans le cadre de leurs plateformes cloud, permettant aux utilisateurs d'y accéder via des API sans gérer l'infrastructure sous-jacente. Des groupes de recherche tels que le Stanford AI Lab et Berkeley AI Research ont également contribué à faire progresser le domaine, notamment en développant des méthodes de pré-entraînement efficaces.
Défis et limites
Malgré leur potentiel, les modèles de fondation géospatiaux sont confrontés à plusieurs défis. Un problème majeur est le changement de domaine : les modèles pré-entraînés sur une région ou un capteur peuvent mal performer sur un autre en raison de différences de climat, d'utilisation des terres ou de conditions d'imagerie. Par exemple, un modèle entraîné principalement sur des images nord-américaines peut avoir du mal avec les forêts tropicales humides ou les paysages désertiques. Les chercheurs abordent ce problème par des techniques telles que la augmentation de données et l'adaptation de domaine, mais cela reste un problème ouvert.
Une autre limitation est la résolution. De nombreux ensembles de données mondiaux ont des résolutions de 10 à 30 mètres par pixel, insuffisantes pour détecter de petites caractéristiques comme des bâtiments individuels ou des véhicules. Les modèles à haute résolution nécessitent plus de stockage et de calcul, et leurs données de pré-entraînement sont souvent propriétaires, limitant la reproductibilité. De plus, les dynamiques temporelles - telles que les changements saisonniers ou la couverture nuageuse - peuvent confondre les modèles qui supposent des scènes statiques, bien que certains modèles plus récents intègrent le temps comme dimension d'entrée explicite.
Enfin, il existe des préoccupations concernant le biais et l'équité. Si les données de pré-entraînement surreprésentent certaines régions géographiques, le modèle peut être moins précis pour les zones sous-représentées, ce qui pourrait conduire à des décisions politiques erronées. Garantir des performances équitables à l'échelle mondiale est un domaine de recherche actif.
Orientations futures
Le domaine évolue rapidement, avec plusieurs tendances façonnant son avenir. Une direction est l'intégration de données multi-modales, combinant l'imagerie optique avec le SAR, les modèles d'élévation et même les métadonnées textuelles. Une autre est le développement de modèles plus petits et plus efficaces pouvant fonctionner sur des appareils de périphérie ou être affinés avec un calcul minimal, les rendant utilisables dans les pays en développement disposant d'infrastructures limitées.
Il existe également un intérêt croissant pour les modèles de fondation pour la prévision temporelle, tels que la prédiction des rendements agricoles ou de l'étendue des inondations des semaines à l'avance. Ces modèles iraient au-delà de l'analyse d'images statiques pour capturer des processus dynamiques. Alors que les techniques d'IA générative progressent, certains chercheurs explorent si les modèles géospatiaux peuvent générer des images satellitaires synthétiques pour l'entraînement ou la simulation, bien que cela soulève des questions éthiques sur la désinformation.
La collaboration entre le monde académique, les agences gouvernementales comme la NASA et l'Agence spatiale européenne, et les entreprises privées sera cruciale pour normaliser les références et garantir que ces modèles bénéficient à un large éventail d'utilisateurs, des climatologues aux urbanistes.