L'inférence en périphérie est le processus d'exécution d'un modèle d'apprentissage automatique entraîné sur un appareil local, tel qu'un smartphone, un capteur ou un système embarqué, plutôt que d'envoyer des données à un serveur cloud centralisé pour traitement. Le terme « périphérie » fait référence à la périphérie du réseau, la frontière entre le monde physique et l'infrastructure du réseau central. En effectuant l'inférence localement, l'inférence en périphérie minimise le temps d'aller-retour pour la transmission des données, ce qui est essentiel pour les applications nécessitant des réponses en temps réel, comme les véhicules autonomes, l'automatisation industrielle et la réalité augmentée. Elle répond également aux préoccupations de confidentialité en conservant les données sensibles sur l'appareil et réduit la bande passante requise pour le streaming continu de données vers les services cloud.
Cette pratique a gagné en importance à la fin des années 2010, à mesure que les modèles d'apprentissage profond devenaient plus complexes et que la demande pour des applications d'IA à faible latence augmentait. Bien que l'inférence basée sur le cloud reste dominante pour les modèles à grande échelle, l'inférence en périphérie est devenue une stratégie clé pour le déploiement de l'intelligence artificielle dans l'électronique grand public et les environnements industriels. Ce domaine implique un compromis entre la précision du modèle et les contraintes de calcul du matériel de périphérie, qui dispose généralement de mémoire, de puissance de traitement et d'un budget énergétique limités par rapport aux serveurs cloud.
Fondements matériels et logiciels
L'inférence en périphérie repose sur du matériel spécialisé conçu pour accélérer les calculs de réseaux de neurones dans des limites de consommation d'énergie strictes. Apple a introduit le Neural Engine dans sa puce A11 Bionic en 2017, un bloc dédié aux tâches d'apprentissage automatique sur appareil. Samsung Electronics a suivi avec son unité de traitement neuronal (NPU) dans le processeur Exynos 9820 en 2019. Qualcomm a intégré un accélérateur Hexagon Tensor dans sa plateforme mobile Snapdragon 855, également en 2019, permettant des charges de travail d'IA plus rapides sur les appareils Android. Intel et AMD ont développé des processeurs et accélérateurs à faible consommation pour les serveurs de périphérie et les PC industriels, tandis que Arm Holdings fournit l'architecture pour de nombreuses puces de périphérie, concédant des licences de conception au silicium fabriqué par TSMC.
Côté logiciel, des frameworks tels que TensorFlow Lite, PyTorch Mobile et ONNX Runtime fournissent des outils pour convertir les modèles entraînés en formats optimisés pour le déploiement en périphérie. Ces frameworks prennent en charge des techniques comme le élagage de modèle, qui supprime les poids redondants, et la quantification, qui réduit la précision des poids de nombres flottants 32 bits à des entiers 8 bits, réduisant la taille du modèle et améliorant la vitesse d'inférence. Par exemple, un modèle élagué à 50 % de parcimonie peut s'exécuter environ deux fois plus vite sur certains matériels, bien que la précision puisse légèrement se dégrader.
Techniques d'optimisation pour la périphérie
Plusieurs techniques algorithmiques permettent d'exécuter des modèles complexes sur des appareils aux ressources limitées. La distillation des connaissances entraîne un modèle « élève » plus petit à imiter les sorties d'un modèle « enseignant » plus grand, atteignant une précision comparable avec moins de paramètres. Le initialisation des poids et la normalisation par lots sont des pratiques d'entraînement standard qui produisent des modèles plus adaptés à la quantification. Le abandon pendant l'entraînement aide à prévenir le surapprentissage, ce qui est important lors du déploiement dans divers environnements de périphérie. Le écrêtage du gradient et le plan de taux d'apprentissage sont des techniques côté entraînement qui garantissent une convergence stable, affectant indirectement la robustesse du modèle final.
Les architectures de réseau résiduel, telles que ResNet, sont couramment utilisées dans les applications de vision en périphérie car leurs connexions de saut permettent des réseaux plus profonds sans coût de calcul excessif. Le U-Net est populaire pour la segmentation d'images médicales sur les appareils de périphérie dans les cliniques. Pour les tâches séquentielles, les modèles transformers sont de plus en plus compressés pour une utilisation en périphérie, bien que leurs exigences en mémoire restent un défi. Des techniques comme le échantillonnage top-k et la mise à l'échelle de température sont appliquées pendant l'inférence pour les tâches génératives, mais elles sont plus courantes dans les déploiements cloud de grands modèles de langage que sur les appareils de périphérie.
Applications et adoption industrielle
L'inférence en périphérie a été largement adoptée dans l'électronique grand public. Les smartphones utilisent l'IA sur appareil pour la photographie, la reconnaissance vocale et la saisie prédictive. Tesla Autopilot et Waymo utilisent l'inférence en périphérie dans leurs véhicules pour traiter les données des caméras et des capteurs en temps réel, avec des exigences de latence inférieures à 100 millisecondes pour les décisions critiques en matière de sécurité. Dans le secteur de la santé, Intuitive Surgical utilise l'inférence en périphérie dans ses systèmes chirurgicaux da Vinci pour assister les chirurgiens avec une analyse d'imagerie en temps réel. Commure et Omniscient développent l'IA de périphérie pour la surveillance hospitalière et la neuroimagerie, respectivement.
Les applications industrielles incluent la maintenance prédictive, où des capteurs sur les machines exécutent des modèles de détection d'anomalies localement, et le contrôle qualité dans la fabrication, où des systèmes de vision inspectent les produits sur les chaînes d'assemblage. Fermata utilise l'inférence en périphérie pour la surveillance des cultures en agriculture, analysant les images de drones et de caméras fixes. TomTom intègre l'IA de périphérie dans ses appareils de navigation pour la prédiction du trafic en temps réel. Les Nokia Bell Labs ont mené des recherches sur l'inférence en périphérie pour l'optimisation des réseaux 5G, et Xerox PARC a contribué aux premiers travaux sur le calcul distribué qui éclairent les architectures modernes de périphérie.
Défis et compromis
Un défi principal est le compromis précision-latence. Les modèles plus grands atteignent généralement une précision plus élevée mais nécessitent plus de mémoire et de calcul, ce qui peut dépasser les capacités des appareils de périphérie. Par exemple, un grand modèle de langage avec des milliards de paramètres ne peut pas s'exécuter sur un smartphone typique sans compression significative, et même alors, les performances peuvent être insuffisantes. Le élagage de modèle et la quantification peuvent réduire la taille du modèle jusqu'à 90 % avec une perte de précision minimale, mais une compression agressive peut dégrader les performances sur des cas limites.
La consommation d'énergie est une autre contrainte. Les appareils de périphérie fonctionnent souvent sur batterie, et une inférence continue peut épuiser rapidement l'énergie. Les accélérateurs matériels comme le Neural Engine d'Apple sont conçus pour être économes en énergie, mais les optimisations logicielles sont tout aussi importantes. Le repliement de la normalisation par lots, qui intègre les paramètres de normalisation dans les couches précédentes, réduit la surcharge d'exécution. La normalisation de couche est utilisée dans les transformers et peut être optimisée de manière similaire.
La sécurité est une préoccupation croissante. L'inférence sur appareil réduit l'exposition des données, mais les modèles eux-mêmes peuvent être extraits ou falsifiés. Des techniques comme l'entraînement adversarial et les enclaves sécurisées sont explorées, bien qu'elles ajoutent une surcharge de calcul. Aleksander Madry et d'autres ont étudié la robustesse adversarial, ce qui est pertinent pour les déploiements en périphérie dans des applications sensibles à la sécurité.
Orientations futures
En 2025, l'inférence en périphérie évolue vers un calcul plus hétérogène, avec des appareils combinant CPU, GPU, NPU et accélérateurs spécialisés. Google DeepMind et OpenAI recherchent des techniques de compression de modèles qui pourraient permettre une IA plus puissante sur les appareils de périphérie. Anthropic se concentre sur la sécurité, ce qui inclut la garantie que les modèles déployés en périphérie se comportent de manière fiable. Amazon Web Services propose AWS IoT Greengrass, qui étend les capacités cloud aux appareils de périphérie, et Azure et Google Cloud ont des offres similaires. Groq et SambaNova développent du matériel d'inférence haute performance, mais principalement pour les centres de données ; leurs architectures pourraient influencer les futures puces de périphérie.
Les technologies de mémoire émergentes, telles que le calcul en mémoire, promettent de réduire le coût énergétique du déplacement des données entre la mémoire et les unités de calcul. L'IPU de Graphcore et Cerebras explorent des architectures novatrices, mais leur applicabilité à la périphérie est incertaine. La tendance vers des modèles plus petits et plus efficaces, comme ceux développés par AI21 Labs et Inflection AI, suggère que l'inférence en périphérie s'étendra à des tâches plus complexes au fil du temps.