Qualcomm AI est la division d'intelligence artificielle de Qualcomm, une entreprise multinationale de semi-conducteurs et d'équipements de télécommunications. La division est dédiée au développement et à la commercialisation de technologies d'IA qui fonctionnent directement sur des appareils de périphérie, tels que les smartphones, les ordinateurs portables et le matériel de l'Internet des objets (IoT), plutôt que de dépendre d'un traitement basé sur le cloud. Son travail est centré sur l'intégration des capacités de apprentissage automatique et de apprentissage profond dans les plateformes Snapdragon de Qualcomm, avec un accent particulier sur l'efficacité énergétique et les performances sur l'appareil.
L'objectif principal de la division est de permettre des charges de travail d'IA avancées, y compris l'inférence de IA générative et de grands modèles de langage, de fonctionner localement sur des appareils grand public. Cette approche répond aux préoccupations concernant la latence, la confidentialité et la connectivité qui surviennent avec une IA dépendante du cloud. En exploitant des unités de traitement neuronal dédiées, telles que le NPU Hexagon présent dans les processeurs Snapdragon, Qualcomm AI vise à offrir des fonctionnalités d'IA haute performance comme la traduction linguistique en temps réel, les améliorations intelligentes de l'appareil photo et les assistants numériques personnalisés sans nécessiter de connexion Internet.
Historique et évolution
L'implication de Qualcomm dans l'IA précède la création formelle d'une division dédiée. L'entreprise a commencé à intégrer des capacités de traitement de réseaux neuronaux de base dans ses chipsets mobiles au milieu des années 2010. Le lancement du Snapdragon 820 en 2015 incluait le processeur de signal numérique (DSP) Hexagon de première génération avec des extensions vectorielles, pouvant être utilisé pour des tâches simples d'apprentissage automatique. Cependant, c'est l'introduction du Snapdragon 845 en 2017 qui a marqué une étape significative, car il comportait un moteur d'IA dédié combinant le CPU, le GPU et le DSP pour accélérer les charges de travail d'IA.
La division formelle Qualcomm AI a été établie en 2018, consolidant les efforts de recherche et développement en IA de l'entreprise. Cette décision était en partie une réponse à la concurrence croissante sur le marché des puces d'IA, notamment de la part de Apple et de Samsung Electronics, qui développaient également des capacités d'IA sur l'appareil. En 2019, Qualcomm a introduit le Cloud AI 100, un accélérateur discret conçu pour l'inférence dans les centres de données, signalant une expansion au-delà des appareils mobiles. Cependant, l'objectif principal de l'entreprise est resté l'IA de périphérie, et le Cloud AI 100 a ensuite été dépriorisé au profit d'une poussée plus forte vers des solutions sur l'appareil.
Un moment charnière est survenu en 2021 avec la sortie du Snapdragon 8 Gen 1, qui comportait le NPU Hexagon amélioré et introduisait la capacité du moteur d'IA à gérer des modèles plus complexes. Cela a été suivi par le Snapdragon 8 Gen 2 en 2022, qui ajoutait la prise en charge des modèles transformeurs et introduisait le Sensing Hub, un processeur d'IA à faible consommation toujours actif. Le bond le plus significatif a eu lieu en 2023 avec le Snapdragon 8 Gen 3, spécifiquement optimisé pour l'IA générative sur l'appareil, capable d'exécuter des modèles comme Stable Diffusion et Llama 2 directement sur le téléphone.
Technologies et produits clés
Le produit principal de Qualcomm AI est la plateforme Snapdragon, qui intègre des capacités d'IA à travers ses composants. L'élément central est le NPU Hexagon, une unité de traitement neuronal dédiée qui a évolué à travers plusieurs générations. Le dernier NPU Hexagon présente une architecture de micro-tuilage qui permet un traitement efficace des grands modèles, et il est complété par une extension vectorielle et un accélérateur tensoriel. Cette conception permet au NPU de gérer à la fois les opérations en nombres entiers et en virgule flottante, ce qui est crucial pour exécuter divers modèles d'IA.
Une autre technologie clé est le moteur d'IA Qualcomm, une pile logicielle et matérielle qui fournit aux développeurs des outils pour déployer des modèles d'IA sur les appareils Snapdragon. Cela inclut le SDK Qualcomm Neural Network (QNN), qui prend en charge des frameworks comme TensorFlow et PyTorch, ainsi que la boîte à outils AI Model Efficiency Toolkit (AIMET), qui aide à optimiser les modèles pour une exécution sur l'appareil. Le moteur d'IA comprend également le Sensing Hub, un sous-système à faible consommation qui traite en continu les données des capteurs pour des fonctionnalités contextuelles comme la détection d'activité et le réveil vocal.
En 2024, Qualcomm a introduit les plateformes Snapdragon X Elite et X Plus pour les PC Windows, apportant l'IA sur l'appareil aux ordinateurs portables. Ces processeurs disposent d'un NPU puissant capable de fournir jusqu'à 45 billions d'opérations par seconde (TOPS), leur permettant d'exécuter des grands modèles de langage et d'autres applications d'IA localement. Cette décision a positionné Qualcomm comme un concurrent de Intel et AMD sur le marché des PC IA, avec un accent sur l'efficacité énergétique et des performances d'IA soutenues.
Recherche et développement
Qualcomm AI maintient une branche de recherche significative qui se concentre sur l'avancement de l'état de l'art en IA sur l'appareil. L'équipe de recherche publie des articles dans les meilleures conférences et revues, couvrant des sujets tels que la compression de modèles, la quantification et les architectures de réseaux neuronaux efficaces. Un domaine de recherche notable est le développement de techniques pour exécuter des grands modèles de langage sur des appareils à ressources limitées, y compris des méthodes pour réduire l'empreinte mémoire et améliorer la vitesse d'inférence.
La division collabore également avec des institutions académiques et des partenaires industriels. Qualcomm a établi la bourse d'innovation Qualcomm, qui finance des étudiants diplômés travaillant sur l'IA et des domaines connexes. De plus, l'entreprise participe à des initiatives open source, contribuant à des projets comme le runtime ONNX et la suite de benchmarks MLPerf. Ces efforts aident à garantir que les technologies de Qualcomm AI restent compatibles avec l'écosystème d'IA plus large.
Un axe de recherche clé est la quantification, qui consiste à réduire la précision des poids des réseaux neuronaux pour diminuer l'utilisation de la mémoire et augmenter la vitesse. Qualcomm a développé des techniques de quantification propriétaires qui permettent aux modèles de fonctionner avec une perte de précision minimale. L'entreprise explore également des architectures novatrices, telles que les réseaux neuronaux à impulsions et le calcul neuromorphique, bien que celles-ci soient encore au stade expérimental.
Applications et cas d'utilisation
L'application principale de Qualcomm AI se trouve dans les smartphones, où elle alimente une gamme de fonctionnalités. Cela inclut la photographie computationnelle, où l'IA améliore les images en optimisant les performances en faible luminosité, en réduisant le bruit et en permettant des fonctionnalités comme le mode portrait et le mode nuit. L'IA est également utilisée pour la traduction linguistique en temps réel, permettant aux utilisateurs de traduire la parole et le texte sans connexion réseau. Les assistants vocaux, tels que ceux basés sur la technologie de OpenAI, peuvent fonctionner localement sur les appareils Snapdragon pour des interactions plus rapides et plus privées.
Sur le marché des PC, Qualcomm AI permet des fonctionnalités comme les effets Studio Windows, qui utilisent l'IA pour améliorer les appels vidéo en floutant les arrière-plans et en maintenant le contact visuel. Le NPU prend également en charge des assistants IA locaux capables de résumer des documents, de générer des e-mails et de répondre à des questions sans envoyer de données vers le cloud. Cela est particulièrement attrayant pour les utilisateurs professionnels soucieux de la sécurité des données.
Pour les appareils IoT, Qualcomm AI est utilisé dans des applications comme les caméras intelligentes, les robots industriels et les moniteurs de santé. La faible consommation d'énergie du NPU Hexagon le rend adapté aux appareils alimentés par batterie qui doivent effectuer une inférence IA continue. Par exemple, Qualcomm a établi des partenariats avec des entreprises pour développer des aides auditives alimentées par l'IA et des moniteurs de santé portables capables d'analyser des données biométriques en temps réel.
Paysage concurrentiel
Qualcomm AI opère sur un marché hautement concurrentiel, faisant face à des rivaux dans les secteurs mobile et PC. Dans le mobile, les principaux concurrents sont le moteur neuronal de Apple et le NPU Exynos de Samsung Electronics. Les puces de la série A et M d'Apple sont connues pour leurs performances d'IA solides, tandis que les processeurs Exynos de Samsung sont utilisés dans certains de ses propres appareils. Qualcomm se différencie en vendant à une large gamme de fabricants Android, ce qui lui donne une portée de marché plus étendue.
Sur le marché des PC, Qualcomm concurrence Intel et AMD, qui ont tous deux introduit des processeurs accélérés par l'IA. La série Core Ultra d'Intel dispose d'une unité de traitement neuronal (NPU), et les processeurs Ryzen AI d'AMD incluent un moteur d'IA dédié. La série Snapdragon X de Qualcomm vise à surpasser ces rivaux en termes de performances d'IA par watt, une métrique critique pour les ordinateurs portables alimentés par batterie.
L'entreprise fait également face à la concurrence de startups spécialisées dans les puces d'IA, bien que celles-ci ciblent principalement les centres de données plutôt que les appareils de périphérie. L'avantage de Qualcomm réside dans son intégration profonde de l'IA dans un système sur puce (SoC) complet, qui comprend le CPU, le GPU et le NPU, ainsi qu'un écosystème logiciel mature. Cette intégration permet une meilleure optimisation et une latence plus faible par rapport aux accélérateurs d'IA discrets.
Orientations futures
À l'avenir, Qualcomm AI se concentre sur l'expansion des capacités de l'IA sur l'appareil. Un domaine majeur de développement est la prise en charge de grands modèles de langage plus grands et plus complexes. Qualcomm a démontré la capacité d'exécuter des modèles avec plus de 10 milliards de paramètres sur les appareils Snapdragon, et les générations futures devraient gérer des modèles encore plus grands. Cela permettra à des assistants IA plus sophistiqués et à des outils créatifs de fonctionner localement.
Une autre direction est l'intégration de l'IA multimodale, capable de traiter simultanément le texte, les images et l'audio. Qualcomm travaille sur l'activation de modèles capables de comprendre et de générer du contenu à travers plusieurs modalités, ouvrant de nouveaux cas d'utilisation comme l'analyse vidéo en temps réel et la réalité augmentée. L'entreprise explore également l'entraînement sur l'appareil, ce qui permettrait aux appareils de personnaliser les modèles d'IA en fonction du comportement de l'utilisateur sans envoyer de données vers le cloud.
Qualcomm AI investit également dans le secteur automobile, où sa plateforme Snapdragon Ride fournit des capacités d'IA pour les systèmes avancés d'aide à la conduite (ADAS) et la conduite autonome. L'entreprise vise à apporter son expertise en IA sur l'appareil aux véhicules, permettant des fonctionnalités comme la surveillance du conducteur et l'interaction en langage naturel avec les assistants embarqués. Alors que l'IA continue de passer du cloud à la périphérie, Qualcomm AI est bien positionnée pour jouer un rôle central dans cette transformation, en tirant parti de son leadership dans la technologie mobile et sans fil.
Défis et considérations
Malgré ses forces, Qualcomm AI fait face à plusieurs défis. Un problème significatif est le rythme rapide du développement des modèles d'IA, qui dépasse souvent la capacité du matériel à suivre. Les modèles augmentent en taille et en complexité, et Qualcomm doit continuellement mettre à jour son architecture NPU pour les prendre en charge. Cela nécessite un investissement important en recherche et développement, ainsi qu'une collaboration étroite avec les chercheurs et développeurs en IA.
Un autre défi est la fragmentation de l'écosystème Android. Contrairement à Apple, qui contrôle à la fois le matériel et le logiciel, Qualcomm doit prendre en charge une large gamme d'appareils avec des spécifications et des versions de système d'exploitation différentes. Cela rend difficile la garantie de performances d'IA cohérentes sur tous les appareils. Qualcomm répond à cela en fournissant une pile logicielle unifiée et en travaillant en étroite collaboration avec les fabricants d'appareils pour optimiser leurs produits.
La confidentialité et la sécurité sont également des préoccupations. Bien que l'IA sur l'appareil offre des avantages en matière de confidentialité en gardant les données locales, elle crée également de nouvelles surfaces d'attaque. Des acteurs malveillants pourraient potentiellement exploiter des vulnérabilités dans le pipeline de traitement de l'IA pour extraire des informations sensibles. Qualcomm investit dans des environnements de traitement sécurisés, tels que son unité de traitement sécurisé (SPU), pour atténuer ces risques. L'entreprise se conforme également à diverses réglementations sur la protection des données, garantissant que ses fonctionnalités d'IA respectent la confidentialité des utilisateurs.
Enfin, il y a la question de l'impact environnemental. L'exécution de modèles d'IA sur l'appareil consomme de l'énergie, et à mesure que les modèles deviennent plus complexes, la consommation d'énergie pourrait augmenter. Qualcomm s'engage à améliorer l'efficacité énergétique, et son NPU est conçu pour effectuer des tâches d'IA avec une consommation d'énergie minimale. L'entreprise considère également le cycle de vie complet de ses produits, de la fabrication à l'élimination, dans ses efforts de durabilité.