Robust Intelligence est une entreprise technologique qui développe des solutions de validation et de gestion des risques pour les systèmes d'intelligence artificielle. La plateforme de l'entreprise est conçue pour identifier les vulnérabilités, tester la robustesse et garantir la fiabilité des modèles d'apprentissage automatique avant et après leur déploiement. Elle répond à un besoin croissant de gouvernance et de sécurité dans les applications d'IA en entreprise, où les défaillances de modèles peuvent entraîner des dommages opérationnels, financiers et de réputation.
L'entreprise opère à l'intersection de l'intelligence artificielle et de la cybersécurité, en se concentrant sur les risques uniques introduits par les systèmes de apprentissage automatique. Contrairement aux logiciels traditionnels, qui suivent des règles déterministes, les modèles d'IA peuvent échouer de manière imprévisible lorsqu'ils sont exposés à des entrées nouvelles ou à une manipulation adversarial. Robust Intelligence vise à fournir une approche systématique pour détecter ces modes de défaillance, en offrant des outils qui simulent des conditions réelles et des cas limites pour tester les modèles sous stress.
Fondation et historique
Robust Intelligence a été fondée en 2019 par Yaron Singer, un informaticien et professeur à l'Université Harvard, et Kojin Oshiba, ancien chercheur et ingénieur. Les travaux académiques de Singer portaient sur la robustesse algorithmique et l'optimisation, tandis qu'Oshiba apportait une expérience de l'industrie technologique. L'entreprise est issue de recherches visant à rendre les modèles d'apprentissage automatique plus résilients face aux changements de distribution et aux attaques malveillantes.
L'entreprise a rapidement attiré l'attention des investisseurs et des clients d'entreprise, levant des fonds importants au cours de ses premières années. En 2021, elle a annoncé un tour de financement de série A de 30 millions de dollars mené par Sequoia Capital, avec la participation d'autres sociétés de capital-risque. Ce capital a soutenu le développement de son produit phare, la plateforme de validation IA de Robust Intelligence, et l'expansion de ses équipes d'ingénierie et de vente.
D'ici 2023, Robust Intelligence avait établi des partenariats avec les principaux fournisseurs de cloud, notamment Amazon Web Services et Google Cloud, pour intégrer ses outils de validation dans leurs offres de services d'IA. L'entreprise a également collaboré avec des institutions académiques et des groupes industriels pour faire progresser les normes de sécurité et de test de l'IA.
Produits et services
L'offre principale est la plateforme de validation IA, une suite logicielle qui automatise le test des modèles d'apprentissage automatique. La plateforme génère une large gamme de cas de test, y compris des exemples adversariaux, des cas limites et des scénarios impliquant une dérive des données. Elle évalue les modèles selon plusieurs dimensions, telles que la précision, l'équité, la robustesse et la sécurité, produisant des rapports détaillés qui aident les data scientists et les ingénieurs à identifier les faiblesses.
Les fonctionnalités clés incluent :
- Tests de stress automatisés : La plateforme utilise des algorithmes pour générer des entrées susceptibles de provoquer des erreurs de modèle, simulant des anomalies et des attaques réelles.
- Surveillance continue : Une fois un modèle déployé, la plateforme surveille ses performances en production, détectant la dégradation ou les changements dans les données d'entrée qui pourraient entraîner des défaillances.
- Score de risque : Les modèles se voient attribuer des scores de risque en fonction de leurs performances lors de divers tests, permettant aux organisations de prioriser les efforts de remédiation.
- Intégration avec les pipelines ML : La plateforme s'intègre aux frameworks d'apprentissage automatique et aux outils de flux de travail populaires, tels que TensorFlow, PyTorch et MLflow, facilitant une adoption sans heurts.
L'entreprise propose également des services de conseil et des solutions personnalisées pour les organisations ayant des déploiements d'IA complexes, en particulier dans les secteurs réglementés comme la finance, la santé et les systèmes autonomes.
Technologie et approche
La technologie derrière Robust Intelligence s'appuie sur des principes de l'apprentissage automatique adversarial et de l'optimisation robuste. La plateforme combine des techniques de apprentissage profond pour générer des entrées de test et des méthodes statistiques pour évaluer le comportement des modèles. Elle utilise des outils d'interprétabilité des réseaux de neurones pour comprendre pourquoi les modèles font certaines prédictions, ce qui aide à identifier les causes profondes des défaillances.
Un concept central est la "robustesse du modèle", qui fait référence à la capacité d'un modèle à maintenir des prédictions précises face à des perturbations ou des changements dans la distribution des entrées. La plateforme mesure la robustesse en perturbant systématiquement les entrées et en observant les changements dans les sorties. Elle teste également des vulnérabilités spécifiques, telles que la susceptibilité aux exemples adversariaux - des entrées conçues pour tromper le modèle.
L'approche est agnostique au modèle, ce qui signifie qu'elle peut valider tout type de modèle d'apprentissage automatique, de la régression logistique traditionnelle aux grands modèles de langage complexes. Cette flexibilité est cruciale pour les entreprises qui utilisent un mélange de modèles dans différentes unités commerciales.
Contexte industriel
Robust Intelligence opère dans un domaine en évolution rapide souvent appelé "sécurité de l'IA" ou "assurance de l'IA". Alors que les organisations s'appuient de plus en plus sur l'IA pour des décisions critiques, des approbations de prêts aux diagnostics médicaux, les conséquences des erreurs de modèles ont augmenté. Des incidents très médiatisés, tels que des algorithmes de recrutement biaisés ou des accidents de véhicules autonomes, ont souligné le besoin de tests rigoureux.
L'entreprise concurrence d'autres startups et des outils internes développés par les géants de la technologie. Par exemple, OpenAI et Anthropic ont investi dans la recherche sur la sécurité, mais leur focus est principalement sur leurs propres modèles. Robust Intelligence se différencie en offrant un service de validation tiers et neutre vis-à-vis des fournisseurs, qui fonctionne avec n'importe quel système d'IA.
La pression réglementaire stimule également la demande. La loi proposée sur l'IA de l'Union européenne et des cadres similaires dans d'autres juridictions exigeront probablement que les entreprises démontrent que leurs systèmes d'IA sont sûrs et fiables. Robust Intelligence se positionne comme une solution de conformité, fournissant des pistes d'audit et une documentation qui peuvent être présentées aux régulateurs.
Cas d'utilisation et applications
La plateforme est utilisée dans divers secteurs :
- Services financiers : Les banques et les compagnies d'assurance l'utilisent pour valider les modèles de notation de crédit, les systèmes de détection de fraude et les stratégies de trading algorithmique. Garantir que ces modèles sont robustes face aux changements de marché et aux attaques adversariales est essentiel pour la conformité réglementaire et la stabilité financière.
- Santé : Les modèles d'imagerie médicale et les systèmes d'aide à la décision clinique sont testés pour leur précision et leur sécurité. La plateforme aide à identifier les cas où un modèle pourrait mal diagnostiquer ou négliger une condition, réduisant le risque de préjudice pour le patient.
- Véhicules autonomes : Les entreprises développant la technologie de conduite autonome, telles que Waymo et Tesla, font face à des défis de sécurité immenses. Robust Intelligence fournit des outils pour simuler des scénarios de conduite rares et des conditions adversariales, complétant les tests physiques.
- Commerce électronique et systèmes de recommandation : Les détaillants utilisent la plateforme pour s'assurer que les algorithmes de recommandation ne présentent pas de biais ou ne échouent pas face à un comportement utilisateur inhabituel, comme des attaques coordonnées ou un empoisonnement des données.
Partenariats et écosystème
Robust Intelligence a forgé des partenariats stratégiques pour étendre sa portée. En 2022, elle a annoncé une collaboration avec microsoft-azure pour offrir ses outils de validation via la Place de marché Azure, facilitant l'accès au service pour les clients Azure. De même, un partenariat avec AWS permet à la plateforme d'être déployée sur l'infrastructure AWS, avec une intégration pour aws-sagemaker.
Ces partenariats sont mutuellement bénéfiques : les fournisseurs de cloud gagnent un service à valeur ajoutée qui améliore la fiabilité de leurs offres d'IA, tandis que Robust Intelligence accède à de grandes bases de clients et à des crédits cloud pour ses propres opérations.
L'entreprise participe également à la recherche académique et aux organismes de normalisation. Elle a publié des articles sur les tests de robustesse et contribué aux discussions sur les benchmarks de sécurité de l'IA, travaillant avec des institutions comme Stanford AI Lab et BAIR (Berkeley AI Research).
Direction et équipe
Yaron Singer est le directeur général. Son parcours académique comprend un doctorat de l'Université de Californie à Berkeley et un poste de professeur à Harvard, où il a dirigé un groupe de recherche sur la robustesse algorithmique. Kojin Oshiba, en tant que directeur technique, supervise l'ingénierie et le développement de produits. L'équipe comprend des chercheurs et des ingénieurs ayant des parcours en apprentissage automatique, cybersécurité et ingénierie logicielle.
L'entreprise a attiré des talents de grandes entreprises technologiques et de laboratoires de recherche, y compris d'anciens membres de Google DeepMind, OpenAI et d'institutions académiques. Cette expertise se reflète dans la sophistication de ses algorithmes de test et la profondeur de ses connaissances industrielles.
Défis et orientations futures
Malgré sa croissance, Robust Intelligence fait face à des défis. Le domaine de la validation de l'IA est encore naissant, et il n'existe pas de métriques ou de benchmarks standardisés pour la robustesse. L'entreprise doit continuellement adapter ses outils pour suivre l'évolution rapide des modèles d'IA, en particulier la montée de l'IA générative et des grands modèles de langage, qui présentent de nouveaux types de risques tels que l'hallucination et l'injection de prompts.
Un autre défi est l'éducation des clients. De nombreuses organisations ignorent les vulnérabilités de leurs systèmes d'IA ou sous-estiment l'impact potentiel. Robust Intelligence investit dans le leadership éclairé, publiant des rapports et organisant des webinaires pour sensibiliser.
À l'avenir, l'entreprise vise à étendre sa plateforme pour couvrir l'ensemble du cycle de vie de l'IA, du développement au déploiement et à la surveillance continue. Elle explore également la remédiation automatisée, où la plateforme non seulement identifie les défaillances mais suggère ou met en œuvre des correctifs. Alors que la réglementation de l'IA devient plus stricte, la demande pour de tels services d'assurance devrait croître, positionnant Robust Intelligence comme un acteur clé dans l'écosystème émergent de la gouvernance de l'IA.