La sécurité de l'IA est le domaine interdisciplinaire consacré à la prévention des dommages causés par les systèmes d'intelligence artificielle, couvrant des questions à court terme telles que les biais, la désinformation et les mauvais usages, ainsi que des préoccupations à plus long terme sur la question de savoir si les humains conserveraient un contrôle significatif sur des systèmes futurs très performants. Elle s'appuie sur la recherche en apprentissage automatique, les politiques publiques et la philosophie, et ses praticiens sont en désaccord entre eux sur les risques qui méritent le plus d'attention, une division souvent décrite de manière informelle comme la sécurité "à court terme" par rapport à la sécurité "à long terme".
Portée
Les travaux de sécurité de l'IA à court terme abordent les problèmes visibles dans les systèmes déployés aujourd'hui : des modèles qui produisent des déclarations fausses ou fabriquées, une défaillance connue sous le nom de hallucination ; des systèmes qui peuvent être manipulés par injection de prompt ou un jailbreak pour ignorer leurs instructions ; et le défi plus large de construire des garde-fous qui filtrent ou bloquent les sorties nuisibles sans rendre un système inutilisable. Les travaux de sécurité de l'IA à plus long terme concernent le risque existentiel lié à l'IA, y compris la possibilité qu'un système approchant l'intelligence artificielle générale ou la superintelligence puisse poursuivre des objectifs non alignés sur les intérêts humains de manières difficiles à inverser. Les deux volets considèrent l'alignement, le problème de faire correspondre le comportement réel d'un système aux intentions de ses concepteurs, comme fondamental.
Histoire et institutions
La recherche organisée sur la sécurité de l'IA a considérablement augmenté après la mise à l'échelle des grands modèles de langage au début des années 2020. Anthropic a été fondée en 2021 par d'anciens chercheurs d'OpenAI en partie pour poursuivre des recherches sur la sécurité qu'ils estimaient nécessiter la construction et l'étude directe de modèles de pointe. Des institutions académiques et à but non lucratif telles que le Machine Intelligence Research Institute et le Center for AI Safety, associées à des chercheurs comme Eliezer Yudkowsky et Dan Hendrycks, ont soutenu qu'il fallait traiter les risques extrêmes posés par l'IA avancée comme une possibilité sérieuse ; en 2023, le centre de Hendrycks a publié une déclaration d'une phrase, signée par des dirigeants des principaux laboratoires, appelant à traiter le risque d'extinction lié à l'IA comme une priorité mondiale comparable aux pandémies et à la guerre nucléaire. Les gouvernements ont répondu par de nouvelles institutions et accords, notamment la déclaration de Bletchley lors du premier sommet britannique sur la sécurité de l'IA en novembre 2023, des instituts nationaux de sécurité de l'IA au Royaume-Uni et aux États-Unis, et une réglementation contraignante telle que le règlement européen sur l'IA.
Techniques
Les techniques pratiques de sécurité incluent le red-teaming, dans lequel les testeurs tentent délibérément de provoquer des comportements nuisibles avant le déploiement d'un système ; la recherche sur l'interprétabilité, qui tente de comprendre les calculs internes d'un modèle plutôt que de le juger uniquement par ses sorties ; l'apprentissage par renforcement à partir de retours humains et le constitutional AI, qui façonnent le comportement du modèle pendant l'entraînement ; et des cadres d'évaluation qui testent des capacités dangereuses telles que la capacité à aider à des cyberattaques ou à la conception d'armes biologiques. Certains laboratoires ont publié des seuils de capacités qui déclenchent des mesures de protection supplémentaires à mesure que les modèles deviennent plus performants, une pratique reflétée dans des cadres comme la politique de mise à l'échelle responsable d'Anthropic.
Débat
Les critiques d'un côté soutiennent que le cadrage existentiel détourne l'attention et le financement de préjudices concrets et actuels tels que les biais algorithmiques, le déplacement de main-d'œuvre et le coût environnemental des cycles d'entraînement. Les critiques de l'autre côté, y compris certains chercheurs en sécurité de l'IA eux-mêmes, soutiennent que les engagements volontaires des laboratoires en course pour construire des systèmes toujours plus performants sont insuffisants sans application externe, et que la pression concurrentielle entre entreprises et pays sape les promesses de sécurité faites en public. Le domaine est également confronté à un problème fondamental de mesure : contrairement aux industries critiques pour la sécurité avec des décennies de données sur les incidents, il n'existe pas de méthode établie pour quantifier la probabilité des dommages que les travaux de sécurité de l'IA sont censés prévenir, ce qui maintient le débat sous-jacent sur les priorités non résolu.