Le projet de loi 1047 du Sénat de Californie, connu sous le nom de loi sur l'innovation sûre et sécurisée pour les modèles d'intelligence artificielle de pointe, est une loi d'État proposée qui établirait des obligations de sécurité contraignantes pour les développeurs de modèles d'intelligence artificielle à grande échelle. Présenté en février 2024 par le sénateur Scott Wiener, le projet de loi vise à atténuer les risques catastrophiques posés par les systèmes d'IA avancés, notamment les cyberattaques potentielles, la création d'armes biologiques et les pertes massives. Il a été adopté par le Sénat de l'État de Californie en mai 2024 et par l'Assemblée en août 2024, mais a été opposé par le gouverneur Gavin Newsom le 29 septembre 2024, ce qui en fait l'un des efforts de réglementation de l'IA les plus débattus aux États-Unis.
La législation cible les « modèles couverts » - des systèmes d'IA entraînés avec une puissance de calcul dépassant 10^26 opérations en virgule flottante (FLOPs), un seuil conçu pour capturer les modèles de pointe comme ceux développés par OpenAI, Anthropic et Google DeepMind. Les développeurs doivent mettre en œuvre un cadre de sécurité comprenant une évaluation des risques, un rapport d'incident et un interrupteur d'arrêt pour interrompre le fonctionnement du modèle si nécessaire. Le projet de loi impose également une responsabilité aux développeurs pour les préjudices graves causés par leurs modèles, avec des pénalités allant jusqu'à 10 millions de dollars pour les fausses déclarations et jusqu'à 50 millions de dollars pour les préjudices réels. Des exemptions s'appliquent aux modèles utilisés uniquement pour la recherche, aux modèles open source avec modifications et aux modèles sous le seuil de calcul, bien que le projet de loi inclue une disposition permettant au Département de la technologie de Californie d'ajuster le seuil à mesure que la puissance de calcul augmente.
Contexte et contexte législatif
Le projet de loi a émergé dans un contexte de préoccupations croissantes concernant l'avancement rapide des systèmes d'IA générative et de modèles de langage à grande échelle, qui ont démontré des capacités en codage, en raisonnement et en génération de contenu. Les partisans ont fait valoir que les engagements volontaires des laboratoires d'IA étaient insuffisants, citant des incidents comme l'utilisation abusive de l'IA pour la désinformation et le potentiel de futurs systèmes à échapper au contrôle humain. La Californie, en tant que foyer de nombreuses entreprises leaders en IA, était considérée comme un lieu naturel pour une réglementation pionnière, compte tenu de son histoire de fixation de normes nationales dans des domaines comme les émissions de véhicules et la confidentialité des données.
Le sénateur Wiener a présenté le SB 1047 le 7 février 2024, avec le parrainage du Future of Life Institute et le soutien de chercheurs en IA de premier plan, notamment Yoshua Bengio et Geoffrey Hinton. Le projet de loi a subi plusieurs amendements lors des audiences des comités, répondant aux critiques concernant la surlargeur et les conséquences imprévues. Notamment, la définition de « modèle couvert » a été affinée pour exclure les modèles qui ne sont pas déployés ou mis à la disposition du public, et la clause de responsabilité a été restreinte pour s'appliquer uniquement lorsque le développeur savait ou aurait dû savoir du risque.
Dispositions et exigences clés
En vertu du SB 1047, les développeurs de modèles couverts doivent soumettre un « cadre de sécurité et de sûreté » au Département de la technologie de Californie avant de commencer l'entraînement. Ce cadre doit détailler les utilisations prévues du modèle, les risques potentiels et les mesures d'atténuation. Les exigences spécifiques incluent :
- Évaluation des risques : Les développeurs doivent mener une évaluation des risques avant l'entraînement, évaluant le potentiel du modèle à permettre des cyberattaques, des armes chimiques ou biologiques, ou d'autres préjudices catastrophiques. L'évaluation doit être mise à jour après l'entraînement et avant la publication publique.
- Rapport d'incident : Tout « incident de préjudice critique » - défini comme un événement causant la mort, des pertes massives ou des dommages matériels importants - doit être signalé au procureur général de l'État dans les 72 heures. Le rapport doit inclure des détails techniques et la réponse du développeur.
- Interrupteur d'arrêt : Le cadre doit inclure une capacité d'« arrêt rapide et complet », permettant au développeur d'interrompre immédiatement le fonctionnement du modèle s'il présente une menace imminente.
- Audits par des tiers : Les développeurs doivent engager des auditeurs indépendants pour vérifier la conformité au cadre, avec des rapports d'audit soumis à l'État annuellement.
- Protections des lanceurs d'alerte : Les employés qui signalent des violations de sécurité sont protégés contre les représailles, encourageant la transparence interne.
Le projet de loi interdit également aux développeurs de prendre des représailles contre les employés qui soulèvent des préoccupations de sécurité, et il exige que tous les modèles couverts soient développés d'une manière qui minimise le risque de « vol de modèle » - accès non autorisé aux poids du modèle.
Responsabilité et application
Le SB 1047 établit un régime de responsabilité novateur pour les développeurs d'IA. Si un modèle couvert cause un préjudice grave - défini comme la mort, des pertes massives ou des dommages matériels dépassant 500 millions de dollars - le développeur peut être tenu responsable même s'il n'a pas intentionnellement causé le préjudice. Cette approche de « responsabilité stricte » est similaire aux lois sur la responsabilité du fait des produits défectueux, mais elle s'applique aux logiciels, qui ont traditionnellement été exemptés de ces normes.
L'application serait gérée par le procureur général de Californie, qui peut demander des pénalités civiles et des mesures injonctives. Le projet de loi crée également une « division de l'IA de pointe » au sein du Département de la technologie, chargée de superviser la conformité et de maintenir un registre public des modèles couverts. Les pénalités pour fausses déclarations dans les cadres de sécurité sont jusqu'à 10 millions de dollars par violation, tandis que les préjudices réels peuvent entraîner des amendes jusqu'à 50 millions de dollars. Cependant, le projet de loi stipule explicitement qu'il ne crée pas de droit d'action privé, ce qui signifie que les individus ne peuvent pas poursuivre directement les développeurs en vertu de cette loi.
Soutien et opposition
Le projet de loi a suscité des réactions polarisées. Les partisans, notamment le Center for AI Safety et le Future of Life Institute, ont fait valoir qu'il fournit des garde-fous essentiels pour une technologie présentant des risques existentiels. Ils ont souligné des enquêtes montrant qu'une majorité de chercheurs en IA croient qu'il y a une chance significative de résultats catastrophiques de l'IA avancée. Les partisans ont également noté que le seuil de calcul du projet de loi garantit qu'il n'affecte que les plus grands laboratoires, épargnant les startups et les institutions académiques.
Les opposants venaient de deux camps principaux. Les groupes industriels, y compris la Chambre de commerce et plusieurs entreprises d'IA, ont fait valoir que le projet de loi étoufferait l'innovation et pousserait le développement de l'IA hors de Californie. Ils ont affirmé que la norme de responsabilité stricte découragerait le développement open source, car même les modèles modifiés pourraient être retracés jusqu'au développeur d'origine. Certains technologues, comme Fei-Fei Li et Andrew Ng, ont signé des lettres ouvertes s'opposant au projet de loi, arguant qu'il était basé sur des craintes spéculatives plutôt que sur les capacités actuelles.
Un deuxième groupe de critiques, y compris certains chercheurs en sécurité de l'IA, a fait valoir que le projet de loi était trop faible. Ils ont noté que le seuil de calcul pourrait être contourné par un entraînement distribué ou en utilisant des algorithmes plus efficaces, et que les dispositions de responsabilité ne s'appliquent qu'aux préjudices « raisonnablement prévisibles », ce qui pourrait être difficile à prouver. Certains ont également critiqué le projet de loi pour ne pas traiter les modèles plus petits qui pourraient encore être dangereux en combinaison avec d'autres outils.
Amendements et compromis
Au cours du processus législatif, le SB 1047 a été amendé pour répondre à certaines préoccupations. La version originale exigeait que les développeurs certifient que leurs modèles ne pouvaient pas être utilisés pour créer des armes de destruction massive, ce que les critiques ont qualifié d'impossible à garantir. Cela a été changé en une norme d'« assurance raisonnable ». Le projet de loi a également ajouté une exemption pour les modèles utilisés exclusivement à des fins militaires ou de sécurité nationale, et a clarifié que les modèles open source avec moins de 10^26 FLOPs de calcul d'entraînement ne sont pas couverts.
Un autre amendement significatif a été la suppression d'une disposition qui aurait créé une nouvelle agence d'État pour réglementer l'IA. Au lieu de cela, le projet de loi s'appuie sur les départements existants, avec le Département de la technologie en tête. Cela a été considéré comme une concession aux opposants qui craignaient une bureaucratie excessive.
Veto du gouverneur et conséquences
Le gouverneur Newsom a opposé son veto au SB 1047 le 29 septembre 2024, dans une décision qui a surpris de nombreux observateurs. Dans son message de veto, Newsom a fait valoir que le projet de loi était « bien intentionné » mais trop large, et qu'il imposerait des exigences « rigides, coûteuses et potentiellement fatales » aux développeurs d'IA sans coordination fédérale adéquate. Il a appelé à une approche plus « flexible », suggérant que la Californie devrait travailler avec le gouvernement fédéral et d'autres États pour développer un cadre réglementaire unifié.
Le veto a été célébré par les groupes industriels et certains universitaires, mais a déçu les défenseurs de la sécurité. Le sénateur Wiener a promis de réintroduire le projet de loi lors de la prochaine session législative, éventuellement avec des révisions. Entre-temps, la Californie a continué à poursuivre d'autres réglementations sur l'IA, y compris une loi exigeant la transparence dans le contenu généré par l'IA et un groupe de travail étudiant l'impact de l'IA sur l'emploi.
Implications plus larges
La trajectoire du SB 1047 reflète le débat plus large sur la réglementation de l'IA aux États-Unis. Alors que l'Union européenne a adopté la loi sur l'IA en 2024, les États-Unis se sont largement appuyés sur des engagements volontaires des entreprises. L'échec du projet de loi met en évidence la difficulté de réglementer une technologie en évolution rapide, où les définitions peuvent devenir obsolètes en quelques mois. Cependant, son introduction a déjà influencé le comportement des entreprises, plusieurs grands laboratoires d'IA annonçant des cadres de sécurité volontaires qui reflètent les exigences du SB 1047.
Le projet de loi a également soulevé des questions sur le rôle des gouvernements des États dans la réglementation de la technologie. Les partisans ont fait valoir que la Californie a la responsabilité de protéger ses citoyens, tandis que les opposants ont averti d'une mosaïque de lois d'État qui pèseraient sur les entreprises. Le débat est susceptible de continuer, surtout à mesure que les capacités de l'IA augmentent et que le potentiel de préjudice devient plus concret. Au début de 2025, aucun projet de loi similaire n'a été adopté dans un autre État, mais la question reste une priorité pour les législateurs.
Considérations techniques et éthiques
Le seuil de calcul de 10^26 FLOPs du projet de loi est notable car il s'aligne sur les estimations du coût d'entraînement de modèles comme GPT-4, qui aurait utilisé environ 2,1e25 FLOPs. Cela signifie que seulement une poignée de modèles seraient couverts, y compris ceux développés par OpenAI, Anthropic et Google DeepMind. Cependant, le seuil n'est pas statique ; le projet de loi inclut une disposition permettant au Département de la technologie de l'ajuster en fonction des tendances de la puissance de calcul, garantissant qu'il reste pertinent à mesure que le matériel s'améliore.
Éthiquement, le projet de loi soulève des questions sur la responsabilité des actions de l'IA. Contrairement aux logiciels traditionnels, où les développeurs ne sont généralement pas responsables de l'utilisation abusive par les utilisateurs, le SB 1047 tiendrait les développeurs responsables des préjudices prévisibles. Ce changement reflète un consensus croissant selon lequel les systèmes d'IA ne sont pas des outils neutres mais ont une agence, et que leurs créateurs ont un devoir de diligence. Les critiques soutiennent que cela pourrait conduire à un développement trop prudent, ralentissant les progrès sur des applications bénéfiques comme le diagnostic médical ou la modélisation climatique.
Le projet de loi aborde également la question du élagage de modèle et de la augmentation de données, car les développeurs pourraient essayer de réduire l'empreinte de calcul d'un modèle pour éviter la réglementation. Cependant, la définition de « modèle couvert » du projet de loi inclut tout modèle qui est un dérivé d'un modèle couvert, ce qui rend difficile la contournement. Cette clause « dérivée » était un point clé de discorde, les défenseurs de l'open source soutenant qu'elle refroidirait l'innovation dans la communauté open panel.
Conclusion
Le SB 1047 de Californie représente une tentative marquante de réglementer l'IA de pointe, combinant des éléments de sécurité des produits, de droit environnemental et de politique technologique. Bien qu'il ait été opposé, le projet de loi a établi un précédent pour les futurs efforts législatifs, tant en Californie qu'ailleurs. Ses idées centrales - seuils de calcul, cadres de sécurité et responsabilité pour les préjudices catastrophiques - sont susceptibles de réapparaître sous une forme ou une autre, au niveau de l'État ou fédéral. Le débat sur le SB 1047 a également dynamisé le discours public sur la sécurité de l'IA, apportant des questions comme le RLHF et le écrêtage de gradient dans la conversation grand public. Alors que l'IA continue de progresser, la question de savoir comment la gouverner restera l'un des défis les plus pressants du 21e siècle.
Références
- Sénat de l'État de Californie. (2024). SB 1047 : Loi sur l'innovation sûre et sécurisée pour les modèles d'intelligence artificielle de pointe. Résumé du conseiller législatif.
- Wiener, S. (2024). Communiqué de presse sur l'introduction du SB 1047.
- Newsom, G. (2024). Message de veto pour le SB 1047.
- Future of Life Institute. (2024). Analyse du SB 1047.
- Center for AI Safety. (2024). Déclaration sur le SB 1047.