Der kalifornische Senatsgesetzentwurf 1047, bekannt als „Safe and Secure Innovation for Frontier Artificial Intelligence Models Act“, ist ein vorgeschlagenes Landesgesetz, das verbindliche Sicherheitspflichten für Entwickler großer künstlicher Intelligenzmodelle festlegen würde. Eingebracht im Februar 2024 von Senator Scott Wiener, zielt der Gesetzentwurf darauf ab, katastrophale Risiken durch fortschrittliche KI-Systeme zu mindern, einschließlich potenzieller Cyberangriffe, der Erstellung von Biowaffen und Massenopfern. Er passierte den kalifornischen Senat im Mai 2024 und die Versammlung im August 2024, wurde jedoch am 29. September 2024 von Gouverneur Gavin Newsom mit einem Veto belegt, was ihn zu einer der am meisten debattierten KI-Regulierungsbemühungen in den Vereinigten Staaten machte.
Die Gesetzgebung zielt auf „abgedeckte Modelle“ - KI-Systeme, die mit einer Rechenleistung von mehr als 10^26 Gleitkommaoperationen (FLOPs) trainiert wurden, ein Schwellenwert, der darauf ausgelegt ist, Grenzmodelle wie die von OpenAI, Anthropic und Google DeepMind entwickelten zu erfassen. Entwickler müssen ein Sicherheitsrahmenwerk implementieren, das Risikobewertung, Vorfallberichterstattung und einen Kill-Schalter umfasst, um den Modellbetrieb bei Bedarf zu stoppen. Der Gesetzentwurf auferlegt Entwicklern auch Haftung für schwere Schäden, die durch ihre Modelle verursacht werden, mit Strafen von bis zu 10 Millionen Dollar für falsche Aussagen und bis zu 50 Millionen Dollar für tatsächlichen Schaden. Ausnahmen gelten für Modelle, die ausschließlich für Forschung verwendet werden, Open-Source-Modelle mit Modifikationen und Modelle unterhalb des Rechenleistungsschwellenwerts, obwohl der Gesetzentwurf eine Bestimmung enthält, die es dem kalifornischen Technologieministerium ermöglicht, den Schwellenwert anzupassen, wenn die Rechenleistung wächst.
Hintergrund und gesetzgeberischer Kontext
Der Gesetzentwurf entstand vor dem Hintergrund wachsender Bedenken über die rasche Weiterentwicklung von generativer KI und großen Sprachmodellen, die Fähigkeiten in den Bereichen Programmierung, Argumentation und Inhaltsgenerierung gezeigt haben. Befürworter argumentierten, dass freiwillige Verpflichtungen von KI-Labors unzureichend seien, und verwiesen auf Vorfälle wie den Missbrauch von KI für Desinformation und das Potenzial zukünftiger Systeme, menschlicher Kontrolle zu entgleiten. Kalifornien, als Heimat vieler führender KI-Unternehmen, wurde als natürlicher Ort für wegweisende Regulierung angesehen, angesichts seiner Geschichte, nationale Standards in Bereichen wie Fahrzeugemissionen und Datenschutz zu setzen.
Senator Wiener brachte SB 1047 am 7. Februar 2024 ein, mit Unterstützung des Future of Life Institute und Unterstützung prominenter KI-Forscher wie Yoshua Bengio und Geoffrey Hinton. Der Gesetzentwurf durchlief während der Ausschussanhörungen mehrere Änderungen, die Kritik an Überbreite und unbeabsichtigten Folgen adressierten. Insbesondere wurde die Definition von „abgedecktem Modell“ verfeinert, um Modelle auszuschließen, die nicht bereitgestellt oder der Öffentlichkeit zugänglich gemacht werden, und die Haftungsklausel wurde eingeschränkt, um nur zu gelten, wenn der Entwickler das Risiko kannte oder hätte kennen müssen.
Wichtige Bestimmungen und Anforderungen
Unter SB 1047 müssen Entwickler abgedeckter Modelle ein „Sicherheits- und Sicherheitsrahmenwerk“ beim kalifornischen Technologieministerium einreichen, bevor sie mit dem Training beginnen. Dieses Rahmenwerk muss die beabsichtigten Verwendungen des Modells, potenzielle Risiken und Minderungsmaßnahmen detailliert beschreiben. Spezifische Anforderungen umfassen:
- Risikobewertung: Entwickler müssen eine Risikobewertung vor dem Training durchführen, die das Potenzial des Modells bewertet, Cyberangriffe, chemische oder biologische Waffen oder andere katastrophale Schäden zu ermöglichen. Die Bewertung muss nach dem Training und vor der öffentlichen Veröffentlichung aktualisiert werden.
- Vorfallberichterstattung: Jeder „kritische Schadensvorfall“ - definiert als ein Ereignis, das Tod, Massenopfer oder erheblichen Sachschaden verursacht - muss dem Generalstaatsanwalt des Bundesstaates innerhalb von 72 Stunden gemeldet werden. Der Bericht muss technische Details und die Reaktion des Entwicklers enthalten.
- Kill-Schalter: Das Rahmenwerk muss eine „sofortige und vollständige Abschaltfähigkeit“ umfassen, die es dem Entwickler ermöglicht, den Betrieb des Modells sofort zu stoppen, wenn es eine unmittelbare Bedrohung darstellt.
- Drittparteienprüfungen: Entwickler müssen unabhängige Prüfer beauftragen, um die Einhaltung des Rahmenwerks zu verifizieren, wobei Prüfberichte jährlich dem Bundesstaat vorgelegt werden.
- Schutz für Whistleblower: Mitarbeiter, die Sicherheitsverstöße melden, sind vor Vergeltungsmaßnahmen geschützt, was interne Transparenz fördert.
Der Gesetzentwurf verbietet Entwicklern auch, Vergeltungsmaßnahmen gegen Mitarbeiter zu ergreifen, die Sicherheitsbedenken äußern, und verlangt, dass alle abgedeckten Modelle so entwickelt werden, dass das Risiko von „Modelldiebstahl“ - unbefugtem Zugriff auf die Gewichte des Modells - minimiert wird.
Haftung und Durchsetzung
SB 1047 etabliert ein neuartiges Haftungsregime für KI-Entwickler. Wenn ein abgedecktes Modell schweren Schaden verursacht - definiert als Tod, Massenopfer oder Sachschaden über 500 Millionen Dollar - kann der Entwickler haftbar gemacht werden, selbst wenn er den Schaden nicht absichtlich verursacht hat. Dieser „Gefährdungshaftungs“-Ansatz ähnelt Produkthaftungsgesetzen für fehlerhafte Waren, gilt jedoch für Software, die traditionell von solchen Standards ausgenommen war.
Die Durchsetzung würde vom kalifornischen Generalstaatsanwalt übernommen, der zivilrechtliche Strafen und einstweilige Verfügungen beantragen kann. Der Gesetzentwurf schafft auch eine „Frontier-KI-Abteilung“ innerhalb des Technologieministeriums, die mit der Überwachung der Einhaltung und der Führung eines öffentlichen Registers abgedeckter Modelle beauftragt ist. Strafen für falsche Aussagen in Sicherheitsrahmenwerken betragen bis zu 10 Millionen Dollar pro Verstoß, während tatsächlicher Schaden zu Geldstrafen von bis zu 50 Millionen Dollar führen kann. Der Gesetzentwurf stellt jedoch ausdrücklich klar, dass er kein privates Klagerecht schafft, was bedeutet, dass Einzelpersonen Entwickler nicht direkt unter diesem Gesetz verklagen können.
Unterstützung und Opposition
Der Gesetzentwurf rief polarisierte Reaktionen hervor. Befürworter, einschließlich des Center for AI Safety und des Future of Life Institute, argumentierten, dass er wesentliche Schutzmaßnahmen für eine Technologie mit existenziellen Risiken bietet. Sie verwiesen auf Umfragen, die zeigen, dass eine Mehrheit der KI-Forscher glaubt, dass es eine signifikante Wahrscheinlichkeit katastrophaler Ergebnisse durch fortgeschrittene KI gibt. Befürworter stellten auch fest, dass der Rechenleistungsschwellenwert des Gesetzentwurfs sicherstellt, dass er nur die größten Labors betrifft und Startups und akademische Institutionen verschont.
Gegner kamen aus zwei Hauptlagern. Industriegruppen, einschließlich der Handelskammer und mehrerer KI-Unternehmen, argumentierten, dass der Gesetzentwurf Innovation ersticken und KI-Entwicklung aus Kalifornien vertreiben würde. Sie behaupteten, dass der Gefährdungshaftungsstandard die Open-Source-Entwicklung entmutigen würde, da selbst modifizierte Modelle auf den ursprünglichen Entwickler zurückgeführt werden könnten. Einige Technologen wie Fei-Fei Li und Andrew Ng unterzeichneten offene Briefe gegen den Gesetzentwurf und argumentierten, dass er auf spekulativen Ängsten statt auf aktuellen Fähigkeiten basiere.
Eine zweite Gruppe von Kritikern, einschließlich einiger KI-Sicherheitsforscher, argumentierte, dass der Gesetzentwurf zu schwach sei. Sie stellten fest, dass der Rechenleistungsschwellenwert durch verteiltes Training oder die Verwendung effizienterer Algorithmen umgangen werden könnte, und dass die Haftungsbestimmungen nur für Schäden gelten, die „vernünftigerweise vorhersehbar“ sind, was schwer zu beweisen sein könnte. Einige kritisierten auch, dass der Gesetzentwurf kleinere Modelle nicht adressiert, die in Kombination mit anderen Werkzeugen dennoch gefährlich sein könnten.
Änderungen und Kompromisse
Während des Gesetzgebungsprozesses wurde SB 1047 geändert, um einige Bedenken zu adressieren. Die ursprüngliche Version verlangte von Entwicklern, zu zertifizieren, dass ihre Modelle nicht zur Erstellung von Massenvernichtungswaffen verwendet werden könnten, was Kritiker als unmöglich zu garantieren bezeichneten. Dies wurde auf einen Standard der „angemessenen Zusicherung“ geändert. Der Gesetzentwurf fügte auch eine Ausnahme für Modelle hinzu, die ausschließlich für militärische oder nationale Sicherheitszwecke verwendet werden, und stellte klar, dass Open-Source-Modelle mit weniger als 10^26 FLOPs Trainingsrechenleistung nicht abgedeckt sind.
Eine weitere bedeutende Änderung war die Entfernung einer Bestimmung, die eine neue staatliche Behörde zur Regulierung von KI geschaffen hätte. Stattdessen stützt sich der Gesetzentwurf auf bestehende Abteilungen, wobei das Technologieministerium die Führung übernimmt. Dies wurde als Zugeständnis an Gegner angesehen, die bürokratische Übergriffe befürchteten.
Veto des Gouverneurs und Folgen
Gouverneur Newsom legte am 29. September 2024 sein Veto gegen SB 1047 ein, ein Schritt, der viele Beobachter überraschte. In seiner Vetobotschaft argumentierte Newsom, dass der Gesetzentwurf „gut gemeint“, aber zu breit sei und „starre, kostspielige und potenziell fatale“ Anforderungen an KI-Entwickler ohne angemessene bundesstaatliche Koordination auferlegen würde. Er forderte einen „flexibleren“ Ansatz und schlug vor, dass Kalifornien mit der Bundesregierung und anderen Bundesstaaten zusammenarbeiten sollte, um einen einheitlichen Regulierungsrahmen zu entwickeln.
Das Veto wurde von Industriegruppen und einigen Akademikern gefeiert, enttäuschte jedoch Sicherheitsbefürworter. Senator Wiener gelobte, den Gesetzentwurf in der nächsten Legislaturperiode erneut einzubringen, möglicherweise mit Überarbeitungen. In der Zwischenzeit hat Kalifornien weiterhin andere KI-Regulierungen verfolgt, einschließlich eines Gesetzes, das Transparenz bei KI-generierten Inhalten verlangt, und einer Taskforce, die die Auswirkungen von KI auf die Beschäftigung untersucht.
Breitere Implikationen
Die Entwicklung von SB 1047 spiegelt die breitere Debatte über KI-Regulierung in den Vereinigten Staaten wider. Während die Europäische Union 2024 das KI-Gesetz verabschiedete, hat sich die USA weitgehend auf freiwillige Verpflichtungen von Unternehmen verlassen. Das Scheitern des Gesetzentwurfs unterstreicht die Schwierigkeit, eine sich schnell entwickelnde Technologie zu regulieren, bei der Definitionen innerhalb von Monaten veraltet sein können. Seine Einführung hat jedoch bereits das Verhalten von Unternehmen beeinflusst, wobei mehrere große KI-Labors freiwillige Sicherheitsrahmenwerke angekündigt haben, die die Anforderungen von SB 1047 widerspiegeln.
Der Gesetzentwurf warf auch Fragen zur Rolle von Bundesstaaten bei der Regulierung von Technologie auf. Befürworter argumentierten, dass Kalifornien eine Verantwortung hat, seine Bürger zu schützen, während Gegner vor einem Flickenteppich von Landesgesetzen warnten, der Unternehmen belasten würde. Die Debatte wird wahrscheinlich fortgesetzt, insbesondere da KI-Fähigkeiten wachsen und das Potenzial für Schaden konkreter wird. Stand Anfang 2025 hat kein anderer Bundesstaat einen ähnlichen Gesetzentwurf verabschiedet, aber das Thema bleibt eine Priorität für Gesetzgeber.
Technische und ethische Überlegungen
Der Rechenleistungsschwellenwert von 10^26 FLOPs im Gesetzentwurf ist bemerkenswert, da er mit Schätzungen der Trainingskosten für Modelle wie GPT-4 übereinstimmt, das vermutlich etwa 2,1e25 FLOPs verwendet hat. Dies bedeutet, dass nur eine Handvoll Modelle abgedeckt wären, einschließlich der von OpenAI, Anthropic und Google DeepMind entwickelten. Der Schwellenwert ist jedoch nicht statisch; der Gesetzentwurf enthält eine Bestimmung, die es dem Technologieministerium ermöglicht, ihn basierend auf Trends in der Rechenleistung anzupassen, um sicherzustellen, dass er relevant bleibt, während sich Hardware verbessert.
Ethisch wirft der Gesetzentwurf Fragen zur Verantwortung für KI-Handlungen auf. Im Gegensatz zu traditioneller Software, bei der Entwickler im Allgemeinen nicht für Benutzermissbrauch haftbar sind, würde SB 1047 Entwickler für vorhersehbare Schäden verantwortlich machen. Diese Verschiebung spiegelt einen wachsenden Konsens wider, dass KI-Systeme keine neutralen Werkzeuge sind, sondern Handlungsfähigkeit haben und ihre Schöpfer eine Sorgfaltspflicht haben. Kritiker argumentieren, dass dies zu übermäßig vorsichtiger Entwicklung führen könnte, was den Fortschritt bei vorteilhaften Anwendungen wie medizinischer Diagnose oder Klimamodellierung verlangsamt.
Der Gesetzentwurf berührt auch das Thema Modellbereinigung und Datenerweiterung, da Entwickler versuchen könnten, den Rechenleistungs-Fußabdruck eines Modells zu reduzieren, um Regulierung zu vermeiden. Die Definition von „abgedecktem Modell“ im Gesetzentwurf umfasst jedoch jedes Modell, das ein Derivat eines abgedeckten Modells ist, was eine Umgehung erschwert. Diese „Derivat“-Klausel war ein zentraler Streitpunkt, wobei Open-Source-Befürworter argumentierten, dass sie Innovation in der Open-Panel-Gemeinschaft ersticken würde.
Fazit
Der kalifornische SB 1047 stellt einen wegweisenden Versuch dar, Grenz-KI zu regulieren, indem er Elemente von Produktsicherheit, Umweltrecht und Technologiepolitik kombiniert. Obwohl er mit einem Veto belegt wurde, hat der Gesetzentwurf einen Präzedenzfall für zukünftige gesetzgeberische Bemühungen geschaffen, sowohl in Kalifornien als auch anderswo. Seine Kernideen - Rechenleistungsschwellenwerte, Sicherheitsrahmenwerke und Haftung für katastrophale Schäden - werden wahrscheinlich in irgendeiner Form wieder auftauchen, sei es auf staatlicher oder bundesstaatlicher Ebene. Die Debatte über SB 1047 hat auch den öffentlichen Diskurs über KI-Sicherheit belebt und Themen wie RLHF und Gradient-Clipping in den Mainstream-Diskurs gebracht. Während KI weiter voranschreitet, wird die Frage, wie man sie regiert, eine der drängendsten Herausforderungen des 21. Jahrhunderts bleiben.
Referenzen
- Kalifornischer Senat. (2024). SB 1047: Safe and Secure Innovation for Frontier Artificial Intelligence Models Act. Legislative Counsel's Digest.
- Wiener, S. (2024). Pressemitteilung zur Einführung von SB 1047.
- Newsom, G. (2024). Vetobotschaft für SB 1047.
- Future of Life Institute. (2024). Analyse von SB 1047.
- Center for AI Safety. (2024). Stellungnahme zu SB 1047.