Das Gesetz über künstliche Intelligenz der Europäischen Union (KI-Verordnung) schafft einen umfassenden Rechtsrahmen für künstliche Intelligenz, mit einer spezifischen Stufe, die Hochrisiko-KI-Systemen gewidmet ist. Diese Systeme, die erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte darstellen, unterliegen einer strengen Reihe von Verpflichtungen, bevor sie auf dem EU-Markt platziert werden dürfen. Die Verordnung zielt darauf ab, vertrauenswürdige KI zu fördern und gleichzeitig Innovation zu gewährleisten, wobei die Vorteile von künstlicher Intelligenz mit robusten Schutzmaßnahmen für Bürger in Einklang gebracht werden.
Die Einstufung als Hochrisiko-KI unter der KI-Verordnung umfasst zwei Hauptkategorien: KI-Systeme, die Sicherheitskomponenten von Produkten sind, die bereits EU-sektoralen Rechtsvorschriften unterliegen (wie Medizinprodukte, Spielzeug und Maschinen), sowie eigenständige KI-Systeme, die in Anhang III aufgeführt sind, einschließlich solcher, die in kritischer Infrastruktur, Bildung, Beschäftigung, Strafverfolgung, Migration und wesentlichen privaten Diensten wie Kreditwürdigkeitsprüfung verwendet werden. Die Verpflichtungen gelten für Anbieter (Entwickler) und in bestimmten Fällen für Betreiber (Nutzer), mit einem gestaffelten Umsetzungszeitplan.
Anwendungsbereich und Einstufungskriterien
Die KI-Verordnung definiert Hochrisiko-KI-Systeme anhand ihres Verwendungszwecks und des Sektors, in dem sie betrieben werden. Für Produkte, die bereits durch bestehende EU-Gesetze reguliert werden (z. B. die Medizinprodukteverordnung oder die Maschinenrichtlinie), gilt das KI-System automatisch als Hochrisiko, wenn es eine Sicherheitskomponente ist. Für eigenständige Systeme hängt die Einstufung davon ab, ob das System in einen der acht in Anhang III aufgeführten Bereiche fällt, wie biometrische Identifizierung, Verwaltung kritischer Infrastruktur, Bildung und Berufsbildung, Beschäftigung und Arbeitskräfteverwaltung, Zugang zu wesentlichen Diensten, Strafverfolgung, Migration und Grenzkontrolle sowie Justizverwaltung.
Die Europäische Kommission hat die Befugnis, Anhang III durch delegierte Rechtsakte zu aktualisieren und spezifische Anwendungsfälle basierend auf Risikonachweisen hinzuzufügen oder zu entfernen. Dieser dynamische Ansatz ermöglicht es der Verordnung, sich an technologische Entwicklungen anzupassen, einschließlich Fortschritten bei maschinellem Lernen und tiefem Lernen Modellen. Die Verordnung enthält jedoch eine enge Ausnahme: Wenn ein in Anhang III aufgeführtes System kein erhebliches Risiko einer Schädigung von Gesundheit, Sicherheit oder Grundrechten darstellt, kann ein Anbieter eine Nichteinstufung argumentieren, vorbehaltlich der Überprüfung durch nationale Behörden.
Verpflichtungen für Anbieter
Anbieter von Hochrisiko-KI-Systemen müssen ein Qualitätsmanagementsystem implementieren, das die Einhaltung während des gesamten Lebenszyklus des Systems gewährleistet. Zu den wichtigsten Verpflichtungen gehört die Einrichtung eines Risikomanagementsystems, das vorhersehbare Risiken, einschließlich Missbrauch und potenzieller Schädigung gefährdeter Gruppen, identifiziert, bewertet und mindert. Dieser Prozess muss iterativ sein, mit kontinuierlicher Überwachung und Aktualisierung der Risikobewertungen.
Datenverwaltung ist eine weitere kritische Anforderung. Trainings-, Validierungs- und Testdatensätze müssen relevant, repräsentativ und frei von Verzerrungen sein, die zu diskriminierenden Ergebnissen führen könnten. Anbieter müssen die Datenherkunft dokumentieren, geeignete Datenbereinigung und -vorbereitung sicherstellen und den spezifischen Kontext der beabsichtigten Verwendung berücksichtigen. Für Systeme, die neuronale Netzwerk Architekturen umfassen, bedeutet dies eine strenge Validierung, um Überanpassung oder Unterrepräsentation bestimmter Bevölkerungsgruppen zu vermeiden.
Technische Dokumentation muss vor dem Inverkehrbringen des Systems erstellt werden und detaillierte Informationen über den Zweck, das Design, den Entwicklungsprozess und die Leistungsmetriken des Systems enthalten. Diese Dokumentation muss auf dem neuesten Stand gehalten und auf Anfrage den nationalen zuständigen Behörden zur Verfügung gestellt werden. Darüber hinaus müssen Anbieter automatische Protokollierungsfunktionen implementieren, um die Rückverfolgbarkeit des Systembetriebs zu ermöglichen, insbesondere für Systeme, die kontinuierlich aus realen Daten lernen.
Konformitätsbewertung und Registrierung
Bevor ein Hochrisiko-KI-System auf dem EU-Markt platziert werden kann, muss es ein Konformitätsbewertungsverfahren durchlaufen. Für die meisten Systeme umfasst dies eine interne Bewertung basierend auf dem eigenen Qualitätsmanagementsystem und der technischen Dokumentation des Anbieters. Für bestimmte Kategorien, wie biometrische Identifizierungssysteme, ist jedoch eine Bewertung durch Dritte durch eine benannte Stelle erforderlich. Die Bewertung überprüft die Einhaltung der in der Verordnung festgelegten Verpflichtungen, einschließlich Risikomanagement, Datenverwaltung und Transparenz.
Sobald die Konformität festgestellt ist, muss der Anbieter eine EU-Konformitätserklärung ausstellen und die CE-Kennzeichnung anbringen. Das System muss dann in einer EU-weiten Datenbank registriert werden, die von der Europäischen Kommission verwaltet wird. Diese Registrierung umfasst Informationen über den Anbieter, den Verwendungszweck des Systems und Links zur technischen Dokumentation. Die Datenbank ist für die meisten Hochrisiko-Systeme öffentlich zugänglich, mit eingeschränktem Zugang für Strafverfolgungs- und Migrationsanwendungen, um Sicherheitsinteressen zu schützen.
Transparenz und menschliche Aufsicht
Hochrisiko-KI-Systeme müssen so gestaltet sein, dass eine wirksame menschliche Aufsicht möglich ist. Dies bedeutet, dass natürliche Personen in der Lage sein müssen, die Ausgabe des Systems zu verstehen, in seinen Betrieb einzugreifen und Entscheidungen bei Bedarf zu überstimmen oder umzukehren. Das Maß an Aufsicht sollte proportional zum Risiko und zur Autonomie des Systems sein. Beispielsweise muss ein System, das bei der Einstellungsprüfung verwendet wird, einem menschlichen Personalverantwortlichen ermöglichen, automatisierte Entscheidungen zu überprüfen und anzufechten.
Transparenzverpflichtungen erfordern auch, dass Nutzer informiert werden, wenn sie mit einem Hochrisiko-KI-System interagieren, es sei denn, dies ist aus dem Kontext offensichtlich. Für Systeme, die synthetische Inhalte erzeugen, wie Deepfakes, müssen Anbieter sicherstellen, dass Ausgaben in einem maschinenlesbaren Format gekennzeichnet sind, um ihren künstlichen Ursprung anzuzeigen. Dies ist besonders relevant für generative KI Modelle, die realistische Bilder, Audio oder Text erzeugen können.
Verantwortlichkeiten der Betreiber
Betreiber oder Nutzer von Hochrisiko-KI-Systemen haben ihre eigenen Verpflichtungen. Sie müssen das System gemäß der vom Hersteller bereitgestellten Gebrauchsanweisung verwenden, einschließlich der Beachtung des Verwendungszwecks und der Einschränkungen. Betreiber müssen auch sicherstellen, dass Eingabedaten relevant und nicht verzerrt sind und dass das System auf Anzeichen von Drift oder Leistungsverschlechterung überwacht wird.
In Beschäftigungskontexten müssen Betreiber Mitarbeiter informieren, dass sie einem Hochrisiko-KI-System unterliegen, und klare Informationen über die Logik des Systems und potenzielle Auswirkungen bereitstellen. Für Systeme, die Entscheidungen treffen, die die Rechte von Einzelpersonen betreffen, wie Kreditwürdigkeitsprüfung oder Versicherung, müssen Betreiber eine Folgenabschätzung für Grundrechte durchführen, insbesondere wenn das System sensible Daten verarbeitet oder gefährdete Bevölkerungsgruppen betrifft.
Betreiber sind auch dafür verantwortlich, die automatischen Protokolle, die vom System generiert werden, zu pflegen und sie für einen in der Verordnung festgelegten Zeitraum aufzubewahren, in der Regel sechs Monate, sofern nicht sektorale Gesetze etwas anderes vorsehen. Sie müssen mit nationalen Behörden zusammenarbeiten und alle schwerwiegenden Vorfälle oder Fehlfunktionen melden, die zu Schäden führen könnten.
Governance und Durchsetzung
Die Durchsetzung der KI-Verordnung wird zwischen nationalen zuständigen Behörden und der Europäischen Kommission geteilt. Jeder Mitgliedstaat muss mindestens eine notifizierende Behörde und eine Marktüberwachungsbehörde benennen. Die Europäische Kommission wird ein Europäisches Gremium für künstliche Intelligenz einrichten, um eine einheitliche Anwendung in der gesamten EU zu erleichtern und zu technischen und ethischen Fragen zu beraten.
Strafen für Nichteinhaltung sind erheblich. Geldbußen können bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes eines Unternehmens betragen, je nachdem, welcher Betrag höher ist, für Verstöße im Zusammenhang mit verbotenen Praktiken. Für die Nichteinhaltung von Hochrisiko-Systemverpflichtungen können Geldbußen bis zu 15 Millionen Euro oder 3 % des Umsatzes betragen. Geringere Geldbußen gelten für die Bereitstellung falscher Informationen an Behörden.
Zeitplan und Übergangsfristen
Die KI-Verordnung trat am 1. August 2024 in Kraft, mit einem gestaffelten Umsetzungszeitplan. Verbote bestimmter KI-Praktiken, wie Social Scoring und manipulative Techniken, wurden am 2. Februar 2025 anwendbar. Verpflichtungen für Hochrisiko-Systeme werden basierend auf der Kategorie des Systems eingeführt: solche, die in regulierte Produkte eingebettet sind, haben eine längere Übergangsfrist, mit vollständiger Anwendbarkeit bis zum 2. August 2027. Eigenständige Hochrisiko-Systeme, die in Anhang III aufgeführt sind, müssen bis zum 2. August 2026 entsprechen, mit einigen Ausnahmen für Systeme, die bereits auf dem Markt sind.
Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, einschließlich großer Sprachmodelle Systemen, haben zusätzliche Transparenzverpflichtungen, die ab dem 2. August 2025 gelten. Diese umfassen die Veröffentlichung von Zusammenfassungen der Trainingsdaten und die Sicherstellung der Einhaltung des Urheberrechts. Die Verordnung etabliert auch einen Rahmen für regulatorische Sandkästen, um innovativen Unternehmen zu ermöglichen, Hochrisiko-Systeme unter Aufsichtsbedingungen zu testen, bevor die vollständige Einhaltung erforderlich ist.
Auswirkungen auf Industrie und Innovation
Die Hochrisiko-Bestimmungen der KI-Verordnung haben erhebliche Auswirkungen auf Technologieunternehmen, insbesondere solche, die maschinelles Lernen Systeme für regulierte Sektoren entwickeln. Unternehmen wie OpenAI, Anthropic und Google DeepMind müssen ihre Entwicklungsprozesse anpassen, um Dokumentations- und Risikomanagementstandards zu erfüllen. Für Hardware-Anbieter wie AMD, Intel und Nvidia (obwohl nicht ausdrücklich in der Verordnung genannt) beeinflusst die Regulierung indirekt, wie KI-Beschleuniger gestaltet werden, da sie Protokollierungs- und Rückverfolgbarkeitsfunktionen unterstützen müssen.
Kleine und mittlere Unternehmen könnten Herausforderungen bei der Erfüllung der Compliance-Last gegenüberstehen, aber die Verordnung enthält Maßnahmen zu ihrer Unterstützung, wie reduzierte Gebühren für Konformitätsbewertung und Zugang zu Testeinrichtungen. Die Regulierung fördert auch die Entwicklung von Verhaltenskodizes und Standards, die dazu beitragen können, Compliance-Praktiken in der gesamten EU zu harmonisieren.
Insgesamt stellt die EU-KI-Verordnung einen wegweisenden Versuch dar, Hochrisiko-KI-Systeme zu regulieren, und setzt einen globalen Maßstab für KI-Governance. Ihr Erfolg wird von einer wirksamen Umsetzung, internationaler Zusammenarbeit und der Fähigkeit abhängen, Sicherheit mit Innovation in Einklang zu bringen. Während sich das Feld der künstlichen Intelligenz weiterentwickelt, könnte der risikobasierte Ansatz der Verordnung als Modell für andere Rechtsordnungen dienen, die die gesellschaftlichen Herausforderungen fortschrittlicher KI-Technologien angehen möchten.