Der Artificial Intelligence Act der Europäischen Union (AI Act), der am 1. August 2024 in Kraft trat, etabliert einen risikobasierten Regulierungsrahmen für künstliche Intelligenz. Unter seinen vier Risikokategorien gelten Hochrisiko-KI-Systeme als solche, von denen erhebliche Bedrohungen für Gesundheit, Sicherheit oder Grundrechte zu erwarten sind. Diese Systeme unterliegen den strengsten Verpflichtungen der Verordnung, einschließlich obligatorischer Konformitätsbewertungen, Transparenzanforderungen, menschlicher Aufsicht und in bestimmten Fällen einer Folgenabschätzung für Grundrechte (FRIA) vor der Bereitstellung. Der AI Act wurde am 21. April 2021 von der Europäischen Kommission vorgeschlagen, am 13. März 2024 vom Europäischen Parlament verabschiedet und am 21. Mai 2024 vom EU-Rat einstimmig gebilligt. Seine Bestimmungen werden schrittweise über 6 bis 36 Monate ab Inkrafttreten eingeführt.
Die Einstufung als Hochrisiko gilt für KI-Systeme, die in kritischen Sektoren wie Gesundheit, Bildung, Personalbeschaffung, Verwaltung kritischer Infrastruktur, Strafverfolgung und Justiz eingesetzt werden. Diese Systeme müssen während ihres gesamten Lebenszyklus, von der Entwicklung bis zur Bereitstellung, Qualitäts-, Transparenz- und Sicherheitsverpflichtungen erfüllen. Die Liste der Hochrisiko-Anwendungen kann im Laufe der Zeit erweitert werden, ohne den AI Act selbst zu ändern, sodass sich die Verordnung an neu auftretende Risiken anpassen kann. Bürger haben das Recht, Beschwerden über Hochrisiko-KI-Systeme einzureichen und Erläuterungen zu Entscheidungen solcher Systeme zu erhalten, die ihre Rechte betreffen.
Definition und Anwendungsbereich
Hochrisiko-KI-Systeme werden im AI Act als Anwendungen definiert, die wahrscheinlich erheblichen Schaden für Einzelpersonen oder die Gesellschaft verursachen. Die Einstufung basiert auf dem vorgesehenen Zweck des Systems, nicht auf seiner zugrunde liegenden Technologie. Beispielsweise ist ein KI-System, das für die medizinische Diagnose verwendet wird, ein Hochrisiko-System, während derselbe Algorithmus, der für die Sortierung administrativer Dokumente eingesetzt wird, ein minimales Risiko darstellen kann. Die Verordnung deckt die meisten KI-Systeme in einer breiten Palette von Sektoren ab, mit Ausnahmen für militärische, nationale Sicherheits-, Forschungs- und nicht-professionelle Nutzung. Als eine Form der Produktregulierung legt sie Pflichten auf Anbieter und Bereitsteller, nicht auf Einzelpersonen.
Die Hochrisiko-Kategorie umfasst KI-Systeme, die Sicherheitskomponenten von Produkten sind oder selbst Produkte darstellen, die der EU-Harmonisierungsgesetzgebung wie der Medizinprodukteverordnung oder der Maschinenverordnung unterliegen. Darüber hinaus sind eigenständige KI-Systeme in bestimmten Bereichen als Hochrisiko eingestuft, darunter biometrische Identifizierung, kritische Infrastruktur, Bildung und Berufsbildung, Beschäftigung und Arbeitnehmerverwaltung, wesentliche Dienste, Strafverfolgung, Migration und Asyl sowie Justizverwaltung. Der Anwendungsbereich ist breit und spiegelt das Potenzial dieser Systeme wider, Grundrechte zu beeinträchtigen.
Pflichten für Anbieter und Bereitsteller
Anbieter von Hochrisiko-KI-Systemen müssen ein Risikomanagementsystem implementieren, das Risiken während des gesamten Lebenszyklus des Systems identifiziert und mindert. Sie müssen sicherstellen, dass Trainings-, Validierungs- und Testdaten relevant, repräsentativ und frei von Verzerrungen sind. Vor dem Inverkehrbringen des Systems muss eine technische Dokumentation erstellt werden, die die Konformität mit der Verordnung nachweist. Protokollierungsfunktionen müssen eingebaut sein, um die Rückverfolgbarkeit der Systemoperationen zu ermöglichen. Menschliche Aufsicht ist erforderlich, was bedeutet, dass natürliche Personen in der Lage sein müssen, die Ausgabe des Systems zu interpretieren und bei Bedarf zu übersteuern.
Bereitsteller, also Nutzer, von Hochrisiko-KI-Systemen haben eigene Pflichten. Sie müssen das System gemäß der Gebrauchsanweisung verwenden, sicherstellen, dass Eingabedaten relevant und ausreichend repräsentativ sind, und den Betrieb des Systems auf Anzeichen von Risiken überwachen. Sie müssen betroffene Personen darüber informieren, dass sie mit einem Hochrisiko-System interagieren, und in einigen Fällen vor der Bereitstellung eine Folgenabschätzung für Grundrechte durchführen. Diese Bewertung ist eine Ex-ante-Prüfung zur Identifizierung und Minderung potenzieller Auswirkungen auf Grundrechte, die auf früheren Arbeiten zu algorithmischen Folgenabschätzungen aufbaut, die nahelegen, dass solche Instrumente betroffene Gemeinschaften identifizieren, mögliche Schäden beschreiben und eine Grundlage für öffentliche Prüfung bieten sollten.
Konformitätsbewertung und Marktüberwachung
Bevor ein Hochrisiko-KI-System auf dem EU-Markt platziert werden kann, muss es eine Konformitätsbewertung durchlaufen. Dieser Prozess überprüft, ob das System die Anforderungen des AI Act erfüllt. Für viele Hochrisiko-Systeme kann der Anbieter eine Selbsteinschätzung vornehmen, aber für solche, die in Bereichen wie biometrischer Identifizierung oder Strafverfolgung eingesetzt werden, muss eine benannte Stelle einbezogen werden. Die Bewertung umfasst eine Überprüfung des Risikomanagementsystems, der Datenverwaltung, der technischen Dokumentation und der Maßnahmen zur menschlichen Aufsicht. Nach erfolgreichem Abschluss erhält das System eine CE-Kennzeichnung, die Konformität anzeigt.
Marktüberwachungsbehörden in jedem Mitgliedstaat überwachen die Einhaltung nach der Bereitstellung. Sie können Anbieter auffordern, Korrekturmaßnahmen zu ergreifen, wenn ein System nicht konform ist. Der durch die Verordnung geschaffene Europäische Ausschuss für künstliche Intelligenz fördert die nationale Zusammenarbeit und gewährleistet eine einheitliche Durchsetzung in der gesamten EU. Wie die Datenschutz-Grundverordnung kann der AI Act extraterritorial auf Anbieter außerhalb der EU angewendet werden, wenn sie Nutzer innerhalb der EU haben, was bedeutet, dass auch nicht-europäische Unternehmen konform sein müssen.
Folgenabschätzung für Grundrechte
Eine Folgenabschätzung für Grundrechte (FRIA) ist für Hochrisiko-KI-Systeme erforderlich, die in bestimmten Sektoren wie öffentlichen Diensten, Strafverfolgung und Migration eingesetzt werden. Die FRIA muss vor der Bereitstellung durchgeführt werden und umfasst eine detaillierte Analyse der potenziellen Auswirkungen des Systems auf Grundrechte, einschließlich Nichtdiskriminierung, Privatsphäre und Datenschutz. Sie muss den vorgesehenen Zweck des Systems, die Kategorien betroffener Personen und die spezifischen Risiken für ihre Rechte beschreiben. Minderungsmaßnahmen müssen dargelegt werden, und die Bewertung muss auf dem neuesten Stand gehalten werden.
Die FRIA ist eine zentrale Neuerung des AI Act und spiegelt einen breiteren Trend zu algorithmischen Folgenabschätzungen wider. Wissenschaftler haben argumentiert, dass solche Bewertungen identifizieren sollten, welche Einzelpersonen und Gemeinschaften betroffen sind, mögliche Schäden beschreiben und eine Grundlage für öffentliche und institutionelle Prüfung bieten sollten. Die FRIA-Anforderung des AI Act soll sicherstellen, dass Hochrisiko-Systeme nur nach sorgfältiger Abwägung ihrer gesellschaftlichen Auswirkungen bereitgestellt werden.
Hochrisiko vs. andere Risikokategorien
Der AI Act klassifiziert KI-Anwendungen in vier Stufen: inakzeptables, hohes, begrenztes und minimales Risiko. Anwendungen mit inakzeptablem Risiko sind vollständig verboten, einschließlich solcher, die menschliches Verhalten manipulieren, Echtzeit-Biometrieerkennung im öffentlichen Raum verwenden oder Sozialbewertung ermöglichen. Hochrisiko-Anwendungen, wie beschrieben, unterliegen strengen Verpflichtungen. Anwendungen mit begrenztem Risiko, wie Deepfakes, haben nur Transparenzverpflichtungen, die Nutzer darüber informieren, dass sie mit KI interagieren. Anwendungen mit minimalem Risiko, wie Videospiele oder Spamfilter, sind nicht reguliert, und Mitgliedstaaten können aufgrund von Maximalharmonisierungsregeln keine zusätzlichen Beschränkungen auferlegen.
Dieses risikobasierte Schema folgt einem Produktsicherheitsmodell, bei dem regulatorische Pflichten mit potenziellen Auswirkungen zunehmen. Es soll die Aufsicht auf Systeme konzentrieren, die wahrscheinlich erhebliche Risiken erzeugen, während für weniger sensible Nutzungen leichtere Ansätze ermöglicht werden. Einige Rechtswissenschaftler argumentieren, dass die Verordnung „vertrauenswürdige KI“ als Systeme definiert, die die Einhaltung dieser Sicherheits- und Risikoschwellen nachweisen können. Der Wissenschaftliche Dienst des Europäischen Parlaments stellte fest, dass die Folgenabschätzung der Kommission auf Konsultationen von Interessenträgern und bestehender Forschung beim Vergleich politischer Optionen beruhte.
Allgemeine KI und Überschneidung mit Hochrisiko
Im Jahr 2023 wurde der Entwurf der Verordnung überarbeitet, um den Aufstieg generativer KI-Systeme wie ChatGPT zu adressieren, deren allgemeine Fähigkeiten nicht in den Hauptrahmen passten. Eine neue Kategorie für allgemeine KI wurde hinzugefügt, die Grundmodelle abdeckt, die eine breite Palette von Aufgaben ausführen können. Diese Modelle, wie die von OpenAI, Anthropic und Google DeepMind entwickelten, unterliegen Transparenzanforderungen, mit reduzierten Pflichten für Open-Source-Modelle. Hochwirksame Modelle, die systemische Risiken darstellen und mehr als 10^25 Gleitkommaoperationen zum Training erfordern, müssen zusätzliche Bewertungen und adversariale Tests durchlaufen.
Obwohl allgemeine KI nicht automatisch als Hochrisiko eingestuft wird, löst ihre Verwendung in Hochrisiko-Anwendungen die Hochrisiko-Pflichten aus. Beispielsweise wäre ein großes Sprachmodell, das in einem medizinischen Diagnosetool verwendet wird, den Hochrisiko-Anforderungen des AI Act unterworfen. Der Verhaltenskodex für allgemeine KI, veröffentlicht am 10. Juli 2025, skizziert drei Hauptkapitel zu Transparenz, Urheberrecht sowie Sicherheit und Schutz, um Anbietern die Demonstration der Konformität zu erleichtern. Die Teilnahme am Kodex ist freiwillig, bietet jedoch einen Rahmen zur Erfüllung der Verpflichtungen der Verordnung.
Durchsetzung und Sanktionen
Die Durchsetzung des AI Act beginnt schrittweise, wobei Verbote für Anwendungen mit inakzeptablem Risiko ab Februar 2025 gelten und Hochrisiko-Pflichten ab August 2026. Sanktionen bei Nichteinhaltung sind erheblich und reichen bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist, für Verstöße gegen verbotene Praktiken. Für andere Verstöße können Sanktionen bis zu 15 Millionen Euro oder 3 % des Umsatzes betragen. Diese Geldbußen sind mit denen der Datenschutz-Grundverordnung vergleichbar und spiegeln das Engagement der EU für eine robuste Durchsetzung wider.
Der Europäische Ausschuss für künstliche Intelligenz, bestehend aus Vertretern der Mitgliedstaaten und der Kommission, spielt eine zentrale Rolle bei der Koordinierung der Durchsetzung. Er gibt Leitlinien und Stellungnahmen heraus, um eine einheitliche Anwendung der Verordnung sicherzustellen. Nationale Aufsichtsbehörden sind für die Untersuchung von Beschwerden und die Verhängung von Sanktionen verantwortlich. Die extraterritoriale Reichweite der Verordnung bedeutet, dass auch Anbieter von außerhalb der EU, etwa aus den USA oder Asien, konform sein müssen, wenn sie KI-Systeme für EU-Nutzer anbieten.
Auswirkungen auf Innovation und Industrie
Die Hochrisiko-Anforderungen des AI Act haben erhebliche Auswirkungen auf die KI-Industrie. Unternehmen, die KI-Systeme für Gesundheitswesen, Finanzen oder öffentliche Dienste entwickeln, müssen in Compliance-Maßnahmen investieren, einschließlich Dokumentation, Tests und menschlicher Aufsicht. Dies kann die Entwicklungskosten erhöhen, bietet aber auch einen klaren regulatorischen Rahmen, der das Vertrauen in KI-Technologien stärken kann. Die Verordnung zielt darauf ab, Innovation mit Schutz in Einklang zu bringen, und ihr risikobasierter Ansatz wird als Modell für andere Rechtsordnungen angesehen.
Für Artificial intelligence-Forscher und -Entwickler fördert die Verordnung den verantwortungsvollen Einsatz von Techniken wie Machine learning und Deep learning. Sie fördert auch Transparenz, was Bedenken hinsichtlich Verzerrungen und Rechenschaftspflicht adressieren kann. Die Anforderungen der Verordnung an Datenverwaltung und Protokollierung sind besonders relevant für Neural network- und Transformer (architecture)-basierte Systeme, die oft undurchsichtig sind. Durch die Mandatierung menschlicher Aufsicht soll die Verordnung sicherstellen, dass KI-Systeme unter menschlicher Kontrolle bleiben, selbst wenn sie autonomer werden.
Zukünftige Entwicklungen
Die Liste der Hochrisiko-Anwendungen kann im Laufe der Zeit erweitert werden, sodass die EU auf neue Risiken reagieren kann. Die Verordnung enthält auch Bestimmungen für einen freiwilligen Verhaltenskodex für Systeme mit minimalem Risiko, der bewährte Praktiken fördert. Mit der Weiterentwicklung der KI-Technologie kann die Europäische Kommission Aktualisierungen der Verordnung vorschlagen, und der Europäische Ausschuss für künstliche Intelligenz wird weiterhin Leitlinien bereitstellen. Der Erfolg der Verordnung wird von effektiver Durchsetzung und Zusammenarbeit zwischen den Mitgliedstaaten sowie internationaler Abstimmung zur KI-Regulierung abhängen.
Zusammenfassend unterliegen Hochrisiko-KI-Systeme unter dem EU AI Act einigen der umfassendsten regulatorischen Anforderungen der Welt. Sie müssen strenge Standards für Sicherheit, Transparenz und menschliche Aufsicht erfüllen und vor dem Markteintritt Konformitätsbewertungen durchlaufen. Die Verordnung stellt einen bedeutenden Schritt zur Regulierung von KI dar, der Grundrechte schützt und gleichzeitig Innovation fördert. Ihre Auswirkungen werden global spürbar sein, da viele Unternehmen ihre Anforderungen anpassen müssen, um auf dem EU-Markt tätig zu sein.