Das Gesetz über künstliche Intelligenz (AI Act) ist eine Verordnung der Europäischen Union, die einen gemeinsamen Regulierungs- und Rechtsrahmen für künstliche Intelligenz in der gesamten EU schafft. Es klassifiziert KI-Anwendungen in vier Risikostufen - inakzeptabel, hoch, begrenzt und minimal - sowie eine separate Kategorie für allgemeine KI. Anwendungen mit inakzeptablem Risiko sind vorbehaltlich bestimmter Ausnahmen vollständig verboten. Die Verordnung trat am 1. August 2024 in Kraft, wobei die Bestimmungen in den folgenden 6 bis 36 Monaten schrittweise eingeführt wurden.
Das Verbot von KI-Systemen mit inakzeptablem Risiko ist die strengste Stufe des risikobasierten Ansatzes des AI Acts. Es zielt auf KI-Anwendungen ab, die eine klare Bedrohung für die Grundrechte, die Sicherheit oder die demokratischen Prozesse von Personen in der EU darstellen. Im Gegensatz zu Hochrisikosystemen, die Compliance-Verpflichtungen erfüllen müssen, sind Systeme mit inakzeptablem Risiko auf dem EU-Markt nicht zulässig, es sei denn, sie fallen unter eng definierte Ausnahmen. Dieses Verbot gilt extraterritorial, analog zur Datenschutz-Grundverordnung, auch für Anbieter außerhalb der EU, wenn sie Nutzer in der EU haben.
Geltungsbereich des Verbots
Das KI-Gesetz verbietet KI-Anwendungen, die menschliches Verhalten auf eine Weise manipulieren, die den freien Willen umgeht, wie etwa subliminale Techniken oder die Ausnutzung von Schwachstellen bestimmter Gruppen (z. B. Kinder oder Menschen mit Behinderungen), um Schaden zu verursachen. Es verbietet auch Social Scoring - die Einstufung von Personen auf der Grundlage persönlicher Merkmale, des sozioökonomischen Status oder des Verhaltens - wenn sie von öffentlichen Behörden zu nachteiliger Behandlung verwendet wird. Die biometrische Fernidentifizierung in Echtzeit (einschließlich Gesichtserkennung) in öffentlich zugänglichen Räumen ist für Strafverfolgungszwecke verboten, mit begrenzten Ausnahmen für bestimmte schwere Straftaten, Terrorismus oder vermisste Personen, vorbehaltlich einer richterlichen Genehmigung.
Weitere verbotene Praktiken umfassen KI, die Schwachstellen aufgrund von Alter, Behinderung oder sozialer oder wirtschaftlicher Situation ausnutzt, sowie KI, die Emotionen am Arbeitsplatz oder in Bildungseinrichtungen ableitet, außer aus medizinischen oder Sicherheitsgründen. Die Liste ist abschließend; keine anderen Praktiken werden automatisch unter dieser Kategorie verboten. Die Europäische Kommission kann die Liste durch delegierte Rechtsakte aktualisieren, aber jede Erweiterung erfordert eine vollständige Gesetzesrevision.
Ausnahmen vom Verbot
Die Artikel 2.3 und 2.6 des KI-Gesetzes befreien KI-Systeme, die ausschließlich für militärische, Verteidigungs- oder nationale Sicherheitszwecke verwendet werden, sowie reine wissenschaftliche Forschung und Entwicklung. Diese Ausnahmen sind eng gefasst: Das KI-System muss ausschließlich für diese Zwecke verwendet werden, nicht in einer Doppelnutzungsfunktion. Die nichtberufliche persönliche Nutzung von KI fällt ebenfalls nicht in den Anwendungsbereich. Die Ausnahmen gelten nicht für die kommerzielle Bereitstellung oder für Systeme, die in zivilen Kontexten verwendet werden, selbst wenn sie von Militär- oder Sicherheitsbehörden entwickelt wurden.
Für die biometrische Fernidentifizierung in Echtzeit enthält das Verbot eine spezifische Ausnahme für die Strafverfolgung in drei Szenarien: Suche nach Opfern von Entführung oder Menschenhandel, Verhinderung einer unmittelbar bevorstehenden und schwerwiegenden terroristischen Bedrohung sowie Lokalisierung oder Identifizierung einer Person, die einer schweren Straftat verdächtigt wird (wie nach nationalem Recht definiert). Jede Verwendung muss von einer Justiz- oder unabhängigen Verwaltungsbehörde genehmigt werden, und die Entscheidung muss auf objektiven Beweisen beruhen. Die Genehmigung ist zeitlich befristet und geografisch eingeschränkt, mit einer Meldepflicht an den Europäischen Ausschuss für künstliche Intelligenz.
Historischer Kontext und Gesetzgebungsverfahren
Die Europäische Kommission schlug das KI-Gesetz am 21. April 2021 vor. Der ursprüngliche Entwurf enthielt keine eigene Kategorie für allgemeine KI, aber der rasche Aufstieg generativer KI-Systeme wie ChatGPT - basierend auf großen Sprachmodellen - veranlasste eine Überarbeitung. Das Europäische Parlament verabschiedete das Gesetz am 13. März 2024, und der EU-Rat stimmte ihm am 21. Mai 2024 einstimmig zu. Der endgültige Text enthielt die Kategorie für allgemeine KI, die 2023 hinzugefügt wurde, um Basismodelle zu adressieren, die eine breite Palette von Aufgaben ausführen können.
Das Verbot von Praktiken mit inakzeptablem Risiko war im ursprünglichen Vorschlag vorhanden, aber sein Umfang wurde während der Verhandlungen verfeinert. Frühe Entwürfe enthielten ein breiteres Verbot von KI, die für 'manipulative Techniken' verwendet wird, das auf Techniken eingegrenzt wurde, die den freien Willen umgehen. Das Verbot von Social Scoring wurde ebenfalls klargestellt, um speziell für öffentliche Behörden zu gelten, nicht für private Einrichtungen, obwohl private Nutzung, die zu nachteiliger Behandlung führt, möglicherweise unter anderen Bestimmungen erfasst wird.
Compliance und Durchsetzung
Der durch das Gesetz eingerichtete Europäische Ausschuss für künstliche Intelligenz fördert die Zusammenarbeit der nationalen Behörden und gewährleistet eine einheitliche Durchsetzung. Nationale Aufsichtsbehörden sind für die Überwachung der Einhaltung in ihren Mitgliedstaaten verantwortlich. Für Systeme mit inakzeptablem Risiko besteht die Hauptpflicht darin, sie nicht auf dem Markt zu platzieren oder zu verwenden. Wenn festgestellt wird, dass ein Anbieter oder Betreiber ein verbotenes System verwendet, drohen Sanktionen - bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist, bei Verstößen gegen das Verbot.
Die Durchsetzung ist risikobasiert: Die Behörden können Marktüberwachung durchführen, Dokumentation anfordern und Audits durchführen. Das Gesetz schafft keine individuellen Rechte, sodass Bürger nicht direkt auf Schadensersatz unter dem KI-Gesetz selbst klagen können; sie müssen sich auf bestehende nationale Gesetze oder die Datenschutz-Grundverordnung stützen. Bürger können jedoch Beschwerden bei nationalen Behörden über KI-Systeme einreichen, einschließlich solcher, von denen sie glauben, dass sie unter das Verbot inakzeptabler Risiken fallen.
Beziehung zu anderen Risikokategorien
Das Verbot von Systemen mit inakzeptablem Risiko steht neben drei anderen Stufen. Hochrisikoanwendungen - wie KI im Gesundheitswesen, Bildung, Personalbeschaffung, kritischer Infrastruktur, Strafverfolgung oder Justiz - müssen Sicherheits-, Transparenz- und Qualitätsverpflichtungen erfüllen und Konformitätsbewertungen durchlaufen. Einige Hochrisikosysteme erfordern vor der Bereitstellung eine Folgenabschätzung für Grundrechte. Systeme mit begrenztem Risiko, wie Deepfake-Generatoren, haben nur Transparenzpflichten. Systeme mit minimalem Risiko, wie Videospiel-KI oder Spamfilter, sind nicht reguliert, und die Mitgliedstaaten können aufgrund der maximalen Harmonisierung keine zusätzlichen Regeln auferlegen.
Die Unterscheidung zwischen inakzeptablem und hohem Risiko ist in der Praxis nicht immer eindeutig. Beispielsweise könnte ein KI-System zur Emotionserkennung bei der Einstellung als Hochrisiko gelten (weil es die Personalbeschaffung betrifft), könnte aber auch verboten sein, wenn es Schwachstellen ausnutzt. Die Europäische Kommission hat Leitlinien zur Klassifizierung von Grenzfällen veröffentlicht, aber diese sind ab 2025 nicht bindend. Rechtswissenschaftler stellen fest, dass das risikobasierte Schema einem Produktsicherheitsmodell folgt, bei dem die regulatorischen Pflichten mit den potenziellen Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte zunehmen.
Allgemeine KI und das Verbot
Allgemeine KI-Modelle, einschließlich Basismodelle, sind nicht automatisch verboten, unterliegen jedoch Transparenzanforderungen. Open-Source-Modelle müssen eine Zusammenfassung der Trainingsdaten und eine Urheberrechtsrichtlinie veröffentlichen; Closed-Source-Modelle haben umfassendere Transparenzpflichten. Modelle mit hoher Wirkung, deren Training mehr als 10^25 Gleitkommaoperationen erfordert, müssen einer zusätzlichen Bewertung auf systemische Risiken unterzogen werden. Der Verhaltenskodex für allgemeine KI, veröffentlicht am 10. Juli 2025, enthält Kapitel zu Transparenz, Urheberrecht und Sicherheit, obwohl die Teilnahme freiwillig ist.
Das Verbot von Praktiken mit inakzeptablem Risiko gilt für allgemeine KI, wenn sie in verbotenen Anwendungen verwendet wird. Beispielsweise wäre ein generatives KI-System, das für Social Scoring verwendet wird, verboten, selbst wenn das zugrunde liegende Modell ansonsten legal ist. Dies schafft eine doppelte Verpflichtung: Anbieter müssen sicherstellen, dass ihre Modelle nicht auf verbotene Weise verwendet werden, und Betreiber dürfen sie nicht in solchen Kontexten verwenden. Das Gesetz verlangt nicht, dass Anbieter technische Sicherheitsvorkehrungen gegen verbotene Verwendungen einbauen, aber sie müssen Dokumentation bereitstellen, die Betreibern hilft, die Fähigkeiten und Grenzen des Modells zu verstehen.
Auswirkungen und Kritik
Das Verbot wurde von zivilgesellschaftlichen Gruppen für die Schaffung eines starken Präzedenzfalls in der KI-Regulierung gelobt, insbesondere in Bezug auf Gesichtserkennung und Social Scoring. Branchenkritiker argumentieren jedoch, dass das Verbot zu breit gefasst ist und Innovationen behindern könnte, insbesondere bei maschinellen Lern-Anwendungen mit legitimen Verwendungszwecken. Einige Rechtsexperten haben angemerkt, dass die Ausnahmen für Militär und nationale Sicherheit weit gefasst sind und ausgenutzt werden könnten, obwohl das Gesetz verlangt, dass solche Systeme 'ausschließlich' für diese Zwecke verwendet werden.
Die extraterritoriale Reichweite des Verbots hat ebenfalls Aufmerksamkeit erregt. Nicht-EU-Unternehmen, einschließlich großer KI-Entwickler wie OpenAI, Anthropic und Google DeepMind, müssen sicherstellen, dass ihre Systeme keine verbotenen Praktiken anwenden, wenn sie EU-Nutzer bedienen. Dies hat zu Compliance-Bemühungen geführt, wie z. B. Geo-Blocking oder die Anpassung des Systemverhaltens. Ab 2025 wurden keine größeren Durchsetzungsmaßnahmen öffentlich gemeldet, aber die Europäische Kommission hat angegeben, dass sie die Überwachung von Systemen mit inakzeptablem Risiko priorisieren wird.
Das Verbot von KI mit inakzeptablem Risiko im KI-Gesetz stellt eine bedeutende Abkehr von früheren, eher freiwilligen Ansätzen der KI-Governance dar. Es legt eine klare rote Linie für bestimmte Anwendungen fest, während es Hochrisikosystemen ermöglicht, unter strengen Bedingungen zu operieren. Die schrittweise Einführung der Bestimmungen bedeutet, dass die vollständige Durchsetzung des Verbots bis August 2027 abgeschlossen sein wird, mit früheren Fristen für bestimmte Verpflichtungen. Die praktischen Auswirkungen hängen davon ab, wie die nationalen Behörden die Ausnahmen interpretieren und wie die Europäische Kommission die Liste der verbotenen Praktiken als Reaktion auf technologische Entwicklungen aktualisiert.