Schalast | Die KI-Verordnung - Schalast Law | Tax

Während des von intensiven Diskussionen geprägten Gesetzgebungsverfahrens gab es zahlreiche Änderungen an der KI-VO. Diese betrafen etwa die Definition von KI-Systemen selbst sowie die Reichweite der Hochrisiko-Pflichten. Die inhaltlichen Änderungen „in letzter Minute“, die abgesehen von einem Corrigendum zur Bereinigung sprachlicher bzw. redaktioneller Aspekte vorgenommen wurden, sind beachtlich und verdeutlichen, wie nachhaltig um einzelne Punkte gerungen wurde.

Wenig überraschend war der sachliche Anwendungsbereich der KI-VO - einer der umstrittensten Punkte des gesamten Gesetzgebungsverfahrens. Schlussendlich hat sich eine Begriffsbestimmung durchgesetzt, die sich an die Definition der OECD anlehnt. So ist auch eine internationale Anknüpfung möglich.

Wörtlich heißt es nun: „[Ein KI-System ist] ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.“

Im Gesetzgebungsverfahren wurde außerdem befürwortet, dass auch die „reine“ Software ohne typische KI-Elemente vom Anwendungsbereich erfasst sein könnte. Erwägungsgrund 12 der KI-VO, wonach ein wesentliches Merkmal von KI-Systemen ihre Fähigkeit ist „abzuleiten“, soll dem nun entgegenstehen. Auch heißt es dort, dass vom KI-Begriff keine Software umfasst sein soll, welche auf Grundlage von Menschen aufgestellter Regeln eine Aufgabe automatisch ausführt. Gleichwohl werden sich in der Praxis knifflige Abgrenzungsfragen stellen, etwa bei Deep Learning Modellen.

In den persönlichen Anwendungsbereich fallen sowohl Anbieter als auch Betreiber („Provider and Deployer“) einer KI. Anbieter sind nach dem Konzept der KI-VO die Hauptadressaten des neuen Regelwerks. Erfasst werden nicht nur die Entwickler und Hersteller, sondern auch die Akteure, welche eine KI anfertigen lassen und diese dann unter ihrem eigenen Namen auf den Markt bringen. Damit können insbesondere Unternehmen, die eine Fremdentwicklung in Auftrag geben und hinterher die KI betreiben, als Anbieter nach der KI-VO eingeordnet werden.

Der rein private Gebrauch von KI-Systemen außerhalb einer beruflichen Tätigkeit ist vom persönlichen Anwendungsbereich der KI-VO nicht erfasst. Damit ist etwa die private Nutzung von Tools wie ChatGPT ausgenommen.

Der Gesetzgeber hat sich bei der KI-Verordnung für einen sog. „risikobasierten Ansatz“ entschieden. Hiernach erfolgt eine Bewertung von KI-Systemen ausgehend von ihrem Risikograd für die Sicherheit, Gesundheit und Grundrechte von Menschen. Dabei wird eine Unterscheidung zwischen vier Risikostufen vorgenommen. Je intensiver das Risiko, desto höher ist die Risikostufe, welche einschlägig ist. Und je höher die Risikostufe, desto hochgezäunter ist der Grad der zu erfüllenden Compliance-Pflichten.

Geregelt werden im Einzelnen folgende vier Arten von KI:

1. verbotene KI-Praktiken (Art. 5 KI-VO),
2. Hochrisiko-KI-Systeme (Art. 6 KI-VO),
3. KI-Systeme mit geringem Risiko (Art. 52 KI-VO) sowie
4. KI-Systeme mit minimalem Risiko (Art. 69 KI-VO).

Zunächst sind KI-Technologien mit schlechthin unannehmbaren Risiken – insoweit wird ein „ultima ratio-Ansatz“ gewählt – gänzlich verboten. Hierunter fallen beispielsweise Social Scoring-Systeme. Aber auch KI-Systeme zur unterschwelligen Beeinflussung außerhalb des Bewusstseins eines Menschen sind verboten, wenn die Beeinflussung wesentlich ist und darauf abzielt, dieser oder einer anderen Person einen physischen oder psychischen Schaden zuzufügen. Der Nachweis, dass die KI tatsächlich auf eine Manipulation oder Bewusstseinsbeeinflussung abzielt, wird in der Praxis indessen nur schwer zu führen sein und die Verfolgungspraxis vor beachtliche Herausforderungen stellen.

Weiter unterliegt der Einsatz von sog. „Hochrisiko-KI-Systemen“, der namentlich sicherheits- oder grundrechtssensible Bereiche betrifft. Eine Legaldefinition für solche Systeme existiert nicht. Der Gesetzgeber setzt auf ein dynamisches System mit normativen Anknüpfungspunkten in Art. 6 f. KI-VO.

So soll ein Hochrisiko System dann vorliegen, wenn es:

1. als Sicherheitskomponente für ein anderes Produkt verwendet wird oder
2. selbst ein Produkt ist, das bestimmten in Anhang II der KI-VO enumerierten anderen EU-Regeln unterfällt.

Hierfür gelten bestimmte Compliance-Pflichten, von denen hervorzuheben sind:

• Die Durchführung einer Risikobewertung sowie von Marktüberwachungsmaßnahmen über den gesamten Lebenszyklus des KI-Systems
• Eine umfassende Daten-Governance zur Vermeidung von Bias und Sicherstellung repräsentativer Ergebnisse
• Die Erstellung technischer Dokumentationen sowie von Nutzungshinweisen zu Zweckbestimmung und ordnungsgemäßer Verwendung des KI-Systems
• Die Einführung einer menschlichen Aufsicht über die KI sowie von automatischem Logging und einer Fehleranalyse.
• Maßnahmen zur Sicherstellung der Cybersicherheit des KI-Systems
• Die Durchführung einer Konformitätsbewertung mit der EU-Konformitätserklärung
• Die Registrierung von bestimmten Hochrisiko-KI-Systemen in einer EU-Datenbank.

Im Übrigen greifen für KI-Systeme mit beschränktem Risiko spezifische Transparenzpflichten. Diese sehen insbesondere ein Label für bestimmte KI-generierte Inhalte vor; d.h. der Nutzer muss darüber informiert werden, dass er mit einer KI interagiert. Dies ist etwa relevant für Chatbots. Auch künstliche Deepfakes und Audio- oder Videodateien müssen erkennen lassen, dass sie durch eine KI erstellt wurden.

Für die sonstigen KI-Systeme kann freiwillig ein Verhaltenskodex befolgt werden. So soll nach der Vorstellung des EU-Verordnungsgebers das allgemeine gesellschaftliche Vertrauen in KI-Anwendungen gestärkt werden.

Bei den letzten Modifikationen am Verordnungstext, die vor der Verabschiedung durch den Rat der Europäischen Union vorgenommen wurden, sind aufgrund ihrer beachtlichen inhaltlichen Auswirkungen die folgenden Punkte hervorzuheben:

- Open-Source-KI-Systeme

Open-Source-KI-Systeme sind jetzt – anders als ursprünglich im Gesetzgebungsverfahren vorgesehen, was aber Gegenstand massiver Kritik war – vom Grundsatz her vom Anwendungsbereich der KI-VO nicht erfasst. Anderes gilt nur, wenn Hochrisiko-KI-Systeme oder verbotene KI-Praktiken vorliegen sollten.

- Zuständigkeit des AI Office

Die Zuständigkeit des AI Office, auch für die Aufsicht über sog. „general purpose AI“, wurde durch eine Erweiterung der entsprechenden Definition klargestellt. Ergänzend liegt die Zuständigkeit für die Aufsicht über die KI-Nutzung durch EU-Organe beim European Data Protection Supervisor.

- KI-Praktik der unterschwelligen Beeinflussung

Grundsätzlich ist wie oben erwähnt eine unterschwellige Beeinflussung des menschlichen Nutzers durch den Einsatz von KI verboten. Die hinreichende („reasonably“) Wahrscheinlichkeit eines Schadenseintritts ist insoweit jetzt notwendig, aber auch ausreichend. Ursprünglich war insoweit vorgesehen, dass der betroffenen Person oder Personengruppe tatsächlich oder wahrscheinlich ein erheblicher Schaden zugefügt wird.

- Konformitätsvermutung

In der finalen Fassung greift nun auch bei „general purpose AI“ die Wirkung der Konformitätsvermutung bei der Beachtung von harmonisierten Standards. Dies war im Gesetzgebungsverfahren zunächst lediglich für Hochrisiko-KI-Systeme so vorgesehen, ist aber nunmehr ausgeweitet worden.

- Der Anwendungsbereich von Hochrisiko-KI-Pflichten

Schließlich sind im Hinblick auf Hochrisiko-KI-Systeme verschiedene Änderungen vorgenommen worden. Diese stellen den Anwendungsbereich der damit im Zusammenhang stehenden Pflichten klar.

So ist etwa betreffend die Verwendung von KI-basierten Lügendetektoren oder vergleichbaren Tools im Bereich von Migration und Grenzkontrollen eine Klarstellung erfolgt. Hiernach greifen die strengeren Vorgaben auch bei einem Einsatz durch Dritte im Auftrag von öffentlichen Behörden oder EU-Institutionen.

Nach allgemeinen Regeln tritt die KI-VO 20 Tage nach der Veröffentlichung im Amtsblatt der EU, die für Ende Juni erwartet wird, in Kraft.

Vom Inkrafttreten ist die Anwendbarkeit zu unterscheiden. Die KI-VO enthält ein komplexes System gestaffelter Übergangsregeln:

• 6 Monate nach dem Inkrafttreten gelten zunächst die Vorschriften über verbotene KI-Systeme. Ihre Nutzung muss dann beendet werden.
• 24 Monate nach dem Inkrafttreten sind die weiteren Vorschriften der KI-VO anwendbar.
• Ausnahmen gelten z.B. für Pflichten betreffend Hochrisiko-KI-Systeme. Insoweit ist eine verlängerte Übergangsfrist von 36 Monaten nach Inkrafttreten vorgesehen.

Bei Verstößen gegen die KI-VO drohen den Marktteilnehmern empfindliche Sanktionen. So sind Geldbußen mit einem Bußgeldrahmen in Höhe von bis zu EUR 35 Mio. oder 7% des weltweiten Jahresumsatzes vorgesehen. Selbstredend besteht zudem die Gefahr von Klagen von Wettbewerbern. Schließlich können zivilrechtlich Schadenersatzansprüche von Betroffenen eines Verstoßes gegen die KI-VO geltend gemacht werden.