Künstliche Intelligenz (KI) ist eines der wichtigsten Themen in Wissenschaft, Wirtschaft und Politik. Die EU hat auf diese Entwicklung schon reagiert und bereits im Februar 2022 einen Entwurf für eine Verordnung zur Regulierung von KI veröffentlicht. Der "Artificial Intelligence Act" (AI Act) ist mittlerweile in Kraft getreten. Im Interview mit FONDS professionell erörtert Lutz Martin Keppeler, Partner und Fachanwalt für Informationstechnologierecht bei der Kanzlei Heuking Kühn Lüer Wojtek in Köln, wie die von Finanzdienstleistern genutzten KI-Systeme eingestuft werden – und welche Auswirkungen das auch für Vermittler hat.

Herr Keppeler, was ist grundsätzlich das Ziel des AI Acts?

Lutz Martin Keppeler: Die EU möchte versuchen, KI mit einem risikobasierten Ansatz zu regulieren. Daher differenziert die Verordnung KI-Anwendungen in vier verschiedene Risikostufen. KI-Modelle, die als riskant für die Sicherheit, den Lebensunterhalt und die Rechte von Menschen ange­sehen werden, sind verboten. Daneben gibt es Hochrisiko-KI-Systeme, KI-Anwendungen mit begrenztem Risiko und solche mit keinem oder minimalem Risiko. Eine Hochrisiko-KI ist nicht verboten, es gibt aber viele Anforderungen an Hersteller und Nutzer. Sie müssen hohe Standards bei den Sorgfaltspflichten, der Überwachung und der Dokumentation der Systeme einhalten. Bei Systemen mit begrenztem Risiko gibt es insbesondere Transparenzverpflichtungen, bei den übrigen lediglich eine Informationspflicht.

In welche Kategorie fallen Systeme, die die Finanzbranche und somit Finanz- und ­Versicherungsvermittler nutzen? Ist das schon klar?

Keppeler: Hier muss man zwischen KI-Tools unterscheiden, die spezifisch und die nicht spezifisch für die Branche sind. Bei der ersten Gruppe existiert derzeit keine verbotene KI und nur drei Arten von Anwendungen, die als Hochrisiko-KI gelten, die typischerweise durch die Finanzbranche genutzt werden: Systeme, die für die Kreditwürdigkeitsprüfung und Bonitätsbewertung genutzt werden, sowie Tools für die Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen. Die übrigen sind Systeme mit begrenztem oder minimalem Risiko, sodass es nur Transparenzpflichten gibt. Das kann sich aber alles noch ändern.

Warum wurden nur diese drei Arten von Systemen als Hochrisiko-KI eingestuft? Und wieso kann sich das ändern?

Keppeler: Die Einordnung in die verschiedenen Stufen richtet sich nach dem potenziellen ­Risiko, das mit dem Einsatzbereich der KI einhergeht. Wichtig für die Einstufung in der Praxis ist, dass alle Systeme, die nicht verboten oder hochriskant sind, automatisch in eine der anderen Kategorien fallen. Die Vorgaben zur Einordnung als verbo­tene oder hochriskante KI sind aber sehr komplex – und lassen Raum dafür, dass ­eine KI je nach Nutzungszweck auch als Nicht-Hochrisiko-System eingestuft werden kann. Dazu müsste ich ausholen.

Gern!

Keppeler: Dreh- und Angelpunkt ist Artikel 6 des AI Acts. Absatz 1 verweist auf bestehende EU-Verordnungen für bestimmte Produkte, die in der EU erlaubt sind. Wenn ein solches Produkt oder ein Teil davon nach Einschätzung des Herstellers eine Sicherheitskomponente hat, die KI nutzt, dann gilt diese KI als Hochrisikoanwendung. Unter den gelisteten Verordnungen ist aber keine, die im Finanzsektor typischerweise eine Rolle spielt. Wichtiger ist daher der zweite Absatz, der auf eine Liste mit Hochrisiko-KI in Anhang III des Acts verweist. Die Auswahl dieser ­Systeme basiert darauf, dass sie nach Auf­fassung der EU-Kommission die Grundrechte einer Person betreffen, sie müssen ­also stärker kontrolliert werden.

Und der Anhang III listet nur die drei genannten Systeme für die Finanzwirtschaft auf?

Keppeler: Genau. Andere KI-Systeme, etwa zur Risikoeinstufung zwecks Investments, sind nicht genannt, gelten dem Wortlaut der Verordnung folgend nicht als hochriskant. Wie aber schon angedeutet, ist auch die Einstufung der drei genannten Systeme nicht fix. Der dritte Absatz von Artikel 6 benennt Ausnahmen, wobei der Einsatzzweck entscheidend ist. Eine Ausnahme greift etwa, wenn die KI das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessert. Das heißt: Eine KI zur Kreditvergabe, deren Ergebnisse von Menschen geprüft werden, gilt nicht als Hochrisiko-KI.

Wer entscheidet, welche Verordnungen in Artikel 6 Absatz 1 genannt werden oder welche KI in Anhang III gelistet werden?

Keppeler: Die EU-Kommission. Die Behörde will ­unter anderem weitere Beispiele für Hochrisiko-KI nennen.

Und wer legt die Ausnahmen fest?

Keppeler: Bei den Ausnahmen haben die zuständigen nationalen Behörden das letzte Wort – nur gibt es noch keine KI-Behörde in Deutschland. Ultimativ müssen die Gerichte entscheiden, in letzter Instanz der Europäische Gerichtshof. Sie müssen sich den AI Act als eine grüne Wiese vorstellen: Es gibt keine Gesetze oder Rechtsprechung, auf denen man aufbauen kann. Bei der ­Datenschutzgrundverordnung gab es schon Datenrecht. Das ist natürlich misslich, weil sich die Unternehmen vorbereiten und all ihre KI prüfen und einstufen müssen. Dafür haben sie nur begrenzt Zeit, für Hochrisikosysteme müssen die Anforderungen zwei Jahre nach Inkrafttreten des AI Acts erfüllt werden, also 2026. Bei Nichtbefolgung drohen empfindliche Geldbußen – das gilt analog auch für die anderen KI-Systeme, die Finanzdienstleister und Vermittler nutzen.

Was ist mit KI, die nicht spezifisch für die Finanzbranche entwickelt wurde?

Keppeler: Das von mir beschriebene Entscheidungsprinzip bleibt gleich. Nicht hochriskant sind etwa ChatGPT oder Chatbots. Für diese gelten laut Artikel 50 Absatz 4 des AI Acts nur diverse Transparenzvorschriften, sprich es muss den Verbrauchern klar sein, dass die Inhalte von ­einer KI erstellt wurden. Bei Marketingsystemen, die die Branche nutzt, ist es schwieriger. Kein genannter Fall aus dem AI Act ist explizit für KI-Systeme zum Marketing einschlägig. Somit besteht in dieser Hinsicht ein etwaiger Auslegungsspielraum. Dagegen fallen KI-Modelle, die beispielsweise in der Personalabteilung zur Bewertung der Leistung von Mitarbeitern genutzt werden können, unter hochriskante Systeme.

Wir danken für das Gespräch. (jb)