Wenn die KI (Künstliche Intelligenz) Finanzprodukte vermittelt, macht sie das nicht wertfrei. So musste sich zum Beispiel ausgerechnet Steve Wozniak, der Mitgründer des Techkonzerns Apple, mit Genderdiskriminierung durch ein hauseigenes Produkt auseinandersetzen. Der Algorithmus für die "Apple-Card" wies seiner Frau trotz besseren Bonitätsratings und gleichen Vermögenswerten einen vielfach geringeren Kreditrahmen zu als ihm, wie Wozniak im Jahr 2019 klagte.

Auf einen weiteren Fall verweist die Unternehmensberatung ZEB in einer aktuellen Mitteilung: In Finnland verklagte 2018 ein abgewiesener Kredit-Antragsteller seine Bank wegen Diskriminierung. Das Gleichheitstribunal entschied zugunsten des Klägers, unter anderem weil bei der automatisierten Bewertung Merkmale wie Geschlecht, Muttersprache, Alter und Wohnort verwendet worden waren und zu einer Verweigerung der Kreditvergabe geführt hatten.

Richtlinie führt neue Regeln ein – Beweislast bei Anbietern
Probleme wie diese dürften künftig häufiger die Gerichte beschäftigen, so die Experten von ZEB. Grund dafür sei der Vorschlag zu einer KI-Haftungsrichtlinie (2022/0303 COD). Darin will die EU neue Regeln für die Haftung beim KI-Einsatz einführen. Einer der Kernpunkte der Regulierung: Falls KI-Systeme im Verdacht stehen, einen Schaden zu verursachen, könnte nach den neuen Vorgaben die Beweislast beim Finanzinstitut liegen, schreiben die ZEB-Analysten, die auf zwei wesentliche Bestandteile des EU-Vorschlags verweisen.

Zum einen ist das die Kausalitätsvermutung. Sie stellt einen kurzen Weg zwischen der Verletzung einer Sorgfaltspflicht und dem daraus entstandenen Schaden her: Opfer müssen aufzeigen, dass es einen Verstoß gab und dass deshalb "nach vernünftigem Ermessen" wahrscheinlich auch die KI fehlerhaft reagiert hat. Ein Kreditinstitut müsste dann den Nachweis erbringen, dass der Schaden eine andere Ursache hat.

Beweismittelherausgabe – Frage von Geschäftsgeheimnissen
Zweitens will die Regulierung durch den Zwang zur Herausgabe von Beweismitteln mehr Transparenz in die "Blackbox" der Algorithmen bringen. Geschädigte können bei Gericht die Offenlegung von Informationen über "Hochrisiko-KI-Systeme" beantragen. Gemeint sind KI-Systeme mit gravierenden Auswirkungen auf das Leben und Wirken natürlicher Personen, wie etwa Bonitätsprüfungen. Dadurch soll es laut Richtlinienvorschlag möglich sein, eine Person zu identifizieren, die haftbar gemacht werden könnte, und herauszufinden, was zu dem Schaden geführt hat.

Banken und andere Finanzbetriebe die KI einsetzen, müssen sich angesichts dessen mit der Frage auseinandersetzen, inwieweit sie hier Geschäftsgeheimnisse preisgeben müssen. Im Ernstfall sind schließlich sämtliche relevante Beweismittel offenzulegen. "Kommt ein Beklagter dieser Verpflichtung zur Offenlegung nicht nach, wird vermutet, dass dieser gegen eine relevante Sorgfaltspflicht verstoßen hat, womit die erste Voraussetzung für das Inkrafttreten der Kausalitätsvermutung bereits gezeigt wäre", warnen die Analysten von ZEB.

Dokumentation entscheidend
Solchen Problemen kann durch vorausschauende Dokumentation teils der Wind aus den Segeln genommen werden. Denn der Vorschlag zur Regulierung zieht eine Schutzebene ein. Das Maß der Offenlegung soll "erforderlich und verhältnismäßig" sein. Die Frage, wo diese Grenzen liegen, könnten Unternehmen bereits "durch eine durchgängige und präzise Dokumentation der Funktionsweise des KI-Systems und seiner Komponenten" aufgreifen. "Geschäftsgeheimnisse sollten daher klar als solche gekennzeichnet werden, sodass bei einer Offenlegung auch Jahre nach dem Erstellen der Dokumentation keine Institutsinteressen verletzt werden", schreiben die Analysten. (eml)

Service (externe Links):
Überblicksseite der EU über die KI-Haftungsrichtlinie
Vorschlag zur Richtlinie des EU-Parlaments und des Rates vom 28.9.2022