Was die Branche gegen KI-Halluzination tut

KI-Modelle können halluzinieren und diskriminierende Entscheidungen treffen. Bei der Kreditvergabe kann das weitreichende Folgen für die Kunden haben. PLATOW hat nachgefragt, wie die Branche diesem Risiko begegnet.

Künstliche Intelligenz ist nicht vor Fehlern gefeit: Sie kann halluzinieren und mit voller Überzeugung falsche Ergebnisse vortragen. Im laufenden Betrieb können die Modelle durch das Phänomen des Model Drifts schlechter werden, Prognosen ungenauer, wenn die ursprünglichen Trainingsdaten nicht mehr mit aktuellen Daten übereinstimmen. Bei Internetsuchen kann die KI auf Webseiten landen, die verdeckte und schadhafte Anweisungen enthalten. Sie kann Stereotype reproduzieren und Menschen diskriminieren. Und stammt ein Modell von einem externen Anbieter, gleicht es für die Anwender zudem einer Black Box, in deren Funktionsweise die Bank keinen Einblick hat. Gerade bei kritischen Aufgaben wie der Kreditvergabe kann all das weitreichende Folgen für Bankkunden haben.

Unsere These: Banken und Finanzdienstleister stellen noch nicht ausreichend sicher, dass ihre KI-Modelle nicht halluzinieren und diskriminieren. Auch die Haftung muss dringend geklärt werden. 

Was sagt die Branche?

Karlheinz Walch, Leiter des Generaldirektorats Finanzaufsicht bei der Bundesbank: „Banken bauen zwar zunehmend AI-Governance-Strukturen auf, doch Halluzinationen, Bias, Model Drift, Prompt Injection und intransparente Entscheidungen bleiben reale Risiken. Aus Gesprächen mit Banken und IT-Dienstleistern wissen wir, dass es manchen Instituten an operativer Reife und konsequenter Umsetzung fehlt. Gerade deshalb müssen KI-Systeme nach der Bafin-Logik als IKT-Systeme unter DORA behandelt werden. Das heißt, sie sind über den gesamten Lebenszyklus hinweg zu überwachen, zu dokumentieren und müssen erklärbar und auditierbar gemacht werden. Der EU AI Act ergänzt das durch Anforderungen an Risikoklassifizierung, Transparenz und menschliche Aufsicht, insbesondere bei Hochrisiko-Anwendungen wie Kreditentscheidung, Betrugserkennung oder Kundenbewertung. Haftung darf nicht im Modell verschwinden: Es braucht klare Verantwortlichkeiten, belastbare Kontrollprozesse und nachvollziehbare Entscheidungswege. Ohne angemessene Governance wird KI im Finanzsektor nicht zum Vertrauensfaktor, sondern zum Risiko.“

Jens Obermöller, Leiter der Abteilung Cyberrisiken und Technologie im Finanzsektor bei der Bafin: „Die Eindämmung von Diskriminierung und das Management von Modellfehlern sind keine rein KI-spezifischen Anforderungen. Sie gelten für alle Modelle in Banken. Neu ist weniger das Risiko selbst als die erschwerte Beherrschbarkeit: KI-Modelle basieren nicht auf theoretischen Annahmen, sondern leiten Muster aus komplexen Daten ab. Dadurch sind Diskriminierung und Fehler schwerer erkennbar und quantifizierbar. Banken müssen also ihre Sicherheitsmechanismen überprüfen und gegebenenfalls anpassen. Die Haftung bei Fehlern eines KI-Systems ist klar geregelt: Im Innenverhältnis trägt sie das Unternehmen, sofern Beschäftigte nicht vorsätzlich handeln. Im Außenverhältnis gegenüber Verbrauchern bleiben etablierte zivil- und aufsichtsrechtliche Maßstäbe unberührt. Sie werden durch die KI-Verordnung lediglich um KI-spezifische Aspekte ergänzt.“

Stefan Peiß, Risikovorstand bei der KfW: „Viele Institute nutzen externe Sprachmodelle und verbinden sie mit eigenen Daten, Abläufen und Kontrollen. Technisch verteilt sich die Verantwortung damit auf mehrere Ebenen. In Summe bleibt sie aber beim Institut: Wer KI-Ergebnisse nutzt, muss sie prüfen, steuern und verantworten. Dafür braucht es klar abgegrenzte Anwendungsfälle, regelmäßige Prüfungen von Eingaben und Ergebnissen, laufende Überwachung, Dokumentation und menschliche Eingriffsmöglichkeiten. Je sensibler der Einsatz, desto höher müssen die Anforderungen sein. Eine gute Steuerung gehört für jedes Unternehmen zur Grundvoraussetzung für einen verantwortlichen Einsatz von KI.“

Kristina Trink, Chief Risk Officer bei der DKB: „Aus Risikoperspektive ist entscheidend, dass KI keine falsche Bankentscheidung für Kund*innen trifft. Die Anforderungen an Hochrisiko-KI, zum Beispiel in der Kreditprüfung, sind enorm. Der EU AI Act verteilt Pflichten zwischen Anbieter und Betreiber, wir als DKB verfügen über eine eigene KI-Governance. Dabei gilt: KI liefert, Kontrollmechanismen validieren, Menschen verantworten. Für die Antworten ihrer KI trägt die Bank grundsätzlich ebenso Verantwortung wie für Aussagen ihrer Mitarbeiter*innen im Kundenservice.“

Fabian Platzen, Geschäftsführer des Kredit-Start-ups Iwoca Deutschland: „KI kann die Kreditvergabe schneller, effizienter und perspektivisch auch besser machen. Gerade bei KMU-Finanzierungen sind Black-Box-LLM-Modelle aber noch nicht stabil genug für autonome Kreditentscheidungen. Sie können statistisch nicht signifikante Muster fälschlicherweise als entscheidungsrelevant bewerten, mit dem Risiko falscher oder diskriminierender Entscheidungen. Deshalb müssen Modelle laufend getestet werden, Ergebnisse nachvollziehbar und kritische Entscheidungen kontrollierbar bleiben. Gleichzeitig braucht es klare Haftungsregeln: Wer KI in der Kreditentscheidung einsetzt, muss eindeutig die Verantwortung für deren Ergebnisse tragen. Wir setzen daher auf eine Kombination von KI in der Datenstrukturierung und -vorbereitung, Machine Learning in der Datenanalyse sowie Risikobewertung und menschlicher Kompetenz im Underwriting.“

Matthias Lehneis, Senior Manager bei der auf die Finanzbranche spezialisierten Unternehmensberatung Zeb: „Halluzinationen liegen in der Funktionsweise von KI-Sprachmodellen begründet, sie sind also unvermeidlich und lassen sich nicht vollständig eliminieren. Banken sind sich unserer Erfahrung nach dieses Risikos bewusst und gestalten ihre KI-Lösungen zum Beispiel durch Anbindung von Institutswissen und Guardrails so, dass Halluzinationen stark reduziert werden. Ein Restrisiko wird aber bleiben und muss nach Schadenspotential geeignet adressiert werden, zum Beispiel durch menschliche Kontrollen. Hier müssen Institute gegebenenfalls Risikoanalysen klarer in ihre Entwicklungsprozesse integrieren.“  

Redaktion: Sophie Deistler