Alle Beiträge dieses Dialogs

„Der Auftrag lautet Überwachung von KI-Systemen und nicht Unternehmensaufsicht."

Jens Obermöller

Leitung Cyberrisiken & Technologie Bafin

Aus dem Einsatz von künstlicher Intelligenz entstehen erhebliche Chancen für die Finanzbranche. KI kann etwa große Datenmengen schneller und teilweise in Echtzeit auswerten. Dadurch können transaktionsbasierte Betrugsversuche besser oder Cyberrisiken und verdächtige Aktivitäten früher erkannt werden. Durch KI entstehen zwar keine gänzlich neuen Risiken; allerdings werden bestehende Risiken verstärkt. Dies betrifft insbesondere Modellrisiken, aber auch Abhängigkeiten von externen Anbietern. Zugleich gewinnt die IKT- und Cybersicherheit an Bedeutung, da der Einsatz von KI neue Angriffsflächen schaffen und bestehende Angriffsvektoren verstärken kann.

Finanzunternehmen müssen daher prüfen, ob ihre bestehenden Kontrollmechanismen und ihr Risikomanagement einen sicheren Einsatz von KI gewährleisten. Gegebenenfalls müssen sie ihre Prozesse dort anpassen, wo diese der Komplexität der KI-Systeme nicht mehr gerecht werden. Für modellbezogene Risiken bestehen bereits etablierte Anforderungen aus der Finanzmarktregulierung, etwa aus den allgemeinen Anforderungen an das Risikomanagement und interne Kontrollsysteme. Für den Umgang mit IKT-Risiken und die Stärkung operationeller Resilienz bildet der Digital Operational Resilience Act (DORA) der EU eine gute Grundlage. Angesichts der zunehmenden Komplexität von KI-Systemen gilt es, diese Anforderungen konsequent anzuwenden und weiterzuentwickeln, insbesondere mit Blick auf eine belastbare Datenqualität, die Erklärbarkeit der Ergebnisse und eine fortlaufende Evaluierung möglicher Nachteile für Verbraucher.

Darüber hinaus schafft die am 1. August 2024 in Kraft getretene und stufenweise anwendbare horizontale KI-Verordnung einen unionsweit einheitlichen regulatorischen Rahmen für die Entwicklung und den Einsatz von KI.

Was die KI-Verordnung leisten soll

Die sektorübergreifende KI-Verordnung ergänzt die bestehende Finanzmarktregulierung. Sie soll im Einklang mit Grundrechten die Verbreitung von vertrauenswürdiger KI fördern. Die Bafin wurde am 29. Juli 2026 als zuständige Marktüberwachungsbehörde für den Finanzsektor benannt. Daraus folgt ein doppelter Auftrag: Innovation ermöglichen und zugleich darauf hinwirken, dass Menschen durch den Einsatz von KI nicht benachteiligt werden. Transparenz, Diskriminierungsfreiheit und ein wirksames Risikomanagement sind dabei die zentralen Themen. Entscheidend ist zugleich, dass der KI-Einsatz nicht mit einer Verlagerung jeglicher Entscheidungsverantwortung auf technische Systeme einhergeht.

Die Zuständigkeit und der Auftrag der Bafin sind klar

Die Bafin überwacht, ob die von ihr beaufsichtigten Finanzunternehmen die KI-Verordnung einhalten. Ihr Mandat umfasst dabei die Überwachung von KI-Systemen, die in direktem Zusammenhang mit einer regulierten Finanztätigkeit stehen – also mit Geschäften, für die Unternehmen eine Erlaubnis der Bafin benötigen. Die Bafin konzentriert sich auf das, was mit ihrem Kernmandat zusammenhängt. Dazu gehören zum Beispiel KI-Systeme zur Kreditwürdigkeits- oder Bonitätsprüfung, KI-gestützte Anlageberatung sowie KI-Chatbots und virtuelle Assistenten in der Kundenkommunikation.

Der Auftrag lautet Überwachung von KI-Systemen und nicht Unternehmensaufsicht. Das ist ein wesentlicher Unterschied zur klassischen Finanzdienstleistungsaufsicht, die von der umfassenden Kontrolle des Marktzugangs, der laufenden Aufsicht über zugelassene Marktteilnehmer bis zum Marktaustritt reicht. Die Bafin prüft bei KI-Systemen stichprobenartig sowie anlass- und hinweisgetrieben, ob diese den Anforderungen der KI-Verordnung entsprechen. Damit folgt die KI-Überwachung einem Ansatz, der im europäischen Produktsicherheitsrecht etabliert ist: Die Verantwortung für die Konformität liegt beim Anbieter beziehungsweise beim Betreiber des KI-Systems. Die Bafin überwacht die Einhaltung der Anforderungen nachgelagert.

Wie sich die KI-Verordnung auf Finanzunternehmen auswirkt

Die gute Nachricht ist: Die Finanzunternehmen müssen das Thema KI nicht isoliert betrachten. Die KI-Verordnung lässt sich vielfach in bestehende Governance-, Risiko- und Compliance-Strukturen einbetten. Dadurch entstehen Synergien: Bestehende Prozesse zur Identifizierung, Bewertung, Steuerung und Überwachung von Risiken können – ergänzt um die spezifischen Anforderungen für KI-Systeme – als Grundlage für die Umsetzung der KI-Verordnung dienen. Wer bislang gut aufgestellt ist, sollte mit überschaubarem Aufwand auf die neuen Anforderungen vorbereitet sein. Voraussetzung ist, dass die erforderliche KI-Kompetenz im Unternehmen vorhanden ist. Beschäftigte und die für den Einsatz von KI verantwortlichen Funktionäre müssen über ein ausreichendes Verständnis der Funktionsweise, der Chancen und der Risiken von KI-Systemen verfügen. Dies erfordert angemessene und auf die jeweiligen Aufgaben und Verantwortlichkeiten zugeschnittene Schulungsmaßnahmen.

Die KI-Verordnung ist bewusst risikobasiert: Je höher das Risiko, desto strenger die Regeln. Bestimmte Anwendungen, von denen ein unannehmbares Risiko für Menschen und ihre Grundrechte ausgeht, sind gänzlich verboten. Dazu gehören etwa Social Scoring oder Systeme, die eine wirtschaftliche Notlage ausnutzen, um das Verhalten der Betroffenen zu ihrem erheblichen Nachteil zu verändern. Viele der Anforderungen, die sich daraus für Finanzunternehmen ergeben, knüpfen dabei an bestehende regulatorische Erwartungen an. So müssen Finanzunternehmen nicht erst seit der KI-Verordnung ein hinreichendes Verständnis davon haben, wie Daten und Modelle in unternehmerischen Entscheidungen zusammenwirken. Das ist bereits heute Aufgabe eines angemessenen Modellrisikomanagements und damit Bestandteil einer ordnungsgemäßen Geschäftsorganisation. Dazu gehört auch, dass Finanzunternehmen den Datenbedarf ihrer Systeme begründen können und prüfen, ob zum Beispiel für den jeweiligen Zweck eine Verarbeitung von sensiblen Kundendaten tatsächlich erforderlich ist.

Ein gemeinsames Verständnis zum vertrauensvollen Umgang mit KI

Der Austausch mit der Finanzbranche ist und bleibt für die Bafin wichtig. Die Bafin bietet dafür verschiedene Formate an, etwa den AI-Roundtable. Seit 2023 diskutiert die Bafin hier gemeinsam mit Vertreterinnen und Vertretern der Kredit- und Versicherungswirtschaft, der Deutschen Bundesbank, des BSI und der Bundesnetzagentur über Chancen und Risiken von KI. Darüber hinaus nutzt die Bafin Fachaustausche und externe Veranstaltungen, um gemeinsam mit den Finanzunternehmen Erfahrungen für die KI-Marktüberwachung zu gewinnen, Erkenntnisse zu teilen und den Blick für mögliche Auffälligkeiten und Risiken zu schärfen.