AI-Act neuer „Regulatorikhammer” für Finanzinstitute

Die Diskussion in der Gesellschaft um die sichere und vertrauenswürdige Nutzung künstlicher Intelligenz (im Folgenden kurz AI – Artificial Intelligence) hat in den letzten Monaten deutlich Fahrt aufgenommen. Durch die einfache Verfügbarkeit insb. von generativer AI z. B. in Form von ChatGPT und deren gewollter oder ungewollter Nutzung durch Mitarbeitende ergeben sich unmittelbar relevante Auswirkungen auf die Finanzinstitute.

Rechtsrahmen
Als regulatorischer Rahmen wurde nun als Ergebnis einer über mehrere Jahre geführten Meinungsbildung seitens des Europäischen Parlaments der sogenannte AI-Act beschlossen.

Abbildung 1: Deutscher Titel des AI-Act

Eine Verabschiedung durch den Europäischen Rat steht noch aus. Danach wird bis Mitte 2024 die Veröffentlichung der Verordnung im Amtsblatt der EU erwartet. 20 Tage nach ihrer Veröffentlichung tritt die Verordnung bereits in Kraft und ist nach 24 Monaten vollständig anwendbar. Einige Regelungen sind sogar bereits vorab anzuwenden, z. B.:

• Verbote von AI-Systemen mit inakzeptablem Risiko
• Regeln für AI-Modelle mit allgemeinem Verwendungszweck (u. a. generative AI-Systeme)

Eine Notwendigkeit für die spezifische Überführung der EU-Verordnung in deutsches Recht ist nicht erkennbar, somit gilt es, sich auf die Gültigkeit und Anwendbarkeit bereits ab Ende 2024 bzw. Mitte 2025 vorzubereiten.

Abbildung 2: Betroffenheit der Finanzwirtschaft

Seitens der EU wird durch den verabschiedeten AI-Act eine allgemeingültige Definition von AI angestrebt, die technologieneutral und damit zukunftsfähig ist. Die Verordnung basiert u. a. auf dem „Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen“ der Europäischen Kommission vom Februar 2020 und folgt damit den Leitlinien einer hochrangigen Expertengruppe, aus denen wesentliche regulatorische Anforderungen abgeleitet wurden:

Abbildung 3: Leitlinien für den AI-Act

Auswirkungen auf Finanzinstitute
Für die Finanzwirtschaft (wie natürlich auch andere Branchen) ergibt sich daraus unmittelbar ein Spannungsfeld zwischen Erwartungen und Möglichkeiten auf der einen Seite sowie neuen, kurzfristig gültigen, regulatorischen Vorgaben auf der anderen Seite. Für die Institute ist es essenziell, sehr schnell eine Balance zu finden, die vor allem marktlichen Erfolg, Effizienzgewinne, regulatorische Konformität und Mitarbeitenden Zufriedenheit synchronisiert und Druckpunkte durch regulatorikkonforme pragmatische Lösungen und Strukturen auffängt.

Es ist zeitnahe Vorsorge zu treffen, sofort ab Gültigkeit der Verordnung handlungsfähig zu sein. Aufeinander aufbauende Maßnahmen zur Erreichung der Konformität zum AI-Act sind je nach Art und Umfang der schon vorhandenen oder geplanten AI-Nutzung im Institut zu ergreifen. Hierzu ist ein schrittweises Vorgehen zu empfehlen, wobei die Maßnahmen 1 und 2 unverzüglich aufgesetzt werden sollten:

Abbildung 4: Maßnahmen zur Vorbereitung der Konformität

In der Informatik ist keine eindeutige und auch pragmatisch anwendbare Definition von AI aufzufinden. Es ist daher zu empfehlen, im Rahmen der 1. Maßnahme zunächst intern eine robuste Definition für „künstliche Intelligenz“ zu vereinbaren, also im Institut festzulegen, wie die Abgrenzung eines AI-Systems zu herkömmlicher Software erfolgen soll.

Mögliche Charakteristiken könnten sein:

Abbildung 5: Charakteristiken eines AI-Systems

Darauf aufbauend sind dann im Rahmen 2. Maßnahme der Portfolio-Bewertung die wesentlichen Unterscheidungen von AI-Systemen nach Risikokategorien gemäß den Regelungen des AI-Acts heranzuziehen. Die Verordnung beinhaltet ausführliche Vorgaben und Regelungen für drei von vier Risikokategorien:

Abbildung 6: Vier Risikokategorien des AI-Act

Da an dieser Stelle nicht sämtliche Details der Vorgaben und Regelungen wiedergegeben werden können, sollen nur zwei Punkte exemplarisch herausgehoben werden.

(1) Verbotene Praktiken

• Verbotene Praktiken von AI-Systemen gem. Artikel 5 sind u. a.:
  • (1)c) „[…] zur Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Ergebnisse führt:
  • […] ii) Schlechterstellung oder Benachteiligung“
• Daraus ergibt sich insbesondere die Notwendigkeit, eine große Vorsicht und Sorgfalt bereits in der Designphase bei Ableitung von Merkmalen als Basis von entscheidungsrelevanten Kriterien walten zu lassen, um nicht doch in den Bereich verbotener Praktiken zu gelangen.

(2) Einstufung von AI-Systemen als Hochrisiko-Systeme

• Kriterien der Einstufung gem. Artikel 6 + Anhang III u. a.:
  • Zweck, Nutzungsausmaß, Art/Umfang verwendeter Daten, Grad der Autonomie und menschliche Eingriffswege
  • Schadenswahrscheinlichkeit u. –ausmaß, Korrigierbarkeit, Nützlichkeit
  • Immer „Hochrisiko“, wenn Profiling natürlicher Personen
  • Besondere Qualitätskriterien für Trainings‑, Validierungs- und Testdatensätze
• Als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 sind explizit benannt:
  • „Kreditwürdigkeitsprüfung und Kreditpunktebewertung natürlicher Personen“
  • „Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Kranken- und Lebensversicherungen“

Bei der Einstufung einer IT-Lösung als Hochrisiko-System sind unmittelbar umfangreiche Regularien zu beachten. Neben dem Aufbau eines Risikomanagementsystem sind Formalia wie EU-Registrierung, EU-Konformitätserklärung, CE-Kennzeichnung, Barrierefreiheit, 10 Jahre Doku-Aufbewahrung umzusetzen. Die Umsetzung nach Stand KI-Technik, mit Ereignisprotokollierung im gesamten Lebenszyklus, ist nachzuweisen. Testen ist verpflichtend anhand vorab festgelegter Parameter und probabilistischer Schwellenwerte.

Vor allem ist eine wirksame menschliche Aufsicht zu ermöglichen mit Eingriffsmöglichkeiten (Ergebnis nicht verwenden, System stoppen, …). Eine unkontrollierte automatisierte Nutzung von Ergebnissen einer AI-Lösung mit Auswirkungen auf natürliche Personen wird nicht statthaft sein.

Weiterhin ist eine hohe fachliche und technische Widerstandsfähigkeit zu implementieren und durch technische und organisatorische Maßnahmen abzusichern.

bankon unterstützt Groß- und Landesbanken, Sparkassen und Genossenschaftsbanken bei der Weiterentwicklung ihrer IT- und Prozesslandschaft. Aus den Regelungen des AI-Acts ergeben sich besondere zu beachtende Anforderungen an die Art und Weise, IT-Lösungen auf Basis von AI-Technologie zu entwerfen, umzusetzen und zu betreiben.

bankon verfügt zusammen mit seinen Kooperationspartnern über die erforderliche praktische Expertise in der Entwicklung und Einführung von AI-Technologiebasierten Lösungen. Darüber hinaus besitzen bankon-Berater die erforderlichen technologischen, bankfachlichen und regulatorischen Kenntnisse, die es ermöglichen, die aufgrund des AI-Acts grundsätzlich notwendig gewordenen Anpassungen der Governance- und Compliance-Strukturen der Institute vorzubereiten und umzusetzen.