AI-Act neuer „Regulatorikhammer” für Finanzinstitute

Die Dis­kus­si­on in der Gesell­schaft um die siche­re und ver­trau­ens­wür­di­ge Nut­zung künst­li­cher Intel­li­genz (im Fol­gen­den kurz AI – Arti­fi­ci­al Intel­li­gence) hat in den letz­ten Mona­ten deut­lich Fahrt aufge­nommen. Durch die ein­fa­che Ver­füg­bar­keit insb. von gene­ra­ti­ver AI z. B. in Form von ChatGPT und deren gewoll­ter oder unge­woll­ter Nut­zung durch Mit­ar­bei­ten­de erge­ben sich unmit­tel­bar rele­van­te Aus­wir­kun­gen auf die Finanzinstitute.

Rechtsrahmen

Als regu­la­to­ri­scher Rah­men wur­de nun als Ergeb­nis einer über meh­re­re Jah­re geführ­ten Mei­nungs­bil­dung sei­tens des Euro­päi­schen Par­la­ments der soge­nann­te AI-Act beschlossen.

Eine Ver­ab­schie­dung durch den Euro­päi­schen Rat steht noch aus. Danach wird bis Mit­te 2024 die Ver­öf­fent­li­chung der Ver­ord­nung im Amts­blatt der EU erwar­tet. 20 Tage nach ihrer Ver­öf­fent­li­chung tritt die Ver­ord­nung bereits in Kraft und ist nach 24 Mona­ten voll­stän­dig anwend­bar. Eini­ge Rege­lun­gen sind sogar bereits vor­ab anzu­wen­den, z. B.:

• Ver­bo­te von AI-Sys­te­men mit inak­zep­ta­blem Risiko
• Regeln für AI-Model­le mit all­ge­mei­nem Ver­wen­dungs­zweck (u. a. gene­ra­ti­ve AI-Systeme)

Eine Not­wen­dig­keit für die spe­zi­fi­sche Über­füh­rung der EU-Ver­ord­nung in deut­sches Recht ist nicht erkenn­bar, somit gilt es, sich auf die Gül­tig­keit und Anwend­bar­keit bereits ab Ende 2024 bzw. Mit­te 2025 vorzubereiten.

Sei­tens der EU wird durch den ver­ab­schie­de­ten AI-Act eine all­ge­mein­gül­ti­ge Defi­ni­ti­on von AI ange­strebt, die technologie­neutral und damit zukunfts­fä­hig ist. Die Ver­ord­nung basiert u. a. auf dem „Weiß­buch zur Künst­li­chen Intel­li­genz – ein euro­päi­sches Kon­zept für Exzel­lenz und Ver­trau­en“ der Euro­päi­schen Kom­mis­si­on vom Febru­ar 2020 und folgt damit den Leit­li­ni­en einer hoch­rangigen Exper­ten­grup­pe, aus denen wesent­li­che regu­la­to­ri­sche Anfor­de­run­gen abge­lei­tet wurden:

Auswirkungen auf Finanzinstitute

Für die Finanz­wirt­schaft (wie natür­lich auch ande­re Bran­chen) ergibt sich dar­aus unmit­tel­bar ein Span­nungs­feld zwi­schen Erwar­tun­gen und Mög­lich­kei­ten auf der einen Sei­te sowie neu­en, kurz­fris­tig gül­ti­gen, regu­la­to­ri­schen Vor­ga­ben auf der ande­ren Sei­te. Für die Insti­tu­te ist es essen­zi­ell, sehr schnell eine Balan­ce zu fin­den, die vor allem markt­li­chen Erfolg, Effi­zi­enz­ge­win­ne, regu­la­to­ri­sche Kon­for­mi­tät und Mit­ar­bei­ten­den Zufrie­den­heit syn­chro­ni­siert und Druck­punk­te durch regu­la­to­rik­kon­for­me prag­ma­ti­sche Lösun­gen und Struk­tu­ren auffängt.

Es ist zeit­na­he Vor­sor­ge zu tref­fen, sofort ab Gül­tig­keit der Ver­ord­nung hand­lungs­fä­hig zu sein. Auf­ein­an­der auf­bau­en­de Maß­nah­men zur Errei­chung der Kon­for­mi­tät zum AI-Act sind je nach Art und Umfang der schon vor­han­de­nen oder geplan­ten AI-Nut­zung im Insti­tut zu ergrei­fen. Hier­zu ist ein schritt­wei­ses Vor­ge­hen zu emp­feh­len, wobei die Maß­nah­men 1 und 2 unver­züg­lich auf­ge­setzt wer­den sollten:

In der Infor­ma­tik ist kei­ne ein­deu­ti­ge und auch prag­ma­tisch anwend­ba­re Defi­ni­ti­on von AI auf­zu­fin­den. Es ist daher zu emp­feh­len, im Rah­men der 1. Maß­nah­me zunächst intern eine robus­te Defi­ni­ti­on für „künst­li­che Intel­li­genz“ zu ver­ein­ba­ren, also im Insti­tut fest­zu­le­gen, wie die Abgren­zung eines AI-Sys­tems zu her­kömm­li­cher Soft­ware erfol­gen soll.

Mög­li­che Cha­rak­te­ris­ti­ken könn­ten sein:

Dar­auf auf­bau­end sind dann im Rah­men 2. Maß­nah­me der Port­fo­lio-Bewer­tung die wesent­li­chen Unter­schei­dun­gen von AI-Sys­te­men nach Risi­ko­ka­te­go­rien gemäß den Rege­lun­gen des AI-Acts her­an­zu­zie­hen. Die Ver­ord­nung beinhal­tet aus­führ­li­che Vor­ga­ben und Rege­lun­gen für drei von vier Risikokategorien:

Da an die­ser Stel­le nicht sämt­li­che Details der Vor­ga­ben und Rege­lun­gen wie­der­ge­ge­ben wer­den kön­nen, sol­len nur zwei Punk­te exem­pla­risch her­aus­ge­ho­ben werden.

(1) Verbotene Praktiken

• Ver­bo­te­ne Prak­ti­ken von AI-Sys­te­men gem. Arti­kel 5 sind u. a.:
  • (1)c) „[…] zur Bewer­tung oder Ein­stu­fung von natür­li­chen Per­so­nen oder Grup­pen von Per­so­nen über einen bestimm­ten Zeit­raum auf der Grund­la­ge ihres sozia­len Ver­hal­tens oder bekann­ter, abge­lei­te­ter oder vor­her­ge­sag­ter per­sön­li­cher Eigen­schaf­ten oder Per­sön­lich­keits­merk­ma­le, wobei die sozia­le Bewer­tung zu einem oder bei­den der fol­gen­den Ergeb­nis­se führt:
  • […] ii) Schlech­ter­stel­lung oder Benachteiligung“
• Dar­aus ergibt sich ins­be­son­de­re die Not­wen­dig­keit, eine gro­ße Vor­sicht und Sorg­falt bereits in der Design­pha­se bei Ablei­tung von Merk­ma­len als Basis von entscheidungs­relevanten Kri­te­ri­en wal­ten zu las­sen, um nicht doch in den Bereich ver­bo­te­ner Prak­ti­ken zu gelangen.

(2) Einstufung von AI-Systemen als Hochrisiko-Systeme

• Kri­te­ri­en der Ein­stu­fung gem. Arti­kel 6 + Anhang III u. a.:
  • Zweck, Nut­zungs­aus­maß, Art/Umfang ver­wen­de­ter Daten, Grad der Auto­no­mie und mensch­li­che Eingriffswege
  • Scha­dens­wahr­schein­lich­keit u. –aus­maß, Kor­ri­gier­bar­keit, Nützlichkeit
  • Immer „Hoch­ri­si­ko“, wenn Pro­fil­ing natür­li­cher Personen
  • Beson­de­re Qua­li­täts­kri­te­ri­en für Trainings‑, Vali­die­rungs- und Testdatensätze
• Als Hoch­ri­si­ko-KI-Sys­te­me gemäß Arti­kel 6 Absatz 2 sind expli­zit benannt:
  • „Kre­dit­wür­dig­keits­prü­fung und Kre­dit­punk­te­be­wer­tung natür­li­cher Personen“
  • „Risi­ko­be­wer­tung und Preis­bil­dung in Bezug auf natür­li­che Per­so­nen im Fall von Kran­ken- und Lebensversicherungen“

Bei der Ein­stu­fung einer IT-Lösung als Hoch­ri­si­ko-Sys­tem sind unmit­tel­bar umfang­rei­che Regu­la­ri­en zu beach­ten. Neben dem Auf­bau eines Risiko­mana­gementsystem sind For­ma­lia wie EU-Regis­trie­rung, EU-Kon­for­mi­täts­er­klä­rung, CE-Kenn­zeich­nung, Bar­rie­re­frei­heit, 10 Jah­re Doku-Auf­be­wah­rung umzu­set­zen. Die Umset­zung nach Stand KI-Tech­nik, mit Ereig­nis­pro­to­kol­lie­rung im gesam­ten Lebens­zy­klus, ist nach­zu­wei­sen. Tes­ten ist ver­pflich­tend anhand vor­ab fest­ge­leg­ter Para­me­ter und pro­ba­bi­lis­ti­scher Schwellenwerte.

Vor allem ist eine wirk­sa­me mensch­li­che Auf­sicht zu ermög­li­chen mit Eingriffs­möglichkeiten (Ergeb­nis nicht ver­wen­den, Sys­tem stop­pen, …). Eine unkon­trol­lier­te auto­ma­ti­sier­te Nut­zung von Ergeb­nis­sen einer AI-Lösung mit Aus­wir­kun­gen auf natür­li­che Per­so­nen wird nicht statt­haft sein.

Wei­ter­hin ist eine hohe fach­li­che und tech­ni­sche Wider­stands­fä­hig­keit zu imple­men­tie­ren und durch tech­ni­sche und orga­ni­sa­to­ri­sche Maß­nah­men abzusichern.

ban­kon unter­stützt Groß- und Lan­des­ban­ken, Spar­kas­sen und Genos­sen­schafts­ban­ken bei der Wei­ter­ent­wick­lung ihrer IT- und Pro­zess­land­schaft. Aus den Rege­lun­gen des AI-Acts erge­ben sich beson­de­re zu beach­ten­de Anfor­de­run­gen an die Art und Wei­se, IT-Lösun­gen auf Basis von AI-Tech­no­lo­gie zu ent­wer­fen, umzu­set­zen und zu betreiben.

ban­kon ver­fügt zusam­men mit sei­nen Koope­ra­ti­ons­part­nern über die erfor­der­li­che prak­ti­sche Exper­ti­se in der Ent­wick­lung und Ein­füh­rung von AI-Tech­no­lo­gie­ba­sier­ten Lösun­gen. Dar­über hin­aus besit­zen ban­kon-Bera­ter die erfor­der­li­chen tech­no­lo­gi­schen, bank­fach­li­chen und regu­la­to­ri­schen Kennt­nis­se, die es ermög­li­chen, die auf­grund des AI-Acts grund­sätz­lich not­wen­dig gewor­de­nen Anpas­sun­gen der Gover­nan­ce- und Com­pli­ance-Struk­tu­ren der Insti­tu­te vor­zu­be­rei­ten und umzusetzen.

Pro­fi­tie­ren Sie von der Exper­ti­se unse­rer ban­kon Bera­ter bei der regu­la­to­rik­kon­for­men Erwei­te­rung Ihrer IT-Lösungs­land­schaft auf Basis von künst­li­cher Intel­li­genz. Spre­chen Sie uns an.

ban­kon Manage­ment Con­sul­ting GmbH & Co. KG
Max-Planck-Str. 8
85609 Aschheim/München
Tel.: (089) 99 90 97 90
Fax: (089) 99 90 97 99
Web: https://​www​.ban​kon​.de
E‑Mail: research@bankon.de