Die dunkle Seite von KI: Risiken für die Finanzbranche

Die dunkle Seite der KI: Risiken für die Finanzbranche
Künstliche Intelligenz (KI) wird die Finanzbranche verändern, zu enormen Effizienzsteigerungen und innovativen Dienstleistungen führen. Doch die rasante Entwicklung und Implementierung von KI-Technologien birgt auch erhebliche Risiken für Finanzinstitute und Bankkunden.

Künstliche Intelligenz hat das Potenzial, die Finanzbranche grundlegend zu verändern. Von der Automatisierung repetitiver Aufgaben bis hin zur Bereitstellung präziserer Analysen und Vorhersagen – die Möglichkeiten scheinen grenzenlos. Doch mit diesen Chancen gehen auch erhebliche Risiken einher. KI-Systeme können Vorurteile verstärken, Fehlinformationen verbreiten und schwerwiegende Fehlentscheidungen verursachen. In diesem Artikel beleuchten wir die drängendsten Probleme und Bedrohungen, die durch den Einsatz von KI in der Finanzindustrie entstehen.

Voreingenommenheit und Diskriminierung

Eine Gefahr beim Einsatz von KI in der Finanzbranche ist die mögliche Verstärkung von Vorurteilen und Diskriminierung. KI-Systeme, die auf historischen Daten trainiert werden, können bestehende gesellschaftliche Ungleichheiten und Vorurteile reproduzieren und sogar verstärken. Dies kann zu unfairen Kreditentscheidungen, Versicherungsbewertungen oder Anlageempfehlungen führen, die bestimmte Bevölkerungsgruppen systematisch benachteiligen.

Beispielsweise können Daten zur Kreditwürdigkeit historische Diskriminierungsmuster fortführen, wenn bestimmte Gruppen in der Vergangenheit systematisch benachteiligt wurden. Wenn ein KI-Modell mit solchen Daten trainiert wird, könnte es diese Voreingenommenheit in zukünftige Kreditentscheidungen übernehmen. Menschen mit bestimmten ethnischen Hintergründen oder aus bestimmten Wohngegenden könnten schlechtere Kreditbewertungen erhalten, obwohl ihre finanzielle Situation vergleichbar mit der anderer Antragsteller ist.

Ein Beispiel für Voreingenommenheit durch KI ist ein von Apple und Goldman Sachs verwendeter Algorithmus zur Beurteilung von Kreditkartenanträgen. Obwohl das Geschlecht nicht explizit als Eingabevariable berücksichtigt wurde, entwickelte das Modell offenbar indirekte Indikatoren für das Geschlecht und traf dadurch verzerrte Kreditentscheidungen, die Frauen systematisch benachteiligten, indem ihnen niedrigere Kreditlimits angeboten wurden als Männern.

Finanzinstitute müssen daher sicherstellen, dass ihre KI-Modelle auf diversen und repräsentativen Datensätzen trainiert werden und regelmäßige Audits durchführen, um Verzerrungen zu identifizieren und zu korrigieren. Dabei ist es wichtig, dass Entwicklungsteams selbst divers zusammengesetzt sind, um verschiedene Perspektiven einzubringen und potenzielle Diskriminierungen frühzeitig zu erkennen. Einige Ansätze umfassen die Verwendung von „Less Discriminatory Alternative“ (LDA) Modellen, die darauf abzielen, Diskriminierung zu reduzieren. Auch die Einbeziehung von Cash-Flow-Analysen anstelle traditioneller Kreditscoring-Methoden könnte helfen, fairere Kreditentscheidungen zu treffen.

Mangelnde Erklärbarkeit und Transparenz

Die Problematik der algorithmischen Diskriminierung wird durch die Tatsache verschärft, dass die Entscheidungsprozesse von KI-Systemen oft intransparent sind. Dies bedeutet, dass es schwierig ist, nachzuvollziehen, wie eine bestimmte Entscheidung zustande gekommen ist, was die Identifizierung und Korrektur von Verzerrungen erschwert. Insbesondere Systeme Neuronaler Netze, die dem Maschinellen Lernen zugrunde liegen, sind de facto noch eine „Black Box“ – ihre Entscheidungen können nicht erklärt werden.

Foundation Model Transparency Index (FMTI), Total Scores, May 2024
Quelle: Bommasani and Klyman et al., „The Foundation Model Transparency Index v1.1,“ May 2024 (https://crfm.stanford.edu/fmti/paper.pdf).

Diese Erklärbarkeit ist sowohl für Banken als auch deren Kunden und insbesondere für Regulierungsbehörden wichtig, um eine „End-to-End“-Erklärbarkeit von Modellen zu gewährleisten. Der jüngste Vorstoß der Europäischen Union, der EU AI Act fordert daher, dass KI-Systeme transparent und erklärbar sein müssen. Anbieter von als hochriskant eingestuften KI-Systemen (dazu zählen u.a. KI-Systeme zur Bewertung der Kreditwürdigkeit von Personen oder für Risikobewertungen und Preisgestaltung in der Lebens- und Krankenversicherung) müssen genügend Informationen bereitstellen, damit der Einsatz nachvollziehbar ist und Entscheidungen des Systems erklärt werden können.

Für diese als hochriskant klassifizierten KI-Systeme gelten strenge Anforderungen hinsichtlich Risikomanagement, Datenqualität, menschlicher Aufsicht, Genauigkeit, Robustheit und Cybersicherheit.

Um das Vertrauen von Kunden und Aufsichtsbehörden zu gewinnen, ist es für Finanzinstitute daher entscheiden, in die Entwicklung erklärbarer KI-Systeme investieren, die klare Begründungen für ihre Entscheidungen liefern können. Nur so lässt sich die von Regulierern geforderte Transparenz herstellen.

Fehlinformationen und Halluzinationen

When questioned, an AI model lacks the ability to discern its knowledge boundaries (i.e., identify what it knows and does not know). In moments of pressure to respond, the AI model generates output not grounded in facts. This could be due to reasoning limitations or insufficient training data on the subject. This phenomenon is referred to as hallucination. – BIN REN, FOUNDER AND CEO, SIGTECH

KI-Modelle können erstaunlich gut argumentieren und Fragen beantworten, neigen aber auch dazu, Fakten frei zu erfinden und falsche Informationen zu generieren – sie fangen an zu „halluzinieren“. KI-Halluzinationen treten auf, wenn KI-Modelle falsche oder irreführende Ausgaben erzeugen. Dies ist das Ergebnis von Überanpassung (Overfitting), bei der das KI-Modell die Trainingsdaten so gut lernt, dass es bei neuen, unbekannten Daten beginnt, „Dinge zu erfinden“.

Neuronale Netze tragen durch ihre inhärente Struktur und Funktionsweise zur Erzeugung halluzinierter Ausgaben bei, insbesondere durch Überanpassung und Generalisierung. Diese Halluzinationen können zu erheblichen Konsequenzen führen, von der Verbreitung von Fehlinformationen bis hin zu ernsthaften Fehlentscheidungen in kritischen Anwendungen

Es gibt zahlreiche Beispiele für fehlgeschlagene KI-Experimente aufgrund von Halluzinationen:

  • Microsofts Chatbot Tay sendete rassistische und sexuell aufgeladene Nachrichten, nachdem er mit Benutzern interagiert hatte.
  • Forscher stellten fest, dass Google Flu Trends, ein KI-gestütztes Tool zur Vorhersage von Grippewellen anhand von Suchanfragen, häufig ungenaue Prognosen lieferte und die Schwere von Grippesaisons überschätzte.
  • Metas Galactica, ein großes Sprachmodell für die Wissenschaft, produzierte voreingenommene oder falsche Aussagen mit gefälschten Zitaten, in sehr selbstbewusstem Ton.
  • Amazons experimenteller Einstellungsalgorithmus bevorzugte Männer gegenüber Frauen für technische Jobs.

Für Finanzinstitute bergen solche „Halluzinationen“ ein großes Risiko, Künstliche Intelligenz in ihre Geschäftsanwendungen zu integrieren. Vor allem weil Fehler der KI durchaus auch finanzielle Folgen haben können, wie das Beispiel der Fluggesellschaft Air Canada zeigt, die einem Passagier eine Rückerstattung gewähren musste, nachdem ihr Bot ihm fälschlicherweise einen Rabatt versprochen hatte.

Um Halluzinationen zu mindern, müssen KI-Modelle dazu gebracht werden, Quellenangaben zu liefern, die dann automatisch mit diesen Quellen abgeglichen werden, um die Richtigkeit der Informationen zu bestätigen. Es ist besser, dass ein KI-System zugibt, etwas nicht zu wissen, als unverifizierbare Informationen zu liefern. Darüber hinaus hilft es, das Modell auf spezifische Dokumente und aktuelle Ereignisse zu fokussieren, um das Risiko von Fehlern zu minimieren.

Eine Studie der Hochschule Mainz hat gezeigt, dass KI-generierte Inhalte oft als genauso glaubwürdig oder sogar glaubwürdiger wahrgenommen werden als von Menschen erstellte Inhalte. Bestehende Erkennungsmodelle haben jedoch noch Schwierigkeiten, KI-generierte Fehlinformationen zuverlässig zu identifizieren. Nur durch eine Kombination aus technischer Exzellenz, strengen Überprüfungsprozessen und klarer regulatorischer Aufsicht kann sichergestellt werden, dass die Vorteile der KI-Technologie genutzt werden, ohne die Integrität und Stabilität der Finanzbranche zu gefährden.

AI-Deepfakes

Die rasante Verbreitung von Deepfakes, die durch fortschrittliche KI-Technologien ermöglicht wird, stellt eine erhebliche Bedrohung für die Finanzindustrie dar. Deepfakes sind hyperrealistische gefälschte Videos, Bilder oder Audiodateien, die mithilfe von künstlicher Intelligenz erstellt werden und oft schwer von echten Aufnahmen zu unterscheiden sind. Diese Technologie kann für eine Vielzahl bösartiger Zwecke missbraucht werden, darunter Betrug, Rufschädigung, Erpressung und die Verbreitung von Fehlinformationen.

In der Finanzindustrie können Deepfakes dazu verwendet werden, um betrügerische Transaktionen durchzuführen, indem sie die Identität von Bankmitarbeitern oder Kunden imitieren. Dies kann zu erheblichen finanziellen Verlusten führen, wie der Fall eines Unternehmens in Hongkong zeigt, das 23 Millionen Euro verlor, nachdem ein Mitarbeiter durch eine Deepfake-Videoanruf getäuscht wurde, der vorgab, der CFO des Unternehmens zu sein. Die Bedrohung durch Deepfakes wird durch die zunehmende Verfügbarkeit und Erschwinglichkeit der Technologie noch verstärkt, was es Kriminellen erleichtert, solche Täuschungen durchzuführen.

Um die Verbreitung und die Auswirkungen von Deepfakes zu bekämpfen, ist die Sensibilisierung und Schulung der Mitarbeitenden von entscheidender Bedeutung, um das Bewusstsein für die Gefahren von Deepfakes zu schärfen und die Fähigkeit zur Erkennung solcher Fälschungen zu verbessern. Unternehmen sollten auch  Technologien wie die Blockchain nutzen, um die Authentizität von Dokumenten zu verifizieren und sicherzustellen, dass sie nicht manipuliert wurden.

Fazit

Die Implementierung von Künstlicher Intelligenz in der Finanzindustrie bietet enorme Chancen, bringt jedoch auch erhebliche Risiken mit sich. Um diese Herausforderungen zu meistern, ist ein ganzheitlicher Ansatz erforderlich, der technologische Innovation mit ethischen Richtlinien und regulatorischer Aufsicht verbindet.

Finanzinstitute müssen in die Entwicklung sicherer, erklärbarer und fairer KI-Systeme investieren. Gleichzeitig sind Regulierungsbehörden gefordert, flexible und zukunftsorientierte Rahmenwerke zu schaffen, die Innovation ermöglichen, aber auch die Stabilität und Integrität des Finanzsystems schützen. Nur durch einen verantwortungsvollen und umsichtigen Umgang mit KI-Technologien kann die Finanzbranche die Vorteile dieser transformativen Technologie nutzen und gleichzeitig potenzielle Risiken minimieren. Dies erfordert eine kontinuierliche Zusammenarbeit zwischen Finanzinstituten, Technologieunternehmen, Regulierungsbehörden und der Wissenschaft.

Die dunkle Seite von KI: Risiken für die Finanzbranche

Inhaltsverzeichnis

Nichts mehr verpassen
mehr lesen
LLMs, genAI und KI
Wie entwickelte sich der Umgang mit Technologie in der Geschichte? Wieso gibt es maschinelles Lernen? Und warum entstanden generative KI...
Real World Assets RWAs
In diesem Fachbeitrag tauchen wir tief in die Welt der Real-World Assets (RWAs) ein, betrachten fünf spannende Teilbereiche der tokenisierten...
Corporate Layer 2s
Corporate Layer 2s wie Base von Coinbase haben sich in den letzten Monaten als äußerst beliebt und vor allem höchst...
Ready for take-off
AI
Banking
Crypto

Wir sind überzeugt: Deutschland ist digital underbanked – und das wollen wir ändern!

Ob AI, Banking oder Crypto, digit.cologne widmet sich der digitalen Transformation von Finanzdienstleistern.

Wir bringen im Schnitt mehr als 15 Jahre Berufserfahrung und Beteiligungen an zahlreichen Digitalisierungsprojekten mit, in den Bereichen Banking, Payment, Crypto und Wealth Management.

Bei digit.cologne kommen wir zusammen, um Finanzdienstleister auf ihrem Weg durch digitale Transformationsprozesse zu begleiten.

Wir freuen uns darauf, mit Ihnen in Kontakt zu treten.

Leonhard Walter
Consultant
Tobias Ehret
Geschäftsführer
Moritz Braun
Consultant
alexander stankoswki
Alexander Stankowski
Consultant
Joshua Olbrich
Consultant
pascal schade
Pascal Schade
Consultant