Künstliche Intelligenz (KI) ist momentan das bestimmende Technologie-Thema, auch KI bei Banken wird immer wichtiger. Vor allem die Large Language Models (LLMs) – mächtige Methoden der Aussagenvorhersage – beherrschen weiterhin die Schlagzeilen. Neben ChatGPT (OpenAI), dem bekanntesten Vertreter dieser Klasse, haben mittlerweile auch vermehrt andere LLMs das Licht der Welt erblickt, z.B. Bard (Google), LLaMA (Meta) oder auch Claude (Anthropic). Allen Lösungen ist augenscheinlich eins gemein: Sie bedienen sich dem Textchat-Format als Ein- und Ausgabekanal. Es formt sich dadurch langsam eine anwendungsunabhängige, gewohnte Nutzererfahrung, wie solche KI-Systeme zu bedienen sind.
Wahrscheinlich ist auch das einer der Gründe, warum die KI-Chatbots so massenwirksam sind: Die Bedienung eines Chats ist denkbar einfach und mittlerweile auch gewohnt. Gewohnt deswegen, weil Chatbots an sich keine Neuheit sind. So sind solche Lösungen bereits seit einigen Jahren vor allem in der Internet-Kundenanbahnung von Unternehmen im Einsatz. Wer kennt nicht die nach ein paar Sekunden aufpoppenden, Hilfe anbietenden Chatfenster? Auch Kreditinstitute haben solche Chatsysteme mit automatisierten Antworten im Einsatz. Diese Systeme sind allerdings eher flexible FAQ-Listen mit statischem, vordefinierten Inhalt, im Gegensatz zu den LLM-Systemen, die ihre Ausgabe zur Laufzeit dynamisch errechnen.
Wir nehmen die aktuell breite Beschäftigung mit dem Thema KI-Chatbots zum Anlass, um bestehende Lösungen von Banken und Sparkassen zu analysieren und zu überprüfen, wie diese Systeme vor dem Hintergrund einer neuen Erwartungshaltung an Chatbots abschneiden.
Aktueller Einsatz von Chatbots bei Banken & Sparkassen
Bei der Analyse von KI bei Banken konzentrieren wir uns auf relativ einfache Anfragen einer fiktiven Interessentin, die sich über das Girokonto-Angebot des jeweiligen Kreditinstituts informieren möchte. Datenbasis für unsere Analyse war unser gewohntes Set an 21 Banken & Sparkassen1 Analysierte Banken und Sparkassen: 1822direkt, C24, Comdirect, Commerzbank, Consorsbank, Deutsche Apotheker- und Ärztebank, Deutsche Bank, DKB, ING Deutschland, HypoVereinsbank, Klarna, N26, Oldenburgische Landesbank, Postbank, Revolut, Santander Consumer Bank, Sparkasse KölnBonn, Targobank, Tomorrow, Volksbank Köln Bonn, Volkswagen Financial Services, das auch schon unseren anderen Studien als Grundlage diente. In diesem Set ist eine repräsentative Mischung aus Filial-, Direkt- und Neobanken zu finden. Von diesen 21 Kreditinstituten haben nur sieben einen Chatbot im Angebot, wobei davon ein Institut ihren Chatbot ausschließlich ihren Bestandskunden im Servicebereich anbietet und somit für unsere Untersuchung nicht in Frage kommt.
Die verbliebenen sechs Chatbots haben wir mit vier unterschiedlichen Anfragen gefüttert und dabei stufenweise die Komplexität erhöht:
Anfrage 1 (sehr einfache Komplexität): Eine Anfrage zum allgemeinen Produktangebot. Die Aufgabe des Chatbots ist es, alle verfügbaren Girokontomodelle aufzulisten.
Welche Girokonten gibt es?
Nur zwei Chatbots haben die Anfrage korrekt verstanden und direkt eine Auswahl an Girokontomodellen ausgegeben. Weitere drei Chatbots haben zwar verstanden, dass wir etwas zum Thema Girokonten wissen wollen, Informationen zu den unterschiedlichen Modellen gab es aber keine. Ein Chatbot hat gar nicht verstanden, dass wir etwas zum Thema Girokonto wissen wollen und hat uns stattdessen Informationen zum Thema Depot präsentiert.
Anfrage 2 (einfache Komplexität): Eine Anfrage zur Ausgestaltung eines konkreten Produktes. Die Aufgabe des Chatbots ist es, das Girokontomodell, was am besten für junge Leute geeignet ist, zu identifizieren und die Konditionen zu nennen.
Welche Konditionen hat ein Girokonto für junge Leute?
Ein Chatbot hat uns verstanden und einen Link zu den Konditionen bereitgestellt. Zwei weitere Chatbots haben verstanden, dass es sich um ein Girokonto handelt, allerdings ohne Konditionen zurückzugeben. Drei Chatbots konnten nicht auf die Frage reagieren.
Anfrage 3 (mäßige Komplexität): Eine Anfrage nach einer Produktempfehlung. Aufgabe des Chatbots ist es, aus dem Text zu extrapolieren, dass ein Kontomodell für junge Menschen / Studierende gesucht wird, und es zu nennen.
Hallo. Ich bin Julia und ich studiere ab September BWL. Gerne möchte ich ein Girokonto eröffnen, das auf meine Bedürfnisse angepasst ist.
Die Hälfte der Chatbots hat uns bei dieser Anfrage gar nicht verstanden und direkt an den Berater verwiesen oder um Umformulierung der Anfrage gebeten. Die andere Hälfte hat immerhin verstanden, dass wir etwas zum Thema Girokonto wissen möchten. Der konkrete Vorschlag für ein Konto für junge Menschen kam allerdings nur von einem Chatbot.
Anfrage 4 (mittlere Komplexität): Frage nach einer Kombination zweier Produkte (Giro- und Anlageprodukt). Aufgabe des Chatbots ist es, ein Girokonto für junge Menschen / Studierende zu empfehlen und zusätzlich eine Koppelung mit einem Anlageprodukt (z.B. Festgeld oder auch Depot) vorzuschlagen.
Hallo, ich bin 24, Student und habe Geld gespart. Welches Konto können Sie mir anbieten und wie kann ich mein Geld anlegen?
Keine der getesteten Chatbots hat uns ein Girokonto und ein Anlageprodukt empfohlen. Drei Chatbots haben zwar verstanden, dass wir eine Anlagemöglichkeit suchen, haben dies aber nicht mit einem Girokonto in Verbindung gebracht. Zwei weitere Chatbots haben verstanden, dass es sich um ein Girokonto handelt, haben aber das Thema Geldanlage ausgeklammert. Ein Chatbot konnte gar nicht auf die Anfrage reagieren.
Der Leistungsumfang enttäuscht
Zusammengefasst lässt sich sagen, dass der Einsatz von Chatbots in der Kundenanbahnung nicht zum Standard von Kreditinstituten gehört. Nur ein Drittel der analysierten Kreditinstitute bieten Interessenten überhaupt einen Chatbot für die Informationssuche an. Die Antwortqualität dieser Chatbots lässt außerdem zu wünschen übrig. In unserer Analyse reagierten die Chatbots nur auf einzelne Stichwörter (bei uns “Girokonto”) und lieferten meistens lediglich Verlinkungen auf die Produktseite. Nur die wenigsten Chatbots gingen vereinzelt darüber hinaus und nannten direkt weitere Details wie Konditionen oder Vorschläge für ein Kontomodell. Kein einziges Kreditinstitut konnte alle Fragestellungen eindeutig beantworten. Zudem lässt sich beobachten, dass, je komplexer die Aussagen wurden, desto schlechter wurde die Qualität der Antworten. Zwei Kreditinstitute schreiben ihren Nutzern ein Limit von 150 Zeichen für die Formulierung der Frage vor. Detaillierte Fragen sind hier offensichtlich gar nicht erst erwünscht.
KI bei Banken – Die Zukunft von Chatbots
ChatGPT und andere LLMs beweisen gerade, dass eine KI-gestützte Chat-Konversation durchaus in der Lage ist, einen menschlichen Dialog in vielen Bereichen vollständig und ohne Nachteile zu ersetzen. Vor allem einfache Sachverhalte und Fragestellungen stellen keine großen Herausforderungen für die modernen Algorithmen dar. Stellt man z.B. ChatGPT exakt die gleichen vier Fragen, wie wir sie den Chatbots der Kreditinstitute gestellt haben, werden in allen Fällen hilfreiche und vor allem ausführliche Antworten gegeben – wenn auch natürlich mit eher allgemeineren Informationen, ChatGPT hat schließlich selbst keine Bankprodukte im Angebot. Die Abbildung unten zeigt die Antwort von ChatGPT (in der Version 3.5) auf unsere Anfrage 4, die von keinem der von uns getesteten Chatbots der Kreditinstitute zufriedenstellend beantwortet werden konnte.
Technologisch bieten sich also mittlerweile vielversprechende Lösungen und Kreditinstitute sollten sich mit dem Thema LLM für die Kundenanbahnung definitiv stärker auseinandersetzen. In den USA sind erste Banken schon dabei, genau diesen Weg einzuschlagen, JP Morgan z.B. arbeitet bereits an der eigenen Implementation eines Large Language Models2Geldanlage mit KI: Banken entwerfen eigene Chatbot-Alternativen zu ChatGPT (handelsblatt.com). Doch nicht nur in der Anbahnung können LLM-Chatbots einen Mehrwert stiften. Auch im weiteren Verlauf der Customer Journey kann der Einsatz solcher Bots fachlich sinnvoll sein, bis hin zu einem persönlichen digitalen Berater für finanzielle Fragen. In den USA werden diese Ideen bereits seit längerem diskutiert3ChatGPT: How to use AI as a virtual financial adviser (techxplore.com). Doch hierzulande ist dabei Vorsicht geboten. Die (bisher noch nicht verabschiedete) KI-Verordnung der Europäischen Union4Artificial intelligence act briefing (European Parliament; PDF) könnte solchen Überlegungen einen Riegel vorschieben (siehe unseren Blogartikel dazu). Die Verordnung sieht bei bestimmten Anwendungsfällen eine jederzeitige Nachvollziehbarkeit der KI-Ergebnisse und deren Herleitung vor. Aktuell ist eine solche Nachvollziehbarkeit allerdings noch nicht gegeben, auch wenn bereits an dem Problem gearbeitet wird5OpenAI’s new tool attempts to explain language models’ behaviors (techcrunch.com).
Auf dem Weg in eine Zukunft KI-gestützter Kundenprozesse ist also noch die eine oder andere Herausforderung zu meistern. Die Kundenerwartungen an Chatsysteme haben sich durch ChatGPT und andere vergleichbare Systeme allerdings schon massiv verändert. Diese Erwartungen zu adressieren und adäquate Dialogformen zu entwickeln, sollte das Ziel von Banken und Sparkassen sein. Es muss nicht (bzw. kann nicht, siehe KI-Verordnung) direkt der durchpersonalisierte digitale Berater sein. Eine einfache funktionierende Informationsaufbereitung zum Produktangebot wäre doch schon mal ein guter Anfang.
