Künstliche Intelligenz (KI) nimmt in unserem Alltag eine immer bedeutendere Rolle ein. Sie erleichtert unser Leben, sei es bei der Arbeit oder Privat durch Nutzung von virtuellen Assistenten oder den immer beliebteren Home-Smart Lösungen. Allerdings sind mit der Nutzung von KI auch Risiken verbunden. Ein prominentes Beispiel aus den USA zeigt, welche weitreichenden Konsequenzen der Einsatz von KI haben kann: Um seine Bewerbungsprozess effizienter zu gestalten, setzte Amazon zur Vorfilterung der Bewerbungen ein speziell trainiertes KI-System ein. Dieses System sortierte allerdings Frauen im Bewerbungsprozess systematisch aus, da die KI männliche Bewerber präferierte. Grund für dieses Diskriminierung war ein falsch gewichtetes KI-Training im Vorfeld1Quelle : Das KI-Gesetz der EU – Entwurf und Diskussionsstand – PLANIT//LEGAL
Des Weiteren äußern Nutzer immer wieder hohe Bedenken bezüglich der Sicherheit und Transparenz von KI-Systemen, sprich einer möglichen Überwachung und/oder Missbrauch der persönlichen Daten. Den unbemerkt (wenn auch vermutlich unbeabsichtigt) mithörenden Sprachassistenten hat vielleicht der eine oder die andere schon selbst erlebt. Je besser die Technik wird, desto größer werden die Gefahren. Noch vor nicht allzu langer Zeit waren KI-gestützte Bewegtbild-Manipulationen (Deepfakes) eher ein Internet-Gag und als Manipulation leicht erkennbar. Doch die Algorithmen werden immer besser und die Frameworks sind einfacher zu bedienen. Die Erstellung, oder besser Erfindung, einer alternativen „Realität“ lässt sich häufig nicht von der Wirklichkeit unterschieden. Man denke dabei als Beispiel an das bei YouTube hochgeladene Video, in dem Obama seinen Nachfolger Trump als „Volltrottel“ bezeichnete2Quelle : Die dunkle Seite der Künstlichen Intelligenz – computerworld.ch
Um solchen Risiken entgegenzuwirken, eine „vertrauenswürdige“ KI zu schaffen und die Nutzung von KI im Allgemeinen zu fördern, hat die EU am 21.04.2021 den Entwurf einer Verordnung zur „Festlegung harmonisierter Vorschriften für Künstliche Intelligenz“ 3Quelle : EUR-Lex – 52021PC0206 – EN – EUR-Lex (europa.eu) vorgestellt. Damit soll einerseits die EU im Bereich KI gestärkt werden, anderseits sollen die im KI eingehenden Gefahren (vor allem gegenüber personenbezogenen Daten) eingedämmt werden. Im folgenden Artikel werden die Anforderungen dieses Entwurfs beleuchtet und die sich daraus ergebenden Chancen abgeleitet.
Was Die EU konkret unter einer KI versteht , findet sich im Anhang (Annex 1) der Verordnung4Quelle : EUR-Lex – 52021PC0206 – EN – EUR-Lex (europa.eu) In dieser wird ein KI-System als eine Software definiert die mit “einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätzen entwickelt wurde und für eine gegebene Menge von durch den Menschen definierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die Umgebungen beeinflussen, mit denen sie interagieren”. Bei den im Anhang aufgeführten Techniken handelt es sich um folgende Ansätze:
i. Ansätze des maschinellen Lernens, einschließlich überwachtem, unüberwachtem und verstärktem Lernen, unter Verwendung einer Vielzahl von Methoden, einschließlich Deep Learning.
ii. Logik- und wissensbasierte Ansätze, einschließlich Wissensrepräsentation, induktive (logische) Programmierung, Wissensbasen, Inferenz- und Deduktionsmaschinen, (symbolisches) Schließen und Expertensysteme.
iii. Statistische Ansätze, Bayes’sche Schätzung, Such- und Optimierungsmethoden.
Klassifizierung von KI-Anwendungen
Der Vorschlag der EU zur risikobasierten Regulierung von KI-Verfahren, welcher derzeit noch bis mindestens 2023 diskutiert wird, sieht eine Klassifizierung von KI-Anwendungen hinsichtlich von Grundrechten, Sicherheit und Privatsphäre vor. Dabei können die Risikoklassen folgendermaßen zusammenfassend dargestellt werden:
- Inakzeptables Risiko: Hierzu zählen Verfahren, die darauf abzielen, „Personen zu manipulieren oder die Schwäche oder Schutzbedürftigkeit bestimmter Personengruppen auszunutzen“. Dabei muss das KI-System das Verhalten dieser Personen oder Personengruppe so beeinflussen, dass Schäden (physischer oder psychischer Art) entstehen. Die Nutzung solcher KI-Systeme ist daher strikt verboten. Beispiele sind: Biometrische Erkennung öffentlichen Orten in Echtzeit, Social Scoring sowie eine Massenüberwachung.
- Hohes Risiko: Diese Systeme sind zwar erlaubt, müssen jedoch für den Einsatz hohe rechtliche Anforderungen erfüllen. Zu den Systemen dieser Kategorie zählen KI-Algorithmen, die zur Bewertung von Personen eingesetzt werden, z.B. im Kreditscoring.
- Geringes Risiko: KI-Systeme dieser Stufe stellen kein oder nur ein minimales Risiko für die Bürgerrechte oder die Sicherheit dar.Anwendungen mit geringem Risiko müssen vor allem Anforderungen hinsichtlich der Nutzertransparenz erfüllen. Für den Endnutzer muss klar ersichtlich sein, dass die Interaktion mit einem KI-System oder durch KI-generierter Inhalt erfolgt. Laut Einschätzung der Europäischen Kommission fallen die meisten Applikationen unter dieser Kategorie. Beispiele sind Chatbots, Sprachassistenten, Spam-Filter. Bei Anwendungen ohne Risiko müssen keine neuen zusätzlichen Maßnahmen getroffen werden.
Einige KI-Anwendungen im Finanzsektor werden künftig zur Hochrisikogruppe gehören, wie bspw. Produkte, die für die Kreditwürdigkeitsprüfung und Kreditpunktebewertung natürlicher Personen verwendet werden. Daher ist es ratsam, sich schon jetzt im Entwurfsstadium der Verordnung mit den Anforderungen auseinanderzusetzen. Die KI-Systeme mit hohem Risiko werden regelmäßig durch die EU-Kommission aktualisiert und der Website veröffentlicht.
Anforderungen an KI-Systeme
Hochrisiko Anwendungen müssen wie erwähnt eine Reihe von Anforderungen erfüllen, die sich auf folgende Punkte zusammenfassen lassen5Quelle : EUR-Lex – 52021PC0206 – EN – EUR-Lex (europa.eu):
- Implementierung eines umfassenden Qualitäts- und Risikomanagementsystems, in dem unter anderem Entscheidungsvorgänge, Datenqualität und Transparenz dokumentiert und nachgewiesen werden. Ziel ist es, Schwachstellen so früh wie möglich zu identifizieren, zu bewerten und dadurch potenzielle Risiken zu minimieren.
- Die Konzeption und Entwicklung des Systems müssen hinreichend transparent sein, das bedeutet, dass der Nutzer in der Lage sein muss die Ergebnisse des Systems zu interpretieren, zu verwenden und zu beaufsichtigen. Risiken müssen deutlich gekennzeichnet sein. Es muss ein gewisses Maß an Genauigkeit, Robustheit und Cybersicherheit erreicht werden, um über den gesamten Lebenszyklus beständig funktionieren zu können.
- Während des Betriebs der Hochrisiko-Systeme muss eine automatische „Protokollierung“, gemäß anerkannten Normen und Spezifikationen, wie im Annex der Verordnung beschrieben von Vorgängen und Ereignissen stattfinden.
- Vor der Implementierung von Hochrisiko-KI-Systeme muss eine ausführliche technische Dokumentation erstellt und auf dem neuesten Stand gehalten werden.
Bei Nichteinhaltung der Anforderungen drohen empfindliche Bußgelder von 30 Mio. € oder bis zu 6% des weltweiten Unternehmensumsatzes. Der Geltungsbereich der Anforderung – und damit auch ein potenzielles Bußgeld – gilt bei dieser Verordnung für jedes Unternehmen, das ein KI-erzeugtes Ergebnis innerhalb der EU anbietet. Google, Facebook, Amazon & Co sind also ebenso betroffen.
Die Absicht der Regulierung ist klar: Der rechtliche Rahmen soll zu mehr Transparenz sowie Sicherheit führen und damit das Vertrauen in KI-Systeme stärken. In Fachkreisen wird diese Absicht dabei kontrovers diskutiert. Den einen geht der Vorschlag nicht weit genug, die anderen fürchten eine Überregulierung. Einige erwarten durch die Verordnung eine eingeschränkte Innovationsfähigkeit, die massive Auswirkungen auf Wettbewerbsfähigkeit haben könnte. Darauf auswirken würden sich auch die zusätzlichen Kosten, die zur Einhaltung der Verordnung nötig wären.
Ausblick
Schaut man positiv auf die Verordnung, ergeben sich dadurch allerdings auch einige Chancen für neue KI-Anwendungen. Die Regulierung zwingt die Marktteilnehmer zu einem Umdenken und damit zur Innovationsfreude. Zudem entwickelt die EU damit ihren „digitalen Markenkern“ weiter, Grund- und Persönlichkeitsrechte beim Einsatz digitaler Services unumstößlich zu wahren, siehe auch Datenschutzgrundverordnung oder dem Gesetz über digitale Dienste. Die EU geht hier einen Mittelweg zwischen einem weitestgehend freien Markt (bspw. USA) und einem autoritären Ansatz (bspw. China).
Auch wenn der aktuelle Vorschlag noch vom Europäischen Parlament und Europäischen Rat angenommen werden muss, empfehlen wir Unternehmen, sich frühzeitig bei der Implementierung von KI-Systemen mit dem Entwurf auseinanderzusetzen und schon jetzt über Risikomanagementsysteme und einer KI-Governance nachzudenken. Sich heute bereits mit dem Thema zu beschäftigen kann zu einem späteren Zeitpunkt Mehraufwand vermeiden und einen Vorsprung und somit Wettbewerbsvorteil bedeuten.
Quellenverzeichnis
- 1
- 2
- 3
- 4
- 5
Autoreninfo
Priscilla Höcker
Beraterin bei der digit.cologne GmbH mit mehrjähriger Erfahrung in agilen und klassischen IT-Großprojekten. Der Fokus der Wirtschaftswissenschaftlerin liegt in der Digitalisierung des Finanzsektors mit Schwerpunkten in den Bereichen digitale Transformation, Automatisierung, Testmanagement sowie Projektmanagement.
