Erklärbare KI & die Black Box beim Deep Learning
Wenn man durch Konferenzen geht, scheint es, als ob alles mit KI ausgestattet ist. Aber was bedeutet das? Und ist…
Wenn man durch Konferenzen geht, scheint es, als ob alles mit KI ausgestattet ist. Aber was bedeutet das? Und ist das Angebot des Anbieters wirklich etwas für Sie? Es kommt darauf an.
Vorteile des maschinellen Lernens
Es steht außer Frage, dass maschinelles Lernen schnell zu äußerst zuverlässigen und ausgefeilten Erkenntnissen führt – wenn die Eingabe gültig ist und die Ausgabe gründlich getestet wird. Benutzer trainieren ein mathematisches Modell mit repräsentativen Beispielen von Trainingsdaten und vergleichen die Ergebnisse mit den erwarteten Zielen für diese Daten. Die Maschine leitet die Klassifizierung aus dem von Menschen klassifizierten Datensatz ab.
Mehrere Testrunden mit verschiedenen Datensätzen (von denen einige Teilmengen früherer Daten sind) dienen dazu, ein Modell abzustimmen und dann fertig zu stellen. Da die Benutzer die Ergebnisse der maschinellen Klassifizierung mit den Ergebnissen der menschlichen Klassifizierung vergleichen und abstimmen – ein Prozess, der als überwachtes Lernen bezeichnet wird – sind die Ergebnisse konsistent und vertrauenswürdig.
Je mehr Daten das System durchlaufen, desto intelligenter wird die Anwendung. Das sollte man zumindest meinen.
Was passiert aber, wenn die Daten nicht gültig sind, wenn sich der Inhalt im Laufe der Zeit ändert oder wenn die Benutzer Änderungen erwarten, die in den ursprünglichen Trainingsdaten nicht berücksichtigt wurden?
Das Risiko für Unternehmen
Im Jahr 2016 entdeckte die gemeinnützige Rechercheorganisation ProPublica, dass der KI-Algorithmus eines gewinnorientierten Unternehmens rassistisch verzerrte Ergebnisse lieferte, als er Festgenommene in Broward County, Florida, nach ihrer Wahrscheinlichkeit bewertete, zukünftige Straftaten zu begehen.
Ebenfalls 2016 nahm Microsoft seinen KI-Chatbot Tay vom Netz, nachdem dieser mehrfach rassistische, frauenfeindliche und drogenbezogene Tweets veröffentlicht hatte, die auf Informationen basierten, die Tay von anderen Twitter-Nutzern gelernt hatte.
Und erst im Jahr 2018 wurden Menschen von autonomen Fahrzeugen getötet. In zwei separaten Fällen, an denen Tesla und Uber beteiligt waren, hat die Fahrzeugsoftware die Umstände, die zu einem Todesfall führten, falsch eingeschätzt, und dann haben menschliche Ersatzfahrer – die der Software vielleicht zu sehr vertraut haben – nicht rechtzeitig eingegriffen.
Unberechenbare KI
In großen und kleinen Fällen von KI-Fehlern werden Fragen der Vorbeugung, Untersuchung, Verantwortlichkeit und Haftung durch die Blackbox der KI verdeckt, in der automatisierte Entscheidungen in Lichtgeschwindigkeit durch ausgeklügelte und manchmal unvorhersehbare algorithmische Interaktionen getroffen werden.
In regulierten Branchen und öffentlichen Diensten wie dem Gesundheitswesen stellen solche Pannen berufliche, rechtliche und finanzielle Risiken dar – sogar Risiken für Menschenleben. Blackboxen erschweren es Managern, die Verantwortung für Probleme zuzuweisen, Verbindlichkeiten zu klären und eine optimale Entscheidungsfindung zu unterstützen.
Aber wenn KI-Blackboxen wirklich so lästig sind, warum sollten Sie sie dann einsetzen? Was kann Ihr Unternehmen tun, um diese Risiken zu beseitigen und vertrauenswürdige, von KI abgeleitete Geschäftserkenntnisse zu nutzen?
Wie bei fast allem, was mit KI zu tun hat, gibt es eine verwirrende, fast paradoxe Verwendung des Begriffs Blackbox, die für Verwirrung sorgt.
In den letzten beiden Fällen bezieht sich die Blackbox auf die Überlagerung von Algorithmen, die für das so genannte Deep Learning erforderlich sind. Die Datenwissenschaftler der Unternehmen haben die Algorithmen entwickelt, aber im Grunde genommen die Kontrolle darüber verloren, wie sie innerhalb eines neuronalen Netzwerks interagieren, was zu den unbeabsichtigten Folgen eines Blackbox-Ansatzes führt.
Herausforderungen mit der Black Box
Deep Learning Blackboxen sind zwar wichtig zu erforschen, aber der Fall, den ProPublica oben aufgedeckt hat, ist die typischere Art von Blackbox, mit der Unternehmen heute konfrontiert sind. In den meisten Fällen verwenden sie einen vertrauenswürdigen Anbieter, der nun mit KI angereichert ist. Diese sind für Unternehmen oder Abteilungen wünschenswert, die keine Datenwissenschaftler haben – und sich für die Automatisierung sich wiederholender Aufgaben begeistern.
Aber eine Blackbox kann Unternehmen dazu verleiten, KI-Modelle einzusetzen, die zu unerwünschten Ergebnissen führen können. Leider haben Sie keine Kontrolle über diese Ergebnisse, und bestenfalls können Sie einige Ergebnisse außer Kraft setzen, aber nur, wenn Sie die abweichenden und die gewünschten Ergebnisse kennen.
Dies mag weniger problematisch sein, wenn das System ausschließlich mit Ihren Daten trainiert wird. Aber auch hier gilt: Da Unternehmen und Abteilungen schlüsselfertige Lösungen zum niedrigstmöglichen Preis wünschen, entwickeln Anbieter Cloud-Lösungen, die Ihre Daten und die Daten anderer Unternehmen miteinander kombinieren, um die Ergebnisse zu ermitteln.
Außerdem sind viele der Blackbox-Lösungen cloudbasiert und verwenden denselben Algorithmus für alle Datensätze ihrer Kunden. Die Anwendung wird also trainiert – aber vielleicht nicht auf die Art und Weise, die sich Fachleute wünschen.
Im Einzelhandel zum Beispiel werden Black Box Merchandiser bestimmte Produkttypen fördern – basierend auf dem Verhalten aller Einzelhandelskunden. Das mag großartig sein, wenn Sie mehr Standardprodukte verkaufen, aber sicherlich nicht akzeptabel, wenn Sie mehr Nischenkunden bedienen oder wenn Sie versuchen, mehr als nur ein Verkäufer zu sein und eine „Ziel“-Seite zu schaffen und ein „klebrigeres“ Erlebnis für Ihre Kunden zu erzeugen.
KI erfordert Vertrauen – und Vertrauen kommt von Kontrolle
In Branchen wie dem Gesundheitswesen müssen Ärzte, Patienten und Versicherer darauf vertrauen können, dass eine KI-Vorhersage auf soliden und unvoreingenommenen Quelldaten beruht. Diese Datenquellen müssen auch unbekannte Variablen reduzieren und alle bekannten oder plausiblen Symptome und Risikofaktoren berücksichtigen. Wenn ein KI-Prozess insgeheim bisher unbekannte Marker für eine Krankheit angenommen hat, muss diese Annahme Ärzten und Wissenschaftlern erklärt werden, und sie müssen die Gültigkeit dieser Annahme bestätigen.
In dem von ProPublica geschilderten Fall verwenden Gerichtsbarkeiten im ganzen Land eine Vielzahl von Tools, um die Rückfallquote von Personen zu ermitteln, die wegen Verbrechen verurteilt wurden. Auch hier kann es aus wirtschaftlichen Gründen erforderlich sein, dass ein Anbieter Dienstleistungen im Bereich des maschinellen Lernens anbietet, anstatt das System selbst zu trainieren, weil die Ressourcen knapp sind oder es keine für das Training geeigneten Datensätze gibt. Zwei wichtige Fragen, die gestellt werden müssen, sind: Wie werden diese Daten trainiert und welche Annahmen werden getroffen?
Der Richter des Napa County Superior Court, Mark Boessenecker, sagte, er halte die Empfehlungen für hilfreich – aber nicht für unfehlbar. „Ein Mann, der ein Jahr lang jeden Tag ein kleines Kind belästigt hat, könnte immer noch als geringes Risiko eingestuft werden, weil er wahrscheinlich einen Job hat“, sagte Boessnecker gegenüber ProPublica. „Ein betrunkener Mann hingegen wird als hohes Risiko eingestuft – weil er obdachlos ist.“
Trotz der Bemühungen zu sagen, dass wir uns auf die Mathematik verlassen – es gibt eine menschliche Verzerrung, die ins Spiel kommen kann. Einige Daten werden stärker gewichtet als andere. Wenn eine Person einen Arbeitsplatz hat, ist die Wahrscheinlichkeit, dass sie ein Verbrechen begeht, geringer als wenn sie keinen Arbeitsplatz hat, aber ist das der richtige Maßstab für eine so starke Gewichtung?
(Kriminelle Bevölkerungsgruppen können sich in verschiedenen Teilen des Landes unterschiedlich verhalten. Ein Gebiet mit hoher Obdachlosigkeit oder hoher Arbeitslosigkeit ist vielleicht nicht so prädiktiv wie ein Gebiet mit umgekehrten Verhältnissen).
Erklärbare KI
Ein Begriff, der sich zum Gegenteil der Blackbox entwickelt, ist erklärbare KI (XAI). Und während XAI beim Deep Learning eine nuancierte Bedeutung hat, können wir den Begriff verwenden, um zu beschreiben, wie Sie Vertrauen in die Ergebnisse haben können.
Einige der Merkmale von erklärbarer KI sind
- Kontrolle über oder Zugriff auf die Algorithmen, die für das Training verwendet werden
- Wissen und Kontrolle über die verwendeten Daten
- Einsatz eines Fachexperten, der das Modell mit einem bekannten Datensatz trainiert
- Verstehen aller Verzerrungen oder Annahmen, die in das Modell einfließen
Auswirkungen von erklärbarer KI
Es ist höchst unwahrscheinlich, dass KI jemals 100 Prozent Sicherheit erreichen wird. Aber in Branchen, in denen es um Entscheidungen über Leben und Tod geht – oder um Entscheidungen, die sich auf das Leben auswirken -, wird eine erklärbare KI für weitaus mehr Sicherheit bei Ihren Ergebnissen sorgen.
Es gibt noch einen weiteren Faktor. Wenn Sie einen Cloud-Anbieter nutzen, tragen Ihre Daten dazu bei, dass das Produkt dieses Anbieters intelligenter wird, und Sie machen sich abhängig von den Trainingsdaten eines anderen Unternehmens, das vielleicht nicht so vertrauenswürdig ist, wie Sie es gerne hätten. Sie verwenden buchstäblich Ihr geistiges Eigentum, um sich an dem Produkt eines anderen Anbieters zu beteiligen und machen sich gleichzeitig von den Daten anderer abhängig.
Wir stellen fest, dass Algorithmen das neue geistige Eigentum sind – und Sie möchten Ihre vielleicht nicht so einfach aus der Hand geben.