Erklärbare KI hilft, die Risiken der Black Box beim Deep Learning zu vermindern

Als die britische Firma Darktrace brauchte, um sich gegen potenziellen Ransomware-Angriffen kam das maschinelle Lernen zur Hilfe und unterstützte die Kunden bei der Filterung und Priorisierung von Bedrohungen. Wenn Organisationen des Gesundheitswesens müssen Marker identifizieren für Aortenstenose oder Krebs, wenden sie sich an maschinelle Lernlösungen von IBM Watson und Microsoft. Und wenn Unternehmen große Datenmengen analysieren müssen, um Kunden zu binden und Betrug zu verhindernwenden sie sich dem maschinellen Lernen zu.

Maschinelles Lerneng ist ein Teilbereich der künstlichen Intelligenz (AI), bei dem Systeme aus großen Datenmengen lernen, Muster entdecken und Entscheidungen mit weniger menschlicher Beteiligung treffen.

Es steht viel auf dem Spiel – sogar lebensrettend – für die meisten KI-Benutzer, daher ist das Vertrauen in die Ergebnisse wichtig.

Natürlich haben die Menschen mehr Vertrauen in ein Modell, wenn sie Zugang zu ihm haben. So können sie das Wesentliche seiner Logik verstehen.

Aber nicht alle Produkte erlauben Ihnen den Zugriff auf die Algorithmen.

Um Unternehmen oder Abteilungen, die keine Datenwissenschaftler haben, den Zugang zu KI zu erleichtern, bieten Softwareunternehmen Anwendungen mit KI an – angetrieben von einer „Black Box“. Die Algorithmen sind nur für den Softwarehersteller zugänglich.

Außerdem sind viele der Blackbox-Lösungen cloudbasiert und verwenden denselben Algorithmus für alle Datensätze ihrer Kunden. Die Anwendung wird also trainiert – aber vielleicht nicht auf die Art und Weise, die sich Fachleute wünschen.

Im Einzelhandel zum Beispiel werden Black Box Merchandiser bestimmte Produkttypen fördern – basierend auf dem Verhalten aller Einzelhandelskunden. Das mag großartig sein, wenn Sie eher Standardprodukte verkaufen, aber sicherlich nicht akzeptabel, wenn Sie eher Nischenkunden bedienen.

Das Problem der Black Box beim Deep Learning

Deep Learning dient oft als Grundlage für leistungsstarke Anwendungen, die dem Benutzer verblüffende Aufgaben mühelos erscheinen lassen. Hinter dieser Benutzerfreundlichkeit verbirgt sich jedoch ein kompliziertes Deep Learning. Diese Komplexität macht es sehr nützlich, aber sie trübt auch die Fähigkeit eines Deep-Learning-Systems, jeden Erfolg zu erklären.

Wenn Menschen versagen, kann der Mensch befragt und seine Handlungen nachvollzogen werden, um das Ergebnis zu korrigieren oder zu verbessern. Viele gängige KI-Prozesse können ebenfalls überwacht und hinterfragt werden. Aber neuronale Netze kommen dem in die Quere.

In einem Deep Learning-System werden unzählige Berechnungen in den vielen verborgenen inneren Schichten der Knoten durchgeführt. Die unsichtbaren Berechnungen sind so variabel, so aufwendig und so umfangreich, dass sie sich selbst dann, wenn sie sichtbar gemacht werden, einer menschlichen Analyse entziehen könnten. In Branchen wie dem Gesundheitswesen, so argumentieren einige, können Entscheidungen über Leben und Tod nicht einem Algorithmus anvertraut werden, den niemand versteht.

Andere behaupten jedoch, dass Deep Learning einfach die Komplexität der realen Welt widerspiegelt, in der auch menschliche Analysten ihre Beobachtungen nicht vollständig verstehen. Deep Learning und Transparenz, sagen sie, können sich ergänzen.

Unternehmen müssen nicht nur Vertrauen in eine erste KI-Erkenntnis haben, sondern auch darauf vertrauen können, dass diese Erkenntnis auch für künftige Dateneingaben gelten wird. War die ursprüngliche Eingabe umfassend genug? Ist die Schlussfolgerung robust? Könnte die Eingabe böswillig manipuliert werden? Die Antwort lautet ja, und Datenwissenschaftler müssen sich bemühen, dies vorauszusehen und sich dagegen zu schützen. maschinelles Lernen mit Gegensätzen.

Ohne ausreichenden Einblick in ein Deep-Learning-Modell und ohne angemessene Tests haben Unternehmen kostspielige Rückschläge und öffentlichkeitswirksame Peinlichkeiten hinnehmen müssen.

Deep Learning bleibt unverzichtbar

Alarmisten und Ludditen verweisen auf solche Risiken und argumentieren gegen Deep-Learning-Methoden. Aber wenn wir auf Deep Learning verzichten, geben wir den Bereich der virtuelle Assistenten, automatische Übersetzung Software, Bilderkennung und -analyse, fortschrittliche Geschäftsanalysen und Frage-und-Antwort-Systeme an unsere innovativeren Wettbewerber.

Die Vorteile von Deep Learning sind zu groß, um sie zu verpassen. Die Nachteile hingegen werden erfolgreich durch robuste Tests ausgeglichen – und durch Maßnahmen, die Blackbox-Aktivitäten interpretierbar machen. Um die Unternehmensmanager zu beruhigen, versuchen die KI-Entwickler, den Fokus der Branche auf erklärbares maschinelles Lernen zu lenken.

Was und Warum von erklärbarer KI

Erklärbare oder interpretierbare KI beschreibt jeden maschinensprachlichen Algorithmus, dessen Ausgabe erklärt werden kann. Dies ist ein wichtiger Unterschied zum Verständnis, wie KI zu einer Schlussfolgerung gekommen ist.

Erklärbare KI teilt uns mit die Datenquelle; sie identifiziert die Algorithmen oder Modelle und den Grund für ihre Verwendung; sie zeichnet auf, wie das Lernen die Parameter im Laufe der Zeit verändert hat; sie fasst zusammen, wie das System für ein bestimmtes Ergebnis in Erscheinung trat; und sie zeichnet Ursache-Wirkungs-Beziehungen nach.

Diese Erklärungen müssen für Entwickler und schließlich für Benutzer verständlich sein. Zu den Nachteilen einer solchen Erklärung gehören eine geringere Geschwindigkeit und die Preisgabe von geistigem Eigentum.

Wie Software-Ingenieur Ben Dickson bemerktEine erklärbare KI umfasst sowohl lokale als auch globale Erklärungen. Lokale Erklärungen interpretieren individuelle Entscheidungen; globale Erklärungen interpretieren die allgemeine Logik hinter dem Verhalten eines Modells. Die Entwicklung muss umfassen umfassende Stresstests – bei denen Benutzer das System mit schlecht klassifizierten Daten bewerfen, um zu sehen, wie es reagiert – neben Algorithmen, die interne Zwischenzustände und Entscheidungen mitteilen.

Erklärung in die Black Box verlängern

Bis zu einem gewissen Grad war KI schon immer erklärbar, insbesondere außerhalb der Nische der neuronalen Netzwerke. „In Wirklichkeit begann der Bereich des maschinellen Lernens mit vielen einfachen Modellen, die sich alle recht einfach mit Hilfe von Diagrammen, Grafiken oder der menschlichen Sprache ausdrücken und erklären lassen“, sagt Lucidworks Chief Algorithms Officer Trey Grainger.

„Das Problem mit neuronalen Netzwerken ist, dass sie intern ein eigenes Low-Level-Modell erstellen, um Konzepte und Beziehungen darzustellen. Dieses Modell kann zwar die richtigen Ergebnisse ausgeben, ist aber für den Menschen nicht interpretierbar.

„Sie hätten das gleiche Problem, wenn Sie eine Person um die Beantwortung einer Frage bitten und dann versuchen würden, ihre Antwort durch einen Gehirnscan zu erklären. Sie könnten vielleicht einige grobkörnige Phänomene und Muster erkennen, die vor sich gehen, aber Sie hätten kein verlässliches, vom Menschen interpretierbares Verständnis der Faktoren, die zu der Antwort führen.“

Grainger sieht eine Zukunft voraus, in der maschinelle neuronale Netze auf einer Metaebene ihre eigenen Denkprozesse verstehen oder ein übergeordnetes Verständnis von Geschwisternetzen haben. Dies ist vergleichbar mit der Art und Weise, wie Menschen versuchen, ihre eigenen Gedankengänge und Bauchgefühle zu erklären und ihre Handlungen auf der Grundlage der Schlussfolgerungen, zu denen sie kommen, zu ändern.

Erläuterung Schritt für Schritt oder im Nachhinein

Unternehmen, die die Vorteile von Deep Learning eher früher als später benötigen, stehen Tools zur Verfügung, die einer erklärbaren KI nahe kommen:

• Kompakte statistische Modelle mit unkomplizierter Logik, wie z.B. eine lineare Regression, sind von sich aus erklärbaraber weniger vorhersagend als ein komplexeres Deep-Learning-Modell.
• Modelle, die an sich nicht erklärbar sind, müssen möglicherweise interpretiert werden post hoc durch Zusammenfassung in natürlicher Sprache, Visualisierung von gelernten Darstellungen oder Erklärung durch Vergleich mit ähnlichen Ergebnissen.

Post-hoc-Erklärungen haben den Vorteil, dass sie die Vorhersagefähigkeit eines komplexen Deep-Learning-Modells erhalten – aber eine akribische Schritt-für-Schritt-Erklärung eines Deep-Learning-Ergebnisses bleibt aufgrund der Tiefe, Variabilität, Komplexität und Unzugänglichkeit der Berechnungen unerreichbar.

Globale und lokale Erläuterung

Surrogatmodelle sind eine Methode zur Interpretation von Deep-Learning-Ergebnissen. Lars Hulstaert, Datenwissenschaftler bei Microsoft, erklärt dass eine vereinfachte Surrogatversion eines Modells erstellt wird, um den Entscheidungsprozess des komplexeren Modells darzustellen. Es handelt sich um ein Modell, das anhand der Eingaben und der Modellvorhersagen trainiert wird und nicht anhand der Eingaben und Ziele. Beispiele hierfür sind lineare Modelle und Entscheidungsbaummodelle.

Trotz der zusätzlichen Schwierigkeit, sie zu erklären, bleiben Blackbox-Modelle unverzichtbar, da sie eine bessere Analyse und Vorhersage ermöglichen – und weil in vielen Kontexten eine grobe oder ungefähre Erklärung mehr als ausreichend ist, vorausgesetzt, die Ergebnisse eines Modells haben sich in strengen Tests als zuverlässig erwiesen.

Zugängliches Modell

Selbst innerhalb einer Blackbox-Anwendung ist es möglich, ein Modell zu entwerfen, auf das die Benutzer zugreifen, das sie überprüfen und ändern können. Lucidworks Fusion enthält beispielsweise benutzerkonfigurierbare Schnittstellen für das automatische Lernen von Synonymen, das Umschreiben von Suchanfragen, Rechtschreibfehler, Personalisierungsprofile und natürliches Sprachverständnis.

Wie Sie eine besser erklärbare KI auswählen und implementieren

Deep Learning ist so erklärbar wie ein medizinischer Scan für Krebs – oder fehlende Pfennige in einem Finanzbericht eines Unternehmens. Ärzte können nicht jeden Pixel in einem MRT-Scan erklären, und Buchhalter können vielleicht nicht jeden von einem Unternehmen ausgegebenen Dollar nachvollziehen. Aber solche Details sind unerheblich: Sie verstehen global und lokal, wie ihr Bild oder Dokument erzeugt wurde, und sie vertrauen dem Bild oder Dokument, weil die Prozesse, die es erzeugt haben, gut getestet sind und weil die Ergebnisse durch andere Mittel bestätigt werden können.

Gleichermaßen ist KI vertrauenswürdig und zufriedenstellend erklärbar, wenn:

• wir kennen uns mit den Datenquellen aus
• wir haben Zugriff auf das zugrunde liegende Modell
• haben wir das Modell mit verschiedenen Datensätzen getestet, einschließlich bösartiger Daten
• wir verstehen die Beziehungen zwischen getesteter Eingabe und Ausgabe
• wir verwenden vertrauenswürdige Algorithmen für intrinsische oder post-hoc Erklärungen auf lokaler und globaler Ebene des Modells

Bei Lucidworks betont Grainger, dass erklärbare KI in den Bereichen des maschinellen Lernens, die nicht von einer Blackbox abhängig sind, eine gut etablierte Realität ist. Dennoch bleibt noch viel zu tun, um hochentwickelte Deep-Learning-Modelle – die unter idealen Bedingungen viel besser als Menschen die richtigen Antworten finden können – so erklärbar und korrigierbar zu machen, dass sie nicht mehr als Blackbox gelten.

In der Zwischenzeit, so Grainger, werden Unternehmen Deep-Learning-Modelle mit anderen KI-Algorithmen kombinieren, um die Ergebnisse robuster zu machen, indem die Grenzen eines einzelnen Ansatzes berücksichtigt werden.