Was sind Frage-Antwort-Systeme?

Letztes Jahr auf der jährlichen Activate-Konferenz war die Schlange für die Präsentation Enriching Solr with Deep Learning for Question Answering…

Letztes Jahr auf der jährlichen Activate-Konferenz war die Schlange für die Präsentation Enriching Solr with Deep Learning for Question Answering Systems (Anreicherung von Solr mit Deep Learning für Fragebeantwortungssysteme ) nicht zu überblicken. An einem Webinar zum gleichen Thema im Dezember nahmen mehr als 600 Personen teil. Woher kommt also dieses aufgestaute Interesse an Fragebeantwortungssystemen – und was sind sie überhaupt? Und funktionieren sie wirklich?

Alan Turing sagte einmal: „Ich schlage vor, die Frage zu stellen: Können Maschinen denken?“

Künstliche Intelligenz ist zu einem wichtigen Bestandteil unseres täglichen Lebens geworden, von selbstfahrenden Autos über mobiles Banking bis hin zu maschinellen Übersetzungsdiensten. KI als Technologie oder System hilft dabei, menschliches Verhalten nachzuahmen, indem es lernt und komplexe Inhalte zu verstehen scheint. Das Verständnis der Komponenten und/oder des Prozesses zur Bereitstellung von KI-Funktionen ist jedoch nicht so einfach.

Werfen wir also einen Blick darauf, wie wir Maschinen beigebracht haben, so zu denken wie wir und mehr über die Technologie zur Beantwortung von Fragen zu erfahren.

Frühe Systeme zur Beantwortung von Fragen

Frage-Antwort-Systeme (QA) wurden in den frühen 1960er Jahren entwickelt. Zwei der frühesten QA-Systeme, BASEBALL und LUNAR, waren aufgrund ihrer zentralen Datenbank oder ihres Wissenssystems erfolgreich. BASEBALL wurde entwickelt, um Fragen über die US-Baseball-Liga über einen Zeitraum von einem Jahr zu beantworten und konnte problemlos Fragen beantworten, wie z.B. wo jedes Team am 7. Juli gespielt hat. LUNAR deckte Fragen über die geologische Analyse von Gesteinen ab, die von der Apollo-Mondmission zurückkamen.

Diese früheren Systeme konzentrierten sich auf „geschlossene Domänen“, in denen jede gestellte Frage sich auf die spezifische Domäne beziehen oder einen begrenzten Wortschatz haben musste. Der Erfolg von BASEBALL und LUNAR war größtenteils auf das Wissen zurückzuführen, das jedes System besaß. In den folgenden 20 Jahren wurden Systeme für offene Bereiche entwickelt, die sich mehr auf die Informationsbeschaffung konzentrierten.

Vereinfachung der Beantwortung von Fragen

Aber wenn Sie es mit der Öffentlichkeit zu tun haben, sind geschlossene Domänen nicht wirklich praktikabel. Sprache ist dynamisch und die Menschen haben scheinbar unendlich viele Möglichkeiten, eine Frage zu stellen. Das auf Information Retrieval basierende QA-System ebnete dann den Weg für ein neues Sucherlebnis. Auf der Grundlage von faktoiden Fragen (Fragen, die mit einfachen Fakten beantwortet werden) behandelt das System Fragen als Suchanfragen, um die relevanteste Antwort zu extrahieren.

Wie sind diese Systeme also in der Lage, all die verfügbaren Informationen zu sortieren und uns in weniger als einer Sekunde Millionen von Antworten zu geben?

Das QA-System für die Informationsbeschaffung ist in 3 Phasen unterteilt: Verarbeitung der Fragen, Abrufen und Einordnen der Passagen und Extraktion.

Verstehen von Suchanfragen auf der Basis von Information Retrieval

Sehen wir uns ein Beispiel von The Cambridge University Press an: Ein Benutzer möchte wissen, welche Shakespeare-Stücke die Wörter Brutus und Caesar und nicht Calpurnia enthalten (die Abfrage). Für jedes Shakespeare-Stück wird markiert, ob das Stück das jeweilige Wort von allen von Shakespeare verwendeten Wörtern enthält. Anschließend wird eine binäre Term-Dokument-Inzidenz-Matrix erstellt.

Um die Antwort auf die Abfrage abzurufen, können wir die Matrix in Form von Zeilen oder Spalten betrachten und den Vektor für jeden Begriff heranziehen, der die Dokumente enthält, in denen jeder Begriff vorkommt. Um die Abfrage Brutus AND Caesar AND NOT Calpurnia zu beantworten, nehmen wir den Vektorfür jeden Begriff (110100 AND 110111 AND 10111= 100100) und verwenden ihn, um die relevanten Antworten zu finden:

Antonius und Kleopatra, Akt III, Szene ii
Agrippa [Nebenbemerkung zu Domitius Enobarbus]:

Warum, Enobarbus,
Als Antonius Julius Cäsar tot fand,
weinte er fast bis zum Brüllen, und er weinte
Als er bei Philippi Brutus erschlagen fand.

Hamlet, Akt III, Szene ii
Herr Polonius:

Ich habe Julius Cäsar gespielt: Ich wurde auf dem Kapitol
getötet; Brutus hat mich getötet.

Wie bringen wir Maschinen das Lernen bei?

Der maschinelle Lernprozess verläuft in ähnlichen Schritten wie der menschliche Lernprozess. Es handelt sich um eine Mischung aus menschlichen und algorithmischen Aktivitäten und umfasst in der Regel die folgenden Schritte:

1. Kuratierung und Aufbereitung der Trainings-/Testdaten. Heutzutage kann dies durch eine Mischung aus verschiedenen Ansätzen erreicht werden, von der rein menschlichen Kuration bis hin zu eher automatisierten Lösungen. Ohne gute Trainingsdaten ist maschinelles Lernen weder effektiv noch möglich.
2. Laden der Trainingsdaten in ein untrainiertes Modell, damit der Algorithmus das Modell trainieren kann.
3. In der Trainingsphase wird die Art und Weise, wie das Modell lernt, verfeinert. Dieser Prozess kann menschliche Aktivitäten beinhalten, wie z.B. die Änderung der Trainingsdaten oder die Wahl eines anderen Modelltyps oder verschiedener Hyperparametereinstellungen. Dieser Prozess wird zunehmend automatisiert.

Damit der Lernprozess erfolgreich ist, müssen sich die Verantwortlichen für die Anwendung darüber im Klaren sein, dass die Entwicklung eines maschinellen Lernmodells nicht mit der Entwicklung einer Anwendung vergleichbar ist. Die Leistung des Modells wird sich im Laufe der Zeit verschlechtern, wenn sich die Daten ändern, und muss gepflegt werden. „Ausreißer“ in den Trainingsdaten müssen identifiziert und entfernt werden, um sicherzustellen, dass das Modell auch weiterhin funktioniert.

Chatbots und die Herausforderungen der Technologie

Chatbots sind in der Lage, durch Natural Language Processing oder NLP mit uns zu kommunizieren. Die intelligente Technologie ist im Laufe der Jahre mit Cortana, Alexa und Google nur gewachsen. Sie alle haben gelernt, Sprachbefehle entgegenzunehmen und sie in Text umzuwandeln.

Ein Branchenexperte, Chao Han, ist der Meinung, dass „die Leute normalerweise denken, dass QA-Systeme nichts mit Chatbots zu tun haben, aber sie können das Rückgrat eines Chatbot-Systems sein. Derzeitige Chatbot-Systeme bestehen aus hart kodierten Regeln, aber wenn das QA-System zur Suche in bestehenden FAQs verwendet wird, können viel mehr Fragen beantwortet werden.“

Obwohl die Technologie noch in den Kinderschuhen steckt, hat sie im Laufe der Jahre enorme Verbesserungen erfahren. Mit zunehmender Erfahrung reift die Sentiment-Analyse und gewinnt mehr und mehr an Bedeutung für die Analyse der Customer Journey, das Marketing und den Aufbau von 360-Grad-Kundenansichten.

Aber das kennen wir alle. Sie versuchen, Ihren Arzt wegen des anhaltenden Ausschlags zu erreichen, aber die automatische Stimme am Telefon scheint Ihren Namen nicht zu verstehen.

NLP-Techniken verbessern die Leistung

Angewandte NLP-Techniken wie Extraktion, Stimmungsanalyse und Übersetzungsdienste helfen Chatbots und VPAs, die Qualität des Supports und der Dienstleistungen für Endbenutzer zu verbessern. Dank der Geschwindigkeit der Echtzeitanalyse können Bots Alarm schlagen, wenn ein Kunde wütend zu werden droht – dank der Stimmungsanalyse – und einen menschlichen Operator auffordern, den Chat oder Anruf zu übernehmen.

Mein Kollege Carlos Valcarcel ist Solution Engineer – und steht an vorderster Front, wenn es darum geht, Fragen zu beantworten. Er erklärt, dass es sich bei einer Anfrage wie: “ Helfen Sie mir, ein Sparkonto zu eröffnen “ um eine Frage zum Arbeitsablauf handelt. Der Chatbot führt sie durch die verschiedenen Schritte, die für die Erledigung der Aufgabe erforderlich sind. Wenn jemand fragt: Wie eröffne ich ein Sparkonto? will er einfach nur eine Antwort. Carlos sagt mir: „Das QA-System beantwortet die Frage und lernt mit der Zeit, welche Antworten die besseren sind.“

In letzter Zeit hat sich die Verbesserung der Technologie darauf konzentriert, genauere Klassifikatoren zu entwickeln, um einige der größten Herausforderungen zu bewältigen. Dazu gehören die Analyse des Tons, die Erkennung von Ironie und Sarkasmus und das Verständnis des Kontexts und der Polarität des Gesprächs.

Suchmaschine für natürliche Sprache

Ähnlich wie bei QA-Systemen sind sich die meisten Unternehmen nicht bewusst, welche Ressourcen für die Bereitstellung eines Chatbot-Modells erforderlich sind. Sie benötigen eine Suchmaschine für natürliche Sprache, die Entitäten analysieren, Schlüsselwörter abgleichen und Deep Learning beherrschen kann.

Deep Learning Video

Außerdem muss die Leistung des Modells kontinuierlich bewertet werden und der Chatbot muss um domänenspezifisches Fachwissen erweitert werden. Das Unternehmen muss laufend Ressourcen für die Modellabstimmung und das Überwachungsmanagement bereitstellen. Wenn Sie diese Ressourcen nicht bereitstellen, wird die Leistung des Chatbots schnell sinken. Und das wird niemanden glücklich machen.

Doch mit der richtigen Wartung und Implementierung der Technologien können diese Systeme die Kunden ansprechen und ihr Erlebnis während der gesamten Customer Journey bis hin zum Kauf verbessern.

Jessica Taylor ist Marketingkoordinatorin und Praktikantin bei Lucidworks. Sie arbeitet auf einen Abschluss in International Business hin und interessiert sich für die Auswirkungen von Technologie auf die gesamte Customer Journey.