Webinar-Zusammenfassung: Fragenbeantwortung und virtuelle Assistenten mit Deep Learning
Vor kurzem habe ich mit meinem Kollegen Andy Liu ein Webinar zum Thema „Fragenbeantwortung und virtuelle Assistenten mit Deep Learning“…
Vor kurzem habe ich mit meinem Kollegen Andy Liu ein Webinar zum Thema „Fragenbeantwortung und virtuelle Assistenten mit Deep Learning“ veranstaltet. Ich habe die vollständige Aufzeichnung unten verlinkt und teile diesen Beitrag, um einige der Punkte, die Andy und ich behandelt haben, genauer zu erläutern.
Zunächst einige Definitionen (mit Entschuldigung an die Deep Learning-Kenner da draußen, die bereits einiges davon wissen). Ein Question Answering (QA) System ist ein System, das automatisch Fragen beantwortet, die in natürlicher Sprache gestellt werden. Die Fragen sind in der Regel etwas länger als eine Standard-Schlüsselwortsuche.
Ein Chatbot ist ein Computerprogramm, das natürliche Sprachverarbeitung (NLP) und künstliche Intelligenz (KI) verwendet, um Fragen zu beantworten und weitere Fragen zu stellen, um eine Unterhaltung zu führen.
Deep Learning ist Teil einer breiteren Familie von Methoden des maschinellen Lernens, die auf den in künstlichen neuronalen Netzwerken verwendeten Schichten basieren. Das Lernen kann überwacht, halb-überwacht oder unüberwacht erfolgen.
Aktuelle Chatbot-Lösungen sind in der Regel eng auf einige wenige spezifische Bereiche ausgerichtet und decken keine breite Palette von Szenarien ab. Sie sind vielleicht in der Lage, Fragen für gängige Anwendungsfälle wie Hotelbuchungen oder Restaurantreservierungen sofort zu beantworten, können aber nur eine begrenzte Anzahl von Fragen bearbeiten.
Chatbot-Administratoren geben manuell Beispiele ein, legen Absichtsmuster fest, erstellen Ontologien oder verwenden regelbasierte Ansätze. Diese Chatbots nutzen nur selten die unternehmenseigenen Wissensdatenbanken. Sie lernen nicht wirklich und führen keine Konversation – sie folgen nur einem Skript.
Deep Learning zur Unterstützung von QA-Systemen
Bei Lucidworks AI Lab haben wir einen anderen Ansatz für die Entwicklung eines virtuellen Assistenzsystems gewählt. Wir verwenden Deep Learning, um QA-Lösungen zu entwickeln.
Callcenter und interne IT-Teams haben diese Systeme zur Selbsthilfe eingesetzt, um Anrufe oder Tickets zu vermeiden. E-Commerce-Teams haben Rules Engines für Produktempfehlungen eingesetzt.
Einige haben QA-Paare aus Slack- und E-Mail-Konversationen extrahiert, um einige Erkenntnisse zu gewinnen. Aber diese Altsysteme können ihre Intelligenz nicht mit dem Tempo des modernen Geschäfts skalieren. Sie können mit den sich ändernden Kundenerwartungen nicht Schritt halten. Da sie auf statischen Regeln und Ontologien basieren, geraten sie ins Hintertreffen, sind nicht mehr synchron und veranlassen die Benutzer dazu, wieder bei Google nach Antworten zu suchen.
Das Lucidworks Question Answering System empfiehlt automatisch Antworten aus einem dynamischen FAQ-Pool oder greift auf historische Daten zurück und findet relevante Antworten auf ähnliche Fragen, die bereits gestellt wurden.
Selbst wenn keine historischen Frage-Antwort-Paare existieren, können Sie mit einer Kaltstartlösung beginnen, die auf unüberwachtem Lernen basiert. Insgesamt können Sie die Suche bei langen Abfragen verbessern, indem Sie die neuronalen semantischen Suchfunktionen nutzen.
Deep Learning mit kleinen Trainingsmengen
Das Labs-Team führte eine umfassende Studie durch, in der verschiedene Methoden verglichen wurden. Dabei stellte sich heraus, dass ein auf Deep Learning basierender Ansatz die besten Ergebnisse liefert, selbst bei kleinen Trainingsdaten. Dieser Ansatz erfordert nicht die aufwendige Bearbeitung von Merkmalen, wie sie bei klassischen NLP-Ansätzen erforderlich ist.
QA-Systeme können in Docker-Containern trainiert werden, was die Verwendung vor Ort oder in der Cloud erleichtert.
In Verbindung mit dem Autopilot-Modus bietet es automatische Parameterabstimmung und dynamische Entscheidungen auf der Grundlage von Daten und Hardware-Informationen. Das bedeutet, dass Benutzer, die keine Datenwissenschaftler sind, QA-Module ausführen können und mit einem Minimum an Überwachung hochmoderne Ergebnisse erhalten. Datenwissenschaftler können auch einen erweiterten Modus ohne die Standardleitplanken verwenden.
Fusion unterstützt optimierte Abfrage-Pipelines, die eine schnelle neuronale Suche während der Laufzeit ermöglichen. Es nutzt die Token-basierte Suche von Solr oder das Dense Vector Clustering, um erste Kandidaten für ein weiteres Reranking durch das QA-Modell zu finden.
Wie wir im Webinar erwähnt haben, ist diese Funktionalität noch nicht allgemein in Lucidworks Fusion verfügbar, sondern steht ausgewählten Kunden bis zum Sommer zur Verfügung. Wenn Sie daran interessiert sind, diese Funktion zur Beantwortung von Fragen (QA) zu testen, können Sie die Lucidworks Question Answering-Lösung in einer frühen Vorschau testen , bevor sie im Sommer allgemein verfügbar wird.
Sava ist AI Research Engineer bei Lucidworks. Sein Hauptaugenmerk liegt auf der Erforschung, Entwicklung und Integration modernster NLP-Algorithmen in die Fusion AI-Plattform. Seine Arbeit hilft Nutzern dabei, relevantere Suchergebnisse zu erhalten, die zudem mit zusätzlichen Informationen wie Stimmungen, Themen, extrahierten benannten Entitäten usw. angereichert sind.