Maschinelles Lernen in Fusion 4
Fusion 4 ist die neueste Version unserer KI-gestützten Suchplattform und eine der bisher umfangreichsten Versionen. Fusion 4 setzt die Entwicklung unserer Kombination aus Solr und Spark fort und fügt die Option hinzu, App Studio einzusetzen (basierend auf unserer Übernahme von Twigkit). Mehr über Fusion 4 erfahren Sie in dem kürzlich durchgeführten Webinar.
Fusion 4 ist ein wichtiger Schritt für die Branche, um zu verstehen, wie zentral die Suche für den praktischen Einsatz von künstlicher Intelligenz im Allgemeinen und maschinellem Lernen im Besonderen ist. Dafür gibt es viele Bezeichnungen: kognitive Suche, Erkenntnismaschinen und KI-gestützte Suche. Es bedeutet jedoch, dass wir mit dem maschinellen Lernen die Ära hinter uns gelassen haben, in der die bloße Suche nach Schlüsselwörtern und Schlüsselbegriffen ausreichend war. Fusion macht maschinelles Lernen für jedes Unternehmen zugänglich und vereinfacht seine Implementierung in der gesamten IT-Organisation.
Schauen wir uns die maschinellen Lernfunktionen von Fusion 4 genauer an.
Signale
Doch bevor wir uns mit dem maschinellen Lernen befassen, sollten wir uns die Daten ansehen, die ihm zugrunde liegen: Signale. Sie senden in diesem Moment Signale. Sie haben auf einen Beitrag über maschinelles Lernen und Fusion 4 geklickt, entweder über einen Link auf unserer Website oder in unserem Blog, über eine E-Mail oder über ein Suchergebnis. Sie haben es bis hierher auf die Seite dieses Beitrags geschafft. Wenn ich das in Daten umwandle und an Fusion sende, kann Fusion diese Verhaltensdaten nutzen, um die Suchergebnisse zu optimieren. Für Entwickler bedeutet dies, dass sie Klicks erfassen und sie als JSON an einen REST-Endpunkt senden. Das sieht dann so aus:
[
{
"id":"288fe4f7-6680-403e-8d18-27647cdd9989",
"timestamp":1518717749409,
"type":"request",
"params":{
"user_id":"admin",
"session":"ef4e00cd-91bb-45b4-be80-e81f9f9c5b27",
"query":"USER QUERY HERE",
"app_id":"SEARCH APP ID",
"ip_address":"0:0:0:0:0:0:0:1",
"host":"Lucids-MacBook-Pro-5.local",
"filter":[
"field1/value",
...
],
"filter_field":[
"field1"
]
}
}
]
Anhand dieser Daten kann Fusion auf die Interessen der Benutzer schließen. Auf der Grundlage dieser Interessen kann Fusion die Suchergebnisse anpassen und Empfehlungen aussprechen. Es gibt zwar auch andere Formen von Signaldaten (Standort, Warenkorbzugänge, Retouren usw.), aber diese Art von „Clickstream“-Daten ist bei weitem die häufigste.
Signalverstärkung
Fusion 4 passt sich selbst an. Je mehr Nutzer eine Suchanfrage stellen und klicken, desto besser wird die Qualität der Suchergebnisse. Dies basiert auf „Signalverstärkung“.
Betrachten wir das Ganze in möglichst einfachen Worten:
Die meisten Benutzer neigen dazu, auf den ersten Eintrag in einer Reihe von Ergebnissen zu klicken und jedes weitere Ergebnis auf der Seite erhält weniger Klicks. Wenn Benutzer auf ein zweites oder drittes Ergebnis klicken, sollte dieses Ergebnis wahrscheinlich weiter oben auf der Seite stehen. Fusion 4 enthält standardmäßig „Boost with Signals“ in seiner Abfrage-Pipeline. Alles, was Ihre Suchanwendung tun muss, ist, ihr die Signale zu senden. Puristen mögen sich fragen, ob es sich hierbei überhaupt um maschinelles Lernen handelt, da es sich im Grunde nur um „Zählen“ handelt, aber der Effekt ist, dass das System „lernt“, dass die letzteren Ergebnisse besser sind.
Empfehlungsgeber
Empfehlungsprogramme sind das einfachste und offensichtlichste KI-Tool für die Suche. Im einfachsten Fall wissen Sie durch explizites Feedback und implizite Aktionen etwas über einen Nutzer, seine Vorlieben und Wünsche. Für den E-Commerce ist das ganz einfach. Wir haben über die Verwendung von Empfehlungsprogrammen im Webinar KI und maschinelles Lernen für den Omnichannel-Einzelhandel und im ebook Create and Amazon-like Experience with Fusion gesprochen.
Empfehlungsprogramme sind jedoch nicht nur für den Einzelhandel nützlich, sondern auch für Suchanwendungen in Unternehmen (und überall sonst, wo Sie die Suche verwenden). Wenn Sie in Ihrem Unternehmensintranet nach „Employee Benefits 2018“ suchen, könnte Sie auch ein PDF mit dem Dateinamen „Updates_to_Your_401k_Plan_for_2018“ interessieren. Wenn Sie mit anderen Anwendern an demselben Projekt arbeiten, ist es wahrscheinlich, dass Sie sich ähnliche Dokumente ansehen. Was auch immer der Fall ist, Fusion 4 kann automatisch lernen, was die Benutzer brauchen!
Empfehlungsprogramme verwenden Ereignisse (Signale), die von Benutzeraktivitäten gesammelt werden, z. B. wenn ihnen etwas gefällt, sie auf etwas klicken oder etwas abfragen. Basierend auf diesen Signalen und dem, was andere ähnliche Nutzer getan haben, können wir diesen Nutzern Dinge empfehlen. Empfehlungen können je nach Kontext unterschiedliche Formen annehmen:
- Artikel für den Benutzer – Welche anderen Artikel könnten aufgrund der Historie des Benutzers von Interesse sein?
- Artikel für Artikel – Andere Benutzer, die sich für diesen bestimmten Artikel interessierten, interessierten sich auch für andere Artikel.
- Benutzer für Artikel – Welche Benutzer könnten an diesem Artikel interessiert sein?
Klassifizierung
Wenn Sie versuchen, die Interessen der Nutzer zu bestimmen, ist die „Art“ der Dinge, für die sie sich interessieren, oft ein guter Indikator. Für den Einzelhandel bedeutet dies Dinge wie die Abteilung oder Kategorie, in der sich das Produkt befindet. Was aber, wenn diese Daten nicht von vornherein festgelegt sind?
Mit Fusion können Sie Daten automatisch klassifizieren. Sie können diese Daten sogar verwenden, um den Benutzern dabei zu helfen, die Daten auf die gewünschte(n) Abteilung(en) zu fokussieren oder zu filtern. Dies ist zwar für den digitalen Handel und den Einzelhandel naheliegend, gilt aber genauso für Suchanwendungen in Unternehmen oder im Finanzbereich (oder überall sonst, wo Sie eine Suche verwenden).
Die Klassifizierung ist eine überwachte Lernmethode. Das bedeutet, dass Sie Fusion zunächst eine Reihe von Daten geben, die bereits klassifiziert worden sind. Auf dieser Grundlage lernt es, wie es zukünftige Objekte klassifizieren soll.
Intention abfragen
Wenn wir Daten klassifizieren, können wir dieses Verständnis nutzen, um Benutzeranfragen zu klassifizieren. Das heißt, wenn ein Benutzer „elvis blue suede“ eintippt, könnte das System diese Anfrage als Musik klassifizieren. Wenn der Benutzer „blue suede shoes waterproof“ eintippt, könnte das System herausfinden, dass es sich um Schuhe handelt. Auf dieser Grundlage kann das System entscheiden, ob es unsere zuvor klassifizierte Abteilung verstärken oder filtern soll.
Die Stärke dieser Funktion liegt im Einzelhandel auf der Hand, aber sie ist auch ein wichtiges Werkzeug für die Unternehmenssuche oder das Finanzwesen. Stellen Sie sich vor, ich suche nach „Interne Sozialleistungen“ oder „IBM 10-k-Filings“. Wenn das System automatisch erkennt, dass ich meine Suche auf „HR-Dokumente“ oder „Jahresabschlüsse“ oder „10-k-Filings“ beschränken sollte, wird dies meine Ergebnisse wahrscheinlich erheblich verbessern. Sicherlich kann ein Benutzer, der eine Facette auswählt, dies selbst tun, aber Dokumente fallen in der Regel in mehrere Kategorien. Nur weil das Team, das für die Kategorisierung eines Dokuments zuständig ist, es zufällig als „HR-Dokument“ kategorisiert hat, heißt das noch lange nicht, dass der Benutzer diese Assoziation herstellen wird. Es ist besser, ein System zu haben, das intuitiv erkennt, was ein Benutzer meint, so dass er das, was er braucht, leicht finden kann, ohne ein ganzes Ablagesystem lernen zu müssen, insbesondere eines, das sich ändern kann.
Clustering
Neben der Schwierigkeit, eine Sammlung von Dokumenten zu kategorisieren, gibt es auch die Herausforderung, sie in Kategorien einzuordnen. Eine Möglichkeit besteht darin, die Option des unbeaufsichtigten Lernens von Fusion, das Clustering, zu verwenden, um Dokumente automatisch zu kategorisieren und Ausreißer zu finden.
Was gilt als Ausreißer? Vielleicht schreibt ein Hersteller „Farbe“ anstelle von „Farbe“ oder es gibt häufige Rechtschreibfehler bei einem bestimmten Anbieter. Ausreißer sind einfach Dokumente, die in keine der Kategorien passen, die unser System erkennen kann. Ausreißer können nützlich sein, um anomales Verhalten oder Dokumente in Ihrem System zu erkennen. Anhand dieser Informationen können Sie die Ergebnisse optimieren, um die Ausreißer besser zu berücksichtigen.
Sie können nicht nur Daten kategorisieren, sondern auch eine Menge über die Sammlung erfahren, die Sie indizieren. Im E-Commerce zum Beispiel, welche Art von Produkten jeder Hersteller tendenziell herstellt.
Experimente
In der Regel gibt es mehr als eine Möglichkeit, etwas zu tun. Vielleicht wurde Ihre Anwendung bei der ursprünglichen Bereitstellung mit einer einfachen Signalverstärkung konfiguriert, um die Relevanz zu verbessern. Aber jetzt möchte Ihr Team herausfinden, ob eine stärker personalisierte Suche mit Empfehlungen tatsächlich besser ist. Oder vielleicht haben Sie damit begonnen, Kategorien mit Abfrageabsicht und Filterung zu versehen. Jemand fragt, „aber erhalten wir tatsächlich bessere Ergebnisse“. Wie beantworten Sie diese Frage?
Sie experimentieren. Sie schicken einen gewissen Prozentsatz der Anfragen über den einen Pfad und einen anderen Satz von Anfragen über den anderen. Wenn es sich um eine web- oder mobilbasierte Suche handelt, ist natürlich die Konfiguration mit den meisten Klicks (Click-Through-Rate oder CTR) die bessere.
Mit Fusion können Sie dies automatisch konfigurieren und Sie erhalten sogar praktische Diagramme, um zu beweisen, dass es funktioniert hat. Vielleicht möchten Sie auch etwas anderes als die CTR messen. Fusion wird Ihnen auch dabei helfen.
Lernen zu ranken
Fusion 4 enthält Solr 7. Solr hat kürzlich einen Algorithmus namens „Learning to Rank“ hinzugefügt . Learning to Rank (LTR) ist ein weiteres Klassifizierungstool. Grundsätzlich ist der Algorithmus, den die Suche verwendet (standardmäßig BM25 in Fusion), manchmal nicht ausreichend. Stattdessen muss eine Kombination aus „Eigenschaften“ der Daten und der Art und Weise, wie die Benutzer die Daten tatsächlich nutzen, dem System beibringen, wie es eine Reihe von Ergebnissen ordnen soll. Am 4. April findet ein Webinar zum Thema Learning to Rank statt, in dem wir einige der Ergebnisse, die Sie erwarten können, wenn Sie LTR mit den Signalfunktionen von Fusion kombinieren, genauer erläutern werden.
Kopf-Schwanz
Obwohl es sich wie ein beliebtes Shampoo anhört, ist es in Wirklichkeit eine Möglichkeit, mehr über Ihre beliebtesten Suchanfragen (Kopf) sowie die Ausreißer (Schwanz) zu erfahren und zu erfahren, wie Sie diese verbessern können.
Wir haben ein Webinar zum Thema„Fusion 4 Head-n-Tail-Analyse“ sowie ein technisches Dokument, in dem erklärt wird, wie Sie die Head-n-Tail-Analyse zur Optimierung Ihrer Ergebnisse einsetzen können.
Apache Spark FTW!
Fusion 4 fügt eine beträchtliche Menge an KI-Fähigkeiten hinzu, es ist auf den Schultern eines Giganten, Apache Spark, aufgebaut. Dadurch haben Sie die Möglichkeit, Ihre eigenen Spark-basierten maschinellen Lernaufträge hinzuzufügen und sogar Spark zu verwenden, um in Fusion gespeicherte Daten zu manipulieren.
…und vieles mehr!
Dies sind nur die Highlights der KI-gestützten Suchfunktionen in Fusion 4. Dinge wie Ground Truth, Co-ocurrence und Levenshtein Spell Checking haben wir noch gar nicht erwähnt. Fusion 4 ist ein großer Sprung nach vorn bei der intelligenten, selbstoptimierenden KI-gestützten Suche.