A/B-Tests Ihrer Suchmaschine mit Fusion 4.0

Von Head-Tail-Rewriting über Empfehlungen bis hin zu kollaborativem Filtering auf der Basis von Boosting bietet Lucidworks Fusion eine ganze Reihe von Strategien, mit denen Sie die Relevanz Ihrer Suchergebnisse verbessern können. Aber herauszufinden, welche Strategien für Ihre Nutzer am besten funktionieren, kann eine entmutigende Aufgabe sein. Das neue Experiment-Management-Framework von Fusion hilft Ihnen, verschiedene Ansätze A/B zu testen und herauszufinden, was für Ihr System am besten funktioniert.

Was ist A/B-Testing?

A/B-Tests sind im Wesentlichen eine Möglichkeit, zwei oder mehr Varianten von etwas zu vergleichen, um festzustellen, welche nach bestimmten Kriterien besser abschneidet. Bei der Suche sind die Varianten in einem A/B-Test in der Regel verschiedene Suchpipelines, die Sie vergleichen möchten; die Metriken sind in der Regel Aspekte des Benutzerverhaltens, die Sie analysieren möchten. Nehmen wir zum Beispiel an, Sie möchten herausfinden, wie sich die Aktivierung der Stufe „Artikel zu Artikel-Empfehlung“ von Fusion auf die Klickrate der Suchanfrage auswirkt.

Sie beginnen damit, zwei Pipelines zu erstellen, eine mit einer Basisrelevanzmessung und eine mit dieser Vorgabe plus aktivierten Artikel-zu-Artikel-Empfehlungen.

Fusion verfügt über ein Vergleichstool, mit dem Sie die Ergebnisse von zwei Pipelines nebeneinander abfragen und anzeigen können.

Wie Sie sehen können, liefern beide Pipelines für die spezielle Abfrage ipod case unterschiedliche Ergebnisse, aber beide scheinen vernünftig zu sein. Wie können wir feststellen, welche besser ist? Das sollen uns die Benutzer unseres Systems sagen. Starten wir ein Experiment, um zu sehen, welche Pipeline eine höhere Klickrate liefert. So können wir feststellen, welche Pipeline für unsere Nutzer relevantere Ergebnisse liefert.

Um ein Experiment einzurichten, navigieren Sie zum Experimentmanager in Fusion. Wählen Sie die beiden Pipelines als Ihre Varianten und CTR als Ihre Metrik. Wenn Sie Ihre Varianten einrichten, sehen Sie die Option, auszuwählen, was in jeder Variante variiert. Dies ist im Wesentlichen der Parameter, den Sie zwischen Ihren Varianten ändern möchten.

Fusion ermöglicht es Ihnen, die Pipeline, die Parameter oder die Sammlung zu variieren. In diesem Fall vergleichen wir zwei Abfrage-Pipelines, also wähle ich Query Pipeline für beide Varianten. Beachten Sie auch, dass wir auf der linken Seite angeben können, wie viel Datenverkehr an jede Variante weitergeleitet wird. Da wir in diesem Fall eine Standard-Pipeline haben und nur sehen möchten, ob die Aktivierung der Empfehlungsphase die Pipeline verbessert, leiten wir weniger Datenverkehr an die Empfehlungs-Pipeline weiter und lassen die meisten unserer Nutzer die „guten“ Standard-Suchergebnisse sehen, die wir bereits haben. Eine Aufteilung von 80/20 scheint vernünftig, also werde ich die Gewichtung der primären Variante auf 8 und die der sekundären Variante auf 2 setzen.

Das bedeutet, dass 80 % des Datenverkehrs über die Standard-Pipeline und 20 % über unsere experimentelle Variante abgewickelt werden.

Fusion bietet auch eine Reihe von Metriken, die Sie für jede Variante berechnen können.

Sie können so viele oder so wenige dieser Metriken auswählen, wie Sie möchten. Für die Zwecke dieses Experiments konzentrieren wir uns auf die Klickrate. Weitere Informationen zu den anderen Metriken finden Sie in unserer Dokumentation hier.

Sobald Sie Ihr Experiment konfiguriert und gespeichert haben, sollte Ihre Seite in etwa so aussehen. Klicken Sie auf Speichern.

Um mit dem Sammeln von Daten für ein Experiment zu beginnen, muss das Experiment entweder mit einem Abfrageprofil oder einer Abfrage-Pipeline verknüpft werden. Wenn ein Benutzer auf den API-Endpunkt zugreift, der mit dem Abfrageprofil oder der Abfragepipeline verknüpft ist, wird er automatisch in das Experiment aufgenommen und zu einer bestimmten Variante weitergeleitet. Verknüpfen wir dieses Experiment mit dem Standard-Abfrageprofil, das mit meiner App verknüpft ist. Weitere Informationen zu Abfrageprofilen finden Sie hier in unserer Dokumentation .

Sie sollten das Kontrollkästchen Experimentieren aktivieren sehen. Wählen Sie das soeben eingerichtete Experiment aus und klicken Sie auf Speichern. Klicken Sie dann auf Experiment ausführen. Der Bildschirm sollte nun wie folgt aussehen:

Sobald ein Experiment läuft, ist es gesperrt. Das bedeutet, dass Sie die Varianten oder die gesammelten Metriken nicht ändern können, ohne das Experiment anzuhalten und neu zu starten. Dies soll verhindern, dass ungenaue Metriken gesammelt werden. Jetzt haben wir ein laufendes Experiment! Jedes Mal, wenn ein Benutzer auf den Endpunkt am Ende des Abfrageprofils zugreift, wird er zu diesem Experiment weitergeleitet.

80 % der Benutzer, die auf diesen Endpunkt zugreifen, sehen die Ergebnisse aus der Standard-Relevanz-Pipeline und 20 % sehen die Ergebnisse aus der Empfehlungen-Test-Pipeline. Lassen Sie uns nun die Ergebnisse des Experiments untersuchen. Wenn Sie zum Experiment-Manager zurückkehren und das soeben erstellte Experiment auswählen, wird eine Schaltfläche „Experimentergebnisse“ angezeigt. Wenn Sie darauf klicken, gelangen Sie auf eine Seite, die wie folgt aussieht:

Sie werden sehen, dass der Konfidenzindex Null ist. Das bedeutet, dass noch nicht genug Datenverkehr durch Ihr Experiment läuft, um statistisch signifikante Daten anzuzeigen. Warten wir noch eine Weile, lassen Sie die Benutzer mit dem System interagieren und kommen Sie dann auf die Ergebnisse zurück. Nach einiger Zeit sollten die Ergebnisse eher wie folgt aussehen:

Es sieht so aus, als ob die Empfehlungspipeline durchweg besser abschneidet. Jetzt, da wir das wissen, können wir das Experiment beenden und die Empfehlungspipeline in die Produktion überführen. Fusion Experiment Management hat uns geholfen, relevante Daten zu sammeln und eine fundierte Entscheidung über das Suchsystem zu treffen!

A/B-Tests sind ein wichtiger Bestandteil einer funktionierenden Sucharchitektur. Mit Experimenten können Sie verwertbare Daten darüber sammeln, wie Ihre Benutzer mit dem Suchsystem interagieren.

Nächste Schritte

• Erfahren Sie mehr über Fusion 4 in unserem zuvor aufgezeichneten Webinar Fusion 4 Overview.
• Nehmen Sie Kontakt mit uns auf, wir würden uns freuen, von Ihnen zu hören.