Entwicklung des Modells für die optimale Relevanzbewertung bei Dice.com

Während wir den Countdown für die jährliche Lucene/Solr Revolution Konferenz in Las Vegas nächsten Monat herunterzählen, heben wir Vorträge und Sitzungen von vergangenen Konferenzen hervor. Heute stellen wir Ihnen den Vortrag von Simon Hughes von Dice.com mit dem Titel „Evolving the Optimal Relevancy Scoring Model at Dice.com“ vor.

Ein beliebtes Konferenzthema der letzten Jahre ist die Verwendung von maschinell erlerntem Ranking (MLR), um die Top-Ergebnisse einer Solr-Abfrage neu zu ordnen und so die Relevanz zu verbessern. Solche Ansätze versäumen es jedoch, zunächst sicherzustellen, dass sie die optimale Abfragekonfiguration für ihre Suchmaschine haben, ohne die die neu gerankten Ergebnisse möglicherweise nicht die relevantesten Elemente für jede Abfrage enthalten (was den Recall verringert). Solr bietet zahlreiche Konfigurationsoptionen, mit denen Sie steuern können, wie die Dokumente hinsichtlich der Relevanz für die Abfrage eines Benutzers eingestuft und bewertet werden, z. B. welche Booster den einzelnen Feldern zugewiesen werden und wie stark phrasale Übereinstimmungen verstärkt werden sollen. Es ist üblich, dass Unternehmen diese Parameter manuell einstellen, um die Relevanz zu optimieren. Dieser Prozess ist jedoch sehr subjektiv und führt nicht garantiert zu optimalen Ergebnissen. Wir werden einen datengesteuerten Ansatz zur Relevanzabstimmung vorstellen, bei dem Optimierungsalgorithmen, wie z.B. evolutionäre Algorithmen, eingesetzt werden, um eine Abfragekonfiguration zu entwickeln, die die Relevanz der zurückgegebenen Ergebnisse anhand von Daten aus unseren Abfrageprotokollen optimiert. Wir werden auch erörtern, wie wir mit der Entwicklung eines benutzerdefinierten Ähnlichkeitsalgorithmus experimentiert haben, um die BM25- und tf.idf-Ähnlichkeit in unserem Datensatz zu übertreffen. Schließlich werden wir die Gefahren positiver Rückkopplungsschleifen beim Training von maschinengelernten Ranking-Modellen erörtern.

Mitmachen auf der Lucene/Solr Revolution 2017, der größten Open-Source-Konferenz zum Thema Apache Lucene/Solr vom 12. bis 15. September 2017 in Las Vegas, Nevada. Treffen Sie sich mit den Vordenkern, die die Open-Source-Suchtechnologie Lucene/Solr entwickeln und einsetzen, und vernetzen Sie sich mit ihnen. Alle Details und Anmeldung…