Die hohe Messlatte für Relevanz?
Ein großer Teil der Milliarden, die in Suchmaschinenmarketing und Suchmaschinenoptimierung, SEM und SEO, fließen (meist an Sie-wissen-schon-wen), wird dafür ausgegeben, auf Seite 1 der Suchergebnisse zu gelangen.
Ich werde nicht der Erste sein, der darauf hinweist, dass die Relevanz für die interne Suche – d.h. ohne Verwendung von Pagerank – eine härtere Nuss ist. Wie viel schwieriger? Eine aktuelle Studie der Aberdeen Group, die diese Woche in der Information Week veröffentlicht wurde, liefert die folgende Statistik:
Bei den leistungsstärksten Unternehmen [definiert als „Best in Class“, d.h. die besten 20% der befragten Unternehmen] lieferten 67% der Suchanfragen die relevantesten Ergebnisse auf der ersten Suchergebnisseite, während Unternehmen mit niedrigeren Bewertungen nur bei 42% der Suchanfragen relevante Ergebnisse auf der ersten Seite sahen.
Im besten Fall liefert 1 von 3 Suchanfragen nicht die richtigen Ergebnisse auf der ersten Ergebnisseite. Mit anderen Worten, der beste Fall für search=find liegt bei 67%.
Relevanz ist sowohl eine Kunst als auch eine Wissenschaft. Die besten Lösungen für das Problem sind diejenigen, die einen Weg bieten, die Kunst mit der Wissenschaft in Einklang zu bringen. Wenn Sie etwas Hintergrundwissen zum Thema Relevanz benötigen, lesen Sie den bahnbrechenden Artikel über Relevanz und Auffindbarkeit von Grant Ingersoll und sehen Sie sich den ausgezeichneten Vortrag zu diesem Thema von Mark Bennett von New Idea Engineering an, den er auf dem letzten SFBay Lucene/Solr Meetup hielt, das wir Anfang September gemeinsam mit dem Computer History Museum veranstaltet haben.
Eine der besten Implementierungen der Auffindbarkeit in Lucene und Solr, auf die ich gestoßen bin, ist bei Netflix. Walter Underwood, der an der Entwicklung der Solr-Suchinfrastruktur bei Netflix beteiligt war (ein Meilenstein in einer sehr bedeutenden Karriere im Bereich der Suche), hat eine sehr schöne Diskussion in einigen Folien festgehalten. Er hat bei diesem jüngsten Meetup ebenfalls eine hervorragende Präsentation gehalten.
Eine wichtige Kennzahl, die Walter bei Netflix verwendet, um die Effektivität der Suche zu messen, ist der Mean Reciprocal Rank (MRR). Einfach ausgedrückt, gibt es einen Punkt für einen Klick auf den erstplatzierten Artikel, 1/2 Punkt für den zweitplatzierten Artikel, 1/3 Punkt für den drittplatzierten Artikel, usw. Das hilft zwar nicht bei der Suche nach Relevanzfehlern, liefert aber ein sehr schönes Gesamtbild der Erfahrungen, die die Benutzer bei der Suche nach dem Gesuchten machen. Ein guter Richtwert oder Stretch Goal ist laut Walter: 0,5 MRR, wobei 85% der Klicks auf #1 fallen.
Lassen Sie mich gleich sagen, dass vieles am Anwendungsfall der Netflix-Suche einzigartig ist (und vieles wirklich Spaß macht). Aber der Kontrast zwischen 85 % der Ergebnisse, die auf Platz 1 der Ergebnisliste stehen, und 2/3 der Ergebnisse auf der ersten Seite bei den besten Suchimplementierungen in Unternehmen wirft bei mir die Frage auf: Was tun andere, um die Relevanz zu messen und programmatisch Feedbackschleifen zu erstellen, ob automatisch oder nicht? Lucene und Solr bieten transparente, reichhaltige Schnittstellen für diese Zwecke, und laut der Aberdeen-Studie gibt es viele Möglichkeiten, dies zu tun.