Fallstudie zum Verlagswesen: McClatchy Interactive setzt Open Source-Suche ein

Höhepunkte

• Die drastisch erhöhte Indexgeschwindigkeit verbessert die Aktualität und Relevanz der Benutzersuche
• Reduzierung der Anzahl der benötigten Server um 85% gegenüber der vorherigen proprietären Suchplattform
• Abschaffung der Lizenzgebühren im Zusammenhang mit der Suche
• 8 Monate von der Genehmigung durch das Management bis zur nahtlosen Integration in Dutzende von Medienseiten

Wettbewerbsfähig zu bleiben ist das A und O im Zeitungsgeschäft

Die McClatchy Company ist der drittgrößte Zeitungsverlag in den USA und besitzt 30 Tageszeitungen in 29 Märkten im ganzen Land. Dazu gehören die Sacramento Bee, ihre erste Zeitung und eine der ältesten im Westen, der Miami Herald, The News and Observer und andere.

Das unbarmherzige Wirtschaftsklima hat die Branche hart getroffen und geht einher mit grundlegenden Veränderungen im Verhalten von Lesern und Anzeigenkunden. Als Marktführer konzentriert sich McClatchy ganz besonders auf sein Online-Geschäftsmodell. McClatchy Interactive hat mehr Erfahrung als die meisten anderen – das Unternehmen startete im Frühjahr 1994 eine der ersten elektronischen Nachrichtenseiten im Internet, The Nando Times. Heute hat es sich McClatchy zur Aufgabe gemacht, seine Lokalzeitungen als führende Quelle für Online-Nachrichten in ihren jeweiligen Märkten zu etablieren, und zwar mit überzeugenden lokalen Online-Informationen sowie mit umfassenden Nachrichten, Werbung, E-Commerce und anderen Dienstleistungen. Ein Eckpfeiler der Online-Initiative ist es, den Online-Lesern dabei zu helfen, die relevanten Informationen zu finden, die sie suchen.

Open-Source-Technologien tragen direkt zum Geschäftsmodell von McClatchy bei, indem sie sowohl die Kapital- als auch die Betriebskosten minimieren, ohne Kompromisse beim Kundenerlebnis einzugehen. McClatchy Interactive hat sich für die führende Open-Source-Suchlösung Solr entschieden, um Kleinanzeigen in allen Online-Angeboten zu durchsuchen. Solr hat McClatchy Interactive bereits dabei geholfen, die Kosten drastisch zu senken und gleichzeitig die hohe Servicequalität für seine Online-Leser zu verbessern.

„Solr hat für uns Wunder bewirkt. Es ist einfach zu verstehen und einzusetzen und hat unsere Kosten drastisch gesenkt“, so Doug Steigerwald, Softwareentwickler bei McClatchy Interactive.

Der Sprung vom proprietären System zur Open-Source-Suche

Das alte Suchsystem des Unternehmens basierte auf einer proprietären, vorgefertigten Softwarelösung für die Unternehmenssuche, deren Wartung und Anpassung an neue Geschäftsanforderungen immer teurer wurde. Im Jahr 2007 beschloss das Unternehmen, seine Website-Suchfunktionalität selbst zu entwickeln und einen Suchdienst aufzubauen, der Kleinanzeigen in allen McClatchy-Objekten verarbeiten konnte.

Die Hauptverantwortung für die Entwicklung lag bei Doug, obwohl er in Teilzeit von einem anderen Mitglied der Softwareentwicklungsgruppe unterstützt wurde.

Es gab zwei Anforderungen. Die erste war, dass das neue Suchsystem die gleichen Funktionen und Möglichkeiten haben musste wie das bestehende Suchprodukt. Zweitens musste die Lösung nahtlos und für das Supportpersonal und die McClatchy-Zeitungen transparent sein. „Es durfte für niemanden außer der Entwicklung Arbeit bedeuten“, sagte Doug. „Und sie musste die gleiche oder eine bessere Leistung erbringen als das, was wir bereits hatten.

Warum Solr gewählt wurde

Solr ist die führende Open-Source-Suchlösung und zeichnet sich durch hohe Leistung und umfassende Funktionen aus. Dazu gehört die Facettierung, d.h. die Möglichkeit, nach Merkmalen des gewünschten Ergebnisses zu suchen. Wenn ein Leser beispielsweise nach einem Gebrauchtwagen sucht, kann er die Suchergebnisse nach Preisklasse oder Modelltyp eingrenzen und dann nur die Autos finden, die sich in der Nähe befinden.

Jede Suchlösung müsste die Anforderungen von McClatchy an die Suchpolitik erfüllen. Geschichten – die durchsuchbar oder nicht durchsuchbar sein können – erscheinen an vielen Stellen im gesamten Besitz von McClatchy Interactive. Eine durchsuchbare Geschichte muss auch dann durchsuchbar bleiben, wenn sie in einem nicht durchsuchbaren Bereich erscheint. Umgekehrt wird kontrolliert, welche Ergebnisse von einer Suche ausgeschlossen werden.

Bevor eine endgültige Entscheidung getroffen wurde, wurden umfangreiche Vergleiche zwischen Solr und dem bestehenden Suchpaket durchgeführt, bei denen Solr bessere, relevantere Ergebnisse lieferte. Die Entwickler stellten außerdem sicher, dass die Suchprozesse von Solr die Daten auf die gleiche Weise speichern wie das Altsystem, so dass nach der Einführung der neuen Lösung in der Produktion keine Probleme mit anderen verwandten Anwendungen auftreten würden. Die Solr-Implementierung bei McClatchy konnte die Altsoftware ersetzen, ohne dass wesentliche Backend-Funktionen geändert wurden. Doug sagt: „Nach unseren Recherchen hatten wir das Gefühl, dass Solr all das leisten kann, was wir mit unserem bestehenden proprietären System gemacht haben.“

Echte, schnelle Ergebnisse

Das Projekt begann im September 2007 und war im April 2008 in Produktion. Mit ihrer Erfahrung in der Open-Source-Entwicklung begannen die Entwickler mit der Evaluierung und dem Aufbau eines Suchsystems mit Solr. Die grundlegende Entwicklung, einschließlich der Schulungen für die beiden Entwickler, wurde im Januar 2008 abgeschlossen. Sobald die Pilotimplementierung betriebsbereit war, wurde an der Verbesserung der Geschwindigkeit und Genauigkeit gearbeitet. Eine zweimonatige Qualitätssicherung stellte sicher, dass alles wie vorgesehen funktionieren würde.

Um seine Ziele in Bezug auf Leistung und Relevanz zu erreichen, beauftragte McClatchy die Beratungsdienste von Lucid Imagination, um so schnell wie möglich das Beste aus seiner Implementierung herauszuholen. Das Team stellte eine Präsentation darüber zusammen, was McClatchy tat, und bat um eine Expertenmeinung darüber, wie das System in Bezug auf die Leistung besser werden könnte.

Lucid führte gemeinsam mit McClatchy eine umfassende Analyse der Protokolle und der Produktion aller Standorte durch, um ein Profil des Umfangs, der Vielfalt und der Häufigkeit der indizierten Daten zu erstellen. Für McClatchy konzentrierten sich die Empfehlungen von Lucid hauptsächlich auf die Konfiguration und das Schema – zum Beispiel, welche Feldoptionen geschlossen oder außer Acht gelassen werden können, um die Indizierung und die Antwortzeit der Abfragen zu verbessern.

Doug sagt: „Lucid Consulting war es definitiv wert. Sie haben uns geholfen, schneller voranzukommen, indem sie uns Wege aufgezeigt haben, wie wir Solr auf der Grundlage unserer Nutzung besser abstimmen können. Wir hätten einige Wochen mit dem Benchmarking und der Verfeinerung unserer Implementierung verbringen können, aber Lucid Consulting war in der Lage, unsere spezifische Suchumgebung in ein oder zwei Tagen zu optimieren.“

McClatchy Interactive heute

Die Solr-Implementierung führte zu beeindruckenden Kosteneinsparungen und Leistungssteigerungen. Da für Solr keine Lizenzkosten anfallen, konnte McClatchy durch den Wegfall der Lizenzgebühren für die zuvor gekaufte Softwareanwendung erhebliche Einsparungen erzielen. Einer der beeindruckendsten Vorteile dieser Solr-Implementierung war außerdem die drastische Reduzierung der Hardwareanforderungen. Für die alte Suche waren 24 Produktionsserver erforderlich, während der Solr-Suchdienst von McClatchy auf nur drei der vorhandenen Server läuft. Die restlichen 21 Server wurden für andere Zwecke frei. „Wir haben die Anzahl der benötigten Server wirklich reduziert“, erklärt Doug. „In Zukunft werden wir vielleicht ein oder zwei weitere hinzufügen, um den zusätzlichen Datenverkehr zu bewältigen und einige neue Dienste einzuführen.

Alle 30 Tageszeitungen von McClatchy arbeiten mit dem neuen System, und die kombinierte Anzahl von Rubriken- und Nachrichtensuchen erreicht 700.000 pro Tag – hauptsächlich aus Rubrikenabfragen. Jede Anzeigenkategorie und -klassifizierung wird in einem Solr-Index gespeichert. Solr ist auch mit dem Content Management System des Unternehmens verbunden, das alle Zeitungen bedient, um andere durchsuchbare Daten wie Geschichten, Kinoprogrammzeiten usw. zu indizieren. Darüber hinaus wird die gesamte Titelseite der Online-Eigenschaften von Solr unterstützt, einschließlich der Nachrichtensuche, der Filmsuche und mehr.

Auch weil es so einfach zu implementieren war, empfiehlt Doug Solr anderen Entwicklern, die gerade erst anfangen, Open Source zu erkunden. „Solr ist kostenlos und hat eine große, aktive Benutzerbasis, was sehr hilfreich ist“, sagt Doug. „Es war eine ganz andere Erfahrung als die proprietäre Software, die wir verwendet haben. Wir stellten fest, dass es einfacher war, Unterstützung zu erhalten, wenn wir auf Open Source setzten. Die Solr-Community bietet Unterstützung über die E-Mail-Liste für Entwickler, wo Sie erfahren können, wie andere Ihre Probleme bereits gelöst haben.“

McClatchy Interactive evaluiert Solr, um die Vorteile anderer Funktionen zu nutzen. Zum Beispiel testet Doug die Solr-Funktion „More Like This“, um den Lesern zu helfen, verwandte Artikel zu finden und die Verweildauer auf der Website zu erhöhen. Und wie Doug betont, kostet diese Funktion nichts extra.

Hardware

• 1 Master-Server, mit 8 GB RAM
• 2 Abfrageserver, jeder mit 16 GB RAM

Software

• Red Hat Enterprise Linux 5.3
• Steg
• Ruby on Rails
• Perl
• Java