Comcast entscheidet sich für Solr als Unterhaltungsplattform

Die Comcast Corporation ist einer der größten Anbieter von Unterhaltungs-, Informations- und Kommunikationsprodukten und -dienstleistungen mit über 24 Millionen Kabelkunden, 15 Millionen High-Speed-Internetkunden und 6,5 Millionen Telefonkunden. Die Abteilung Comcast Interactive Media (CIM) hat die Aufgabe, das Internetgeschäft des Unternehmens zu entwickeln und auszubauen. CIMs Fancast.com – eine umfangreiche Online-Videosammlung von Fernsehsendungen, Filmen, Trailern und Clips – hat über 10 Millionen Nutzer pro Monat. Die Nutzer können die über 4 Millionen Inhalte der Website durchsuchen, um die gewünschte Unterhaltung zu finden.

Anforderungen/Herausforderungen

• Erfüllen Sie das Leistungsziel von 20 ms pro Abfrage bei Spitzenlast und skalieren Sie auf 1 Million Benutzer pro Tag.
• Bieten Sie eine einfache Suchoberfläche an, ohne die Anpassbarkeit zu beeinträchtigen.
• Niedrige Fix- und Betriebskosten
• Liefern Sie vollständige funktionale Suchfunktionen

Die Comcast Corporation ist einer der größten Anbieter von Unterhaltungs-, Informations- und Kommunikationsprodukten und -dienstleistungen mit über 24 Millionen Kabelkunden, 15 Millionen High-Speed-Internetkunden und 6,5 Millionen Telefonkunden. Die Abteilung Comcast Interactive Media (CIM) hat die Aufgabe, das Internetgeschäft des Unternehmens zu entwickeln und auszubauen. CIMs Fancast.com – eine umfangreiche Online-Videosammlung von Fernsehsendungen, Filmen, Trailern und Clips – hat über 10 Millionen Nutzer pro Monat. Die Nutzer können die über 4 Millionen Inhalte der Website durchsuchen, um die gewünschte Unterhaltung zu finden.

Herausforderungen

Die Suche ist entscheidend für die Geschäftsziele von Fancast – die Nutzer sollen so schnell und intuitiv wie möglich zu den gewünschten Medieninhalten gelangen. Die Suchimplementierung musste drei zentrale Herausforderungen meistern:
1. Eine einfache Suchoberfläche anbieten, idealerweise ein einfaches Feld – ohne dabei die Anpassungsfähigkeit zu opfern, um die Bedürfnisse der Benutzer ständig zu erfüllen und zu übertreffen, ohne sie direkt der Komplexität der Inhalte auszusetzen
2. Massive Inhalte – buchstäblich alle TV- und Unterhaltungsinhalte – in einer Größenordnung zu handhaben, die dem Datenverkehr und der Reichweite des Massenmarktes entspricht.
3. Niedrige Fix- und Betriebskosten in Form von dediziertem Entwicklungs- und Supportpersonal und minimaler zusätzlicher Hardware zu erreichen.

Funktions- und Leistungsanforderungen

Fancast verwendet Metadaten aus vielen verschiedenen Drittquellen wie IMDB.com (die Internet Movie Database) und Tribune Media Service. Jede dieser Drittanbieter-Quellen hat ihr eigenes spezifisches Format sowie unterschiedliche Aktualisierungszeitpläne für die Inhalte, und keine dieser Quellen verfügt über einen umfassenden Metadatenspeicher mit einheitlichen Daten und Beschreibungen. Die offiziellen Hollywood-Spider-Man-Filmtitel von Marvell Entertainment verwenden beispielsweise zwei Wörter mit Bindestrich, die meisten Benutzer geben sie jedoch als ein Wort ohne Bindestrich ein.

Die Fähigkeit, einen aussagekräftigen Index zu präsentieren, war nicht nur für die Benutzererfahrung wichtig, sondern auch ein entscheidendes Unterscheidungsmerkmal für das beste Sucherlebnis. Wer nach Jessica Simpson sucht, möchte wahrscheinlich nicht bei Homer Simpson landen.

Was die Leistung anbelangt, so war das Ziel, innerhalb von 16 Monaten von 50.000 auf 1 Million Besucher pro Tag zu wachsen. Um sicherzustellen, dass die in Frage kommenden Suchtechnologien dieses Ziel erreichen konnten, definierte CIM eine klare Skalierungsmetrik, bei der die Antwortzeit auf Suchanfragen unter 20 ms/Abfrage bei Spitzenlast liegen sollte, in der gleichen Größenordnung wie bei den Website-Interaktionen. Skalierungs- und Kapazitätsziele wurden auch auf der Ebene des Anwendungsservers festgelegt, so dass ein einziger physischer Anwendungsserver mehrere Serverinstanzen beherbergen konnte, die jeweils ein ähnliches Skalierungsprofil aufwiesen. Dies vereinfachte auch die Größenvorgaben für das Betriebsteam, um zu berechnen, wie viele Server für eine bestimmte Anzahl von Benutzern benötigt würden.

Prüfung & Bewertung

CIM hat zwei Suchalternativen in die engere Wahl gezogen: Solr, der Lucene-Suchserver, und ein großes bekanntes kommerzielles Suchprodukt. Um den Finalisten auszuwählen, wurde eine Testumgebung mit Indizes von zwei Millionen und vier Millionen Dokumenten auf jedem der Sun x64-Server mit Red Hat Linux eingerichtet. Zur Überprüfung der Ergebnisse und zur Optimierung der Solr Lucene-Suchinfrastruktur beauftragte CIM Lucid Imagination. Die Berater des kommerziellen Anbieters taten dasselbe mit ihrer Lösung. Das CIM-Team führte Benchmarking-Tests der Abfrage-Antwortraten bei verschiedenen Belastungsgraden durch, die von 100 bis 1500 Anfragen pro Sekunde reichten, sowie Stresstests an Ausfallpunkten.

Das Ergebnis: Solr übertraf die kommerzielle alternative Suchlösung, sowohl bei den Antwortraten als auch bei der Fehlerbehandlung. Es stand außer Frage, dass Solr die gesetzten Leistungsziele erfüllen konnte.

CIM stellte außerdem eine Liste mit 180 Funktionsmerkmalen zum Vergleich zusammen. Neben seiner überragenden Leistung hatte Solr auch bei den Funktionen und den Betriebskosten die Nase vorn, um die Geschäftsziele von CIM zu erreichen.

Die Entscheidung für Solr

Solr hat es in die Endauswahl geschafft:

• Vorteile bei Leistung und Skalierbarkeit
• Erforderliche Suchfunktionen
• Organisatorische Eignung
• Gesamtbetriebskosten
• Aktive Lucene/Solr Open Source Entwicklergemeinschaft
• Andere große Unternehmen, die erfolgreich auf Solr gesetzt haben (CNET, Netflix, MySpace, Orbitz)

Neben der Verfügbarkeit von Community- und kommerziellem Support profitierte CIM von der umfassenden Suchkompetenz von Lucid Imagination, um seine Solr-Implementierung gemäß den Best Practices zu konfigurieren und die Skalierbarkeit zu optimieren.

„Die Beauftragung von Lucid Imagination hat aus einer Plattform mit hohem Potenzial, die unseren Mitarbeitern gefiel, eine zuverlässige, leistungsstarke Plattform gemacht, die unsere Geschäftsleitung wirklich zufrieden stellt.“ Ranga Muvavarirwa, Direktor Produktplanung, Comcast Interactive Media