Verbesserte Suche für Rackspace Email
Während der Countdown für die jährliche Lucene/Solr Revolution Konferenz in Boston im Oktober läuft, stellen wir Ihnen die Vorträge und Sitzungen der vergangenen Konferenzen vor. Heute stellen wir Ihnen den Vortrag von George Bailey und Cameron Baker vor: „Rackspace Email’s solution for indexing 50k documents per second“.
Die Kunden von Rackspace Email brauchten schon immer die Möglichkeit, Login-, Routing- und Zustellinformationen für ihre E-Mails zu suchen und zu überprüfen. Im Jahr 2008 wurde eine Lösung mit Hadoop MapReduce entwickelt, um alle Protokolle von Hunderten von Servern zu verarbeiten und Solr 1.4-Indizes zu erstellen, die die Suchfunktionalität bereitstellen sollten. Im Laufe der nächsten Jahre wuchs die Anzahl der Server, die die Protokolldaten erzeugten, von Hunderten auf mehrere Tausend, so dass der Cluster aus Hadoop- und Solr 1.4-Servern auf ~100 Server anwachsen musste. Dieses Wachstum führte dazu, dass die MapReduce-Jobs zur Indizierung der Daten zwischen 20 Minuten und mehreren Stunden dauerten.
Im Jahr 2015 machte sich Rackspace Email daran, diesen ständig wachsenden Bedarf an der Indizierung und Durchsuchung von Milliarden von Ereignissen von Tausenden von Servern zu lösen und entschied sich für SolrCloud 5.1. In diesem Vortrag erfahren Sie, wie Rackspace über 100 physische Server durch 10 ersetzt und die Funktionalität verbessert hat, damit Dokumente innerhalb von 5 Sekunden indiziert und durchsuchbar sind.
George Bailey ist Softwareentwickler bei Rackspace Email Infrastructure.
Cameron Baker ist Linux-Systemingenieur bei Rackspace Email Infrastructure.
http://www.slideshare.net/lucidworks/rackspace-emails-solution-for-indexing-50k-documents-per-second-presented-by-george-bailey-cameron-baker-rackspace
Mitmachen auf der Lucene/Solr Revolution 2016, der größten Open-Source-Konferenz zum Thema Apache Lucene/Solr vom 11. bis 14. Oktober 2016 in Boston, Massachusetts. Treffen Sie sich mit den Vordenkern, die die Open-Source-Suchtechnologie Lucene/Solr entwickeln und einsetzen, und vernetzen Sie sich mit ihnen. Alle Details und Anmeldung…