Die Grenzen von Apache Solr bei Bloomberg ausreizen
Während wir den Countdown für die jährliche Lucene/Solr Revolution Konferenz in Austin im Oktober dieses Jahres laufen lassen, stellen wir Ihnen Vorträge und Sitzungen vergangener Konferenzen vor. Heute stellen wir Ihnen Anirudha Jadhavs Vortrag vor, in dem es darum geht, die konventionellen Beschränkungen von Solr zu überwinden.
Ziel der Präsentation ist es, die Implementierung von Solr zu erläutern, wobei der Schwerpunkt auf der Optimierung von Solr für die Big Data-Suche liegt. Solr-Implementierungen sind in ähnlichen Anwendungsfällen häufig auf 5k-7k Ingest-Raten beschränkt. Ich habe mehrere Experimente durchgeführt, um die Ingest-Rate und den Durchsatz von Solr zu erhöhen. Dabei konnte ich die Leistung um das Fünffache steigern, d.h. um mehr als 25k Dokumente pro Sekunde. Normalerweise werden Optimierungen durch die verfügbare Netzwerkbandbreite begrenzt. Ich habe die Leistung meiner Solr-Implementierung anhand von drei wichtigen Metriken gemessen: Zeit-Trigger, Dokumentengrößen-Trigger und Dokumentenanzahl-Trigger. Der Vortrag wird sich damit befassen, wie ich die Suchmaschine optimiert habe und wie meine Kollegen Solr eine ähnliche Leistung entlocken können. Es handelt sich um eine ausführliche Beschreibung der Implementierung der Hochfrequenzsuche mit Fragen an das Publikum. Alle hier beschriebenen Implementierungen basieren auf den neuesten SolrCloud Multi-Datacenter-Setups.
Anirudha Jadhav ist Experte für Big-Data-Suche und hat für Bloomberg LP eine der wohl größten Lucene-basierten Suchanwendungen der Welt mit etwas mehr als 86 Milliarden Dokumenten entwickelt und implementiert. Er verfügt über umfassende Erfahrung in der Entwicklung von Finanzanwendungen, Hochfrequenzhandel und Suchanwendungen sowie in der Lösung komplexer Such- und Rankingprobleme. In seiner Freizeit taucht er gerne, fährt mit seinem Motorrad der britischen Armee aus dem 18. Jahrhundert durchs Gelände, baut Tri-Copter und fotografiert unter Wasser. Anirudha erwarb seinen Master in Informatik am Courant Institute of Mathematical Sciences der New York University.
http://www.slideshare.net/lucidworks/never-stop-exploring-pushing-the-limits-of-solr-presented-by-anirudha-jadhav-bloomberg-lp
Mitmachen auf der Lucene/Solr Revolution 2015, der größten Open-Source-Konferenz zum Thema Apache Lucene/Solr vom 13. bis 16. Oktober 2015 in Austin, Texas. Treffen Sie sich mit den Vordenkern, die die Open-Source-Suchtechnologie Lucene/Solr entwickeln und einsetzen, und vernetzen Sie sich mit ihnen. Vollständige Details und Anmeldung…