Apache Solr für die Protokollanalyse abstimmen
Während der Countdown für die jährliche Lucene/Solr Revolution Konferenz in Austin im Oktober läuft, stellen wir Ihnen Vorträge und Sitzungen aus vergangenen Konferenzen vor. Heute stellen wir Ihnen die Sitzung von Radu Gheorghe über die Optimierung von Solr für die Analyse von Protokollen vor.
Performance-Tuning ist immer gut, um Ihre Anwendungen flott und Ihre Kosten niedrig zu halten. Dies gilt insbesondere für Protokolle, soziale Medien und andere Stream-ähnliche Daten, die leicht in den Terabyte-Bereich wachsen können. Sie können SolrCloud zwar immer verwenden, um Leistungsprobleme zu umgehen, aber in diesem Vortrag geht es um die Optimierung. Zunächst werden wir über die Solr-Einstellungen sprechen und die folgenden Fragen beantworten:
- Wie oft sollten Sie Übertragungen und Zusammenführungen vornehmen?
- Wie können Sie eine Sammlung pro Tag/Monat/Jahr/etc. haben?
- Was sind die Kompromisse bei der Leistung dieser Optionen?
Dann wenden wir uns der Hardware zu. Wir wissen, dass SSDs schnell sind, insbesondere bei Cold-Cache-Suchen, aber sind sie ihren Preis wert? Wir nennen Ihnen einige Zahlen und lassen Sie entscheiden, was für Ihren Anwendungsfall das Beste ist.
Im letzten Teil geht es um die Optimierung der Infrastruktur, die Protokolle an Solr weiterleitet. Wir sprechen über die Optimierung von Apache Flume für die Verarbeitung großer Mengen von Protokollen und über allgemeine Designoptionen, die auch für andere Shipper wie Logstash gelten. Wie immer gibt es Kompromisse, und wir werden die Vor- und Nachteile jeder Option diskutieren.
Radu ist Search Consultant bei Sematext, wo er mit Kunden an Solr- und Elasticsearch-basierten Lösungen arbeitet. Seine Leidenschaft gilt auch dem Logging-Ökosystem (ja, das kann eine Leidenschaft sein!). Diese Leidenschaft lebt er aus, indem er an Logsene arbeitet, einer Log Analytics SaaS. Natürlich spricht er auf Konferenzen wie Berlin Buzzwords, Monitorama und natürlich Lucene Revolution über die Indizierung von Protokollen. Bei früheren Präsentationen ging es um die Entwicklung von Protokollierungsinfrastrukturen, die Folgendes bieten: Funktionalität (z. B.: Parsen von Protokollen), Leistung und Skalierbarkeit. Diesmal geht es um einen tieferen Einblick in die Leistung.
http://www.slideshare.net/lucidworks/tuning-solr-for-logs-presented-by-radu-gheorghe
Mitmachen auf der Lucene/Solr Revolution 2015, der größten Open-Source-Konferenz zum Thema Apache Lucene/Solr vom 13. bis 16. Oktober 2015 in Austin, Texas. Treffen Sie sich mit den Vordenkern, die die Open-Source-Suchtechnologie Lucene/Solr entwickeln und einsetzen, und tauschen Sie sich mit ihnen aus. Alle Details und Anmeldung…