Warteschlangenbasierte Indizierung & Sammlungsverwaltung

Während wir den Countdown für die jährliche Lucene/Solr Revolution Konferenz in Boston im Oktober dieses Jahres herunterzählen, heben wir Vorträge und Sitzungen von vergangenen Konferenzen hervor. Heute stellen wir Ihnen Devansh Dhutias Vortrag darüber vor, wie Gannet Schemaänderungen an großen Solr-Sammlungen verwaltet.

Die Implementierung von Schemaänderungen in Solr-Sammlungen mit großen Datenmengen kann problematisch sein, wenn die Neuindizierung fast einen ganzen Tag in Anspruch nehmen kann. Wenn man bedenkt, dass der 16 Millionen Dokumente umfassende Index von Gannett um etwa 800.000 Dokumente pro Monat wächst, ist der Status quo nicht zufriedenstellend. Ein Nebeneffekt der derzeitigen Architektur ist, dass während eines Ausfalls von Solr nicht nur alle Neuindexierungsaktivitäten pausieren, sondern auch die vorgelagerten Authoring-Engines unter Latenzproblemen leiden.

Dieser Vortrag zeigt, wie Gannett zu einer Warteschlangen-basierten Lösung mit kreativem Einsatz von Sammlungen und Aliasen wechselt, um die Bereitstellung, Neuindizierung und Erstellung drastisch zu verbessern. Die Lösung beinhaltet auch, dass zwei Solr-Clouds in geografisch verteilten Rechenzentren in einem synchronisierten Zustand gehalten werden.

Devansh kam 2006 zur Gannett-Familie und hat aktiv an der Suchstrategie von Gannett mitgewirkt, zunächst mit Lucene und in den letzten 2 Jahren mit Solr. Devansh war einer der Hauptentwickler bei der Umstellung von Gannett von der traditionellen Master-Slave-Solr-Einrichtung auf eine georeplizierte Solr-Cloud-Umgebung. Wenn Devansh nicht mit Solr arbeitet, verbringt er gerne Zeit mit seiner Frau und seiner 3 Jahre alten Tochter und probiert neue Rezepte aus.

http://www.slideshare.net/lucidworks/queue-based-solr-indexing-with-collection-management-presented-by-devansh-dhutia-gannett-co

Mitmachen auf der Lucene/Solr Revolution 2016, der größten Open-Source-Konferenz zum Thema Apache Lucene/Solr vom 11. bis 14. Oktober 2016 in Boston, Massachusetts. Treffen Sie sich mit den Vordenkern, die die Open-Source-Suchtechnologie Lucene/Solr entwickeln und einsetzen, und vernetzen Sie sich mit ihnen. Alle Details und Anmeldung…