Skalierung von Suchclustern mit Apache Solr und Kubernetes

Präsentiert auf der virtuellen Activate 2020. Kubernetes entwickelt sich schnell zum Betriebssystem für die Cloud und bringt eine Allgegenwärtigkeit mit sich, die das Potenzial für massive Vorteile für Technologieunternehmen hat. Anwendungen/Microservices werden auf Orchestrierungstools wie Kubernetes verlagert, um Funktionen wie horizontale Autoskalierung, Fehlertoleranz, CICD und mehr zu nutzen. Apache Solr ist eine Open-Source-Suchmaschinenplattform, die auf einer Apache Lucene-Bibliothek aufbaut. Sie bietet die Suchfunktionen von Apache Lucene in einer benutzerfreundlichen Form. Lucidworks betreibt über tausend Apache Solr-Cluster im verteilten Modus auf mehreren Rechnern für eine Vielzahl von Anwendungsfällen im Bereich Suche und Analyse. Der Datenverkehr erfordert ein massives Ausmaß, was zu Szenarien mit tiefgreifendem Mikromanagement führt, wie z.B. Betriebssystem-Upgrades, dynamische Skalierung des Clusters usw., was sich auf das gesamte Sucherlebnis auswirkt. Im Mittelpunkt dieses Vortrags steht der Weg, den Lucidworks eingeschlagen hat, um die horizontale und vertikale Skalierung von Clustern auf der Grundlage des Abfrageaufkommens, des Durchsatzes bei der Datenaufnahme oder anderer relevanter Metriken anzugehen. Dazu werden die Funktionen von Kubernetes und Apache Solr erweitert, um eine echte physische und logische Autoskalierung zu erreichen, die den SLAs und Infrastrukturkosten der heutigen Zeit gerecht wird. Der Vortrag schließt damit, wie die gewählte Lösung die zukünftige Möglichkeit der feinkörnigen Skalierung von Suchclustern eröffnet.

Sprecher:
Amrit Sarkar, Cloud Search Zuverlässigkeitsingenieur, Lucidworks

Zielgruppe:
Search Architects, Entwickler und Produktmanager, die intuitive und intelligente Skalierungslösungen für Suchcluster und -systeme implementieren möchten.

Teilnehmer nehmen mit:
Die Teilnehmer werden mit einer starken Design-Intuition für die automatische Skalierung von Suchclustern auf der Grundlage des Datenverkehrs und anderer Faktoren nach Hause gehen.