Lucidworks Managed Search: Dasselbe Solr, weniger Aufgaben

Ganz gleich, welche Suchmaschine Sie heute verwenden, sie ist wahrscheinlich schwer zu verwalten. Wenn Apache Solr der Teufel ist, den Sie kennen, haben Sie Glück.

Es gibt ein altes Sprichwort, das ich zu Hause immer wieder höre: „Jeder liebt den Elefanten im Zoo, aber niemand will ihn mit nach Hause nehmen und seinen Käfig reinigen.“ Genauso will jeder eine schnelle, skalierbare und hochgradig konfigurierbare Suchmaschine wie Apache Solr, aber niemand will die Betriebsabläufe verwalten. Wenn Sie diesen Beitrag lesen, waren Sie wahrscheinlich schon einmal im Zoo und hatten mit Zookeeper zu tun. Atmen Sie von jetzt an auf. Ihr Job ist gerade sehr viel angenehmer geworden. Darf ich Ihnen meinen lieben Freund Lucidworks Managed Search vorstellen, der Apache Solr für alle großen Cloud-Anbieter verwaltet und damit alle Hindernisse für die Produktivität von Entwicklern aus dem Weg räumt.

Ein bisschen von meiner persönlichen Suchgeschichte

Als ich vor sechs Jahren, im Jahr 2014, bei meinem Startup über Log-Aggregatoren nachdachte, gab es drei Optionen, denn Open Source war meine einzige Anforderung. Lucene, Solr und Elasticsearch. Lucene war einfach nicht genug und erforderte, offen gesagt, einen Arbeitsaufwand, der die Ressourcen unseres Teams zu dieser Zeit überstieg. Solr, das in vielerlei Hinsicht beeindruckend war, verfügte nicht über ein praktikables verwaltetes Angebot in der Cloud. Der Betrieb von Servern vor Ort in unserem Startup war nicht nur unerschwinglich, es wäre auch die undifferenzierteste Entscheidung gewesen, die wir hätten treffen können. Also entschied ich mich für das Aggregieren von Protokollen in Elasticsearch und ließ es in AWS laufen, weil es die einzige Option war, was immer noch ein nicht enden wollendes Spiel war, das gut genug funktionierte, weil es nur für Protokolle war. Es war mir egal, dass ich ab und zu ein Dokument verlor.

Managed Search GUI

Wir alle lieben die Kommandozeile, aber manche Architekten, Manager und sogar vielbeschäftigte Entwickler brauchen eine Überprüfung der Vernunft und eine Pause von der Bash. Deshalb haben wir die Lucidworks Managed Search GUI entwickelt, eine intuitive Webanwendung, die das Verständnis der Vorgänge wie Algebra mit einem grafischen Taschenrechner macht. Zuvor war die Verwaltung von Apache Solr eher mit fortgeschrittener Statistik mit einem Abakus vergleichbar. Jetzt können Sie die Benutzeraktivitäten einsehen, die Indexfehlerraten verstehen und sich von einem größeren Ausfall erholen, ohne die LMS-GUI zu verlassen.

Die Leute hatten von Anfang an Probleme mit der Skalierung von Open-Source-Suchsystemen und haben sie immer noch:

Steuern Sie Apache Solr mit wenigen Tastenklicks so einfach wie nie zuvor. Wenn Sie einen Cluster erstellen, geben Sie die Festplattengröße, den Knotentyp und den Replikationsfaktor an oder übernehmen Sie die Standardeinstellungen. Erstellen, skalieren, bearbeiten und löschen Sie mit einer Maus. Mit der Lucidworks Managed Search (LMS) GUI lassen sich Anwendungen jeder Größenordnung einfach verwalten. Identifizieren Sie Protokolle, ohne sich durch endlose Dateien und Verzeichnisse wühlen zu müssen. Betrachten Sie die Webanwendung oberhalb von LMS als die Zusammenfassung, die wir alle seit unserer ersten Produktionsausgabe an unsere Chefs mailen wollen. Wenn Solr aus dem Ruder läuft, rufen Sie keine Berater an – rufen Sie die LMS-API an und konsultieren Sie die Benutzeroberfläche.

Solr Goodall

Die Verwaltung der Volltextsuche ist ein so großes und wildes Biest, dass Lucidworks LMS entwickelt hat, um es zu zähmen. Wir haben viele meiner Kollegen wie Shalin Mangar, Tim Potter und Erik Hatcher in das Produkt einfließen lassen. LMS bewältigt die typischen Apache Solr-Herausforderungen wie automatische Skalierung, moderne Sicherheit und Upgrades mit einer Geschwindigkeit, die in der Solr-Welt ihresgleichen sucht.

Automatische Skalierung

Bei der Skalierung gehen wir auf zwei Arten an die automatische Skalierung heran. Wir bieten Ihnen Optionen, die zu Ihrem Anwendungsfall passen und letztlich weniger kosten, während sie für mehr Stabilität sorgen. Erstens können Sie die automatische Skalierung nach Abfragerate einrichten, so dass Sie nur die Rechenressourcen nutzen, die Sie benötigen, aber nie zu wenig haben. Wenn das Abfragevolumen einen Schwellenwert überschreitet, wird Ihr Cluster auf der Grundlage des dynamischen Verbrauchs Ihrer Anwendung(en) auf die entsprechende Anzahl von Knoten skaliert.

https://giphy.com/gifs/black-friday-LLF8psBqj6m6Q

Die meisten dieser Einkäufer sind jetzt auf Ihrer Website. Der Schwarze Freitag im Jahr 2020 wird nur ein höheres Volumen haben als die Jahre zuvor. Sie können Skalierungsereignisse so planen, dass Ihr Cluster dann skaliert wird, wenn Sie erwarten, dass er mehr Kapazität benötigt, so dass vorhersehbare Spitzen nicht zu Weckrufen für Bereitschaftsdiensttechniker und Ratenbegrenzungen für die PagerDuty API führen. Wir haben im Laufe der Jahre gelernt, dass es immer besser ist, proaktiv zu handeln, wenn Sie auf eine zu hohe Auslastung reagieren. Sie können die automatische Skalierung über die LMS-Benutzeroberfläche oder unsere gesicherte Cluster-Management-API einrichten.

Eingebaute Sicherheit

Sicherheit mag für Sie heute kein großes Thema mehr sein, aber Suchcluster werden immer häufiger angegriffen. Deshalb haben wir eine Reihe von Maßnahmen ergriffen, um Solr i zusätzlich zu den üblichen Netzwerkmaßnahmen, die wir zur Sicherung aller verwalteten Kundenimplementierungen ergreifen, abzusichern. Alle Anfragen, die an LMS gestellt werden, sind authentifiziert. Sie sehen mehr oder weniger wie diese hier aus:

curl -X POST  "https://pg08.us-west2.notonprem.lucidworks.com/lucidwworks/library/solr/books/update?commit=true" 
   --header "Content-Type:text/json" 
   --header  "Authorization: Bearer bPg9mnJHiOiJLQk5qRlhHODhoWm1UQXZmY2xDMVU1cTlPeWpqOUxYZndmSjUwdWN0dEQ4IiwiYWxnIjoiUlMyNTYifQ.eyJ2ZXIiOjEsImp0fg654m85481o854p54yguuLotsofLinesofun-decryptablejibberishbecauseMathryuie51sjayrawg1rgrd5g1hyjksr1w81x5q4181sawsf151b5beg5wehm5t1u-5kiuol8iuouo4u8ouo4u5k17y51je5g1tge5ge84te8t3w8t4wUtw848jm4y84jy84ht84nt8n4rghsTJHTFpojGGkG5-SG15TG4RT4z54t54t54T5-15t4w5w8w87w89w7yh54h464GHHnb456jh4H4hh54g4j5j45klzjm40m4u5i45uy4y5u4-SUiQYHm-Si2QJsllmI7wwghHYA599nMSTAoZVvbG9-epoitoo1298h698h16ngnu9hnun5y9un319fuhmghmkmrejlnkmklajbcvatcqqwg" 
   -d '{"add":{ "doc":{"id":"1","title":"Lucene in Action","author":"Erik Hatcher"}}}'

Wir verwenden OAuth2 und einen vertrauenswürdigen Identitätsanbieter in Okta, um sicherzustellen, dass jede Anfrage an Ihren Cluster das entsprechende Token und die entsprechenden Berechtigungen enthält. Lucidworks hat SolrJ- und PHP-Clients für die Kommunikation mit unserer API erweitert, und viele weitere sind in Vorbereitung, so dass Benutzer LMS problemlos in ihre bestehenden Anwendungen einbinden können. Zweitens werden alle CVEs, die in der Solr-Distribution auftauchen, sofort in Managed Search entfernt. Wir reagieren oft auf sie und untersuchen sie als Teil unseres Engagements und unserer Investitionen in Apache Solr, aber wir entfernen sie auch so schnell wie möglich aus unserem Produkt, weil das ein wichtiger Teil unseres Mehrwerts ist.

Upgrade war schmerzhafte Zeitverschwendung

Das Upgrade auf eine neue Version kann sich oft wie eine der unsichersten Operationen in Solr anfühlen. Die meisten langjährigen Benutzer erinnern sich an die Schmerzen beim Upgrade von Master-Slave auf SolrCloud. Viele Dinge können kaputt gegangen sein, und einige Benutzer haben anfangs Leistungseinbußen erlebt. Dank unseres verwalteten Upgrade-Prozesses, der fein abgestimmten Koordination und der vielen Verbesserungen, die im Laufe der Jahre an den Lucene- und Solr-Schichten vorgenommen wurden, werden Sie mit LMS viele Verbesserungen feststellen.

Es gibt immer noch einige Einschränkungen, die die Erfahrungen der meisten Benutzer mit Solr widerspiegeln. Gelegentlich müssen wir ein paar technische Schulden begleichen, um Benutzer zu Apache Solr 7 zu bringen, weil wir nicht von Version 5 oder 6 springen können. Einige Benutzer, vor allem diejenigen mit einfachen Datenmodellen und Schemata, werden in der Lage sein, einen Sprung von einer Version zur nächsten zu machen. Alle Benutzer werden feststellen, dass das Upgrade kostengünstiger ist, sobald sie im LMS sind, da es von unserer Seite aus verwaltet wird. Sollte es jemals zu einschneidenden Änderungen an der Art und Weise, wie Abfragen durchgeführt werden, kommen, werden Sie darüber informiert, bevor es zu Änderungen kommt, und Sie erhalten eine Anleitung, welche Änderungen Sie auf Ihrer Seite vornehmen müssen, damit die Dinge funktionieren. Und sollte es wirklich einmal Probleme geben, „gibt es eine [LMS-Funktion] dafür“.

curl "https://pg01.us-west1.cloud.lucidworks.com/managed/api/customers/lucidworks/clusters/$clusterId/backups/$backupId"  
-H "accept: application/json" 
-H "Authorization: Bearer $accessTokenManagedSearch"

Disaster Recovery auf dem neuesten Stand der Technik

Eines der wertvollsten Güter des geistigen Eigentums, das in das Produkt eingeflossen ist, sind unsere Sicherungs- und Wiederherstellungsfunktionen. Jeden Tag, oder wenn Sie das System dazu auffordern, erstellt LMS einen Schnappschuss Ihrer Sammlungen. Wenn dem Cluster etwas zustößt, so dass er sich nicht mehr erholen kann, können Sie auf eine Schaltfläche in der Benutzeroberfläche klicken, um eine Funktion einfach wieder in den gesunden Zustand zu versetzen. Ich habe schon so viele Horrorgeschichten von nicht wiederherstellbaren Solr-Clustern, nicht wählbaren Leitern und Zookeepern gehört, die zertrampelt wurden, was zu einem beschädigten Index führte.

Aus diesem Grund haben wir die Funktion Backup und Wiederherstellung entwickelt. Wir kennen den Schmerz aus erster Hand. Und genau darum geht es bei dem Produkt und dieser Funktion. Die Beseitigung der schmerzhaften Aspekte beim Aufbau einer hochmodernen Suchmaschine, und das zu geringeren Kosten und mit weniger Hardware. Wir erwarten von unseren Benutzern, dass sie schneller innovativ sind und mehr Risiken eingehen, da sie wissen, dass sie ihre Sammlungen in ihren Clustern in der Regel in weniger als einer Minute wiederherstellen können.

Indizieren Sie Ihre Daten, dann bewegen Sie sich sehr schnell

In den meisten Fällen müssen unsere Kunden bei den meisten Vorgängen nicht viel ändern. LMS funktioniert einfach. Und wenn Ihnen der Ausdruck „funktioniert einfach“ für eine Open-Source-Suchmaschine seltsam vorkommt, dann sollte er das auch. Wir bringen eine neue Fähigkeit auf den Markt, die Benutzerfreundlichkeit, Sicherheit und vor allem die Produktivität der Entwickler ermöglicht. Schließlich sollten Entwickler, die Apache Solr einsetzen, dies auch ohne all den Ärger und die vielen Aufgaben tun können. Sie müssen in der Lage sein, sich auf die wertschöpfenden Aufgaben zu konzentrieren, die Ihr Geschäft vorantreiben, und nicht auf „undifferenzierte Schwerstarbeit“.

Es wird immer Grenzfälle geben. Wenn Sie ein ETL-Tool verwenden, das wir noch nicht kennen, werden wir mit Ihnen zusammenarbeiten, um die Integration zu bewerkstelligen. Wenn Sie eine Client-Bibliothek verwenden, in der keine Daten mehr vorhanden sind, werden unsere Ingenieure die Kanten für Sie glätten. Wenn Sie in einer Unternehmensumgebung arbeiten, die die Interaktion mit unseren APIs zu einer Herausforderung macht, werden wir einen Weg finden und mit Ihren Sicherheitsteams und Netzwerkingenieuren zusammenarbeiten, um den Übergang so reibungslos wie möglich zu gestalten, damit Ihr Team die Plattform nutzen kann.

Die Roadmap für Lucidworks Managed Search umfasst eine Integration mit Lucidworks Fusion, ein verbessertes CDCR, ein Query Replay und ein Solr Query Performance Tool, erweiterte Sicherheit für das neue Paketverwaltungssystem von Solr sowie Workload-Partitionierung für Kunden, die Cluster für Analyse-Workloads oder Cluster für Such-Workloads einsetzen möchten. In den nächsten Wochen werden wir Integrationen zu vielen der beliebtesten Content Management Systeme für große und kleine Unternehmen ankündigen. Viele davon gibt es allerdings schon heute. Sprechen Sie uns an, wenn Sie die Plattform testen möchten. Wir werden auch Blogbeiträge von unserem Produktarchitekten Shalin Mangar und unserem Chefarchitekten für alle Produkte, Tim Potter, veröffentlichen. Wie der Startbefehl, den Sie nie wieder ausführen müssen, immer sagt: „Viel Spaß beim Suchen!“

Lucidworks Managed Search ist jetzt auf begrenzter Basis verfügbar. Kontaktieren Sie uns heute um mit dem Team zu chatten. Nerds willkommen! Wir sind alle Solr-Mitarbeiter. Wenn Sie eine Funktion beantragen möchten, öffnen Sie hier einen Pull Request: https://github.com/MarcusSorealheis/Lucidworks-Managed-Search-FRs