Fallstudie: Boomi erschließt die Cloud mit Solr

• Schnell wachsendes Cloud-Integrationsunternehmen bietet Platform-as-a-Service für die Integration von On-Premise- und Cloud-basierten Geschäftsprozessanwendungen
• Die Solr-basierte Suche überwacht und pflegt Kundenanwendungsprotokolle für die Service-Level- und Transaktionsverfolgung
• Eine Instanz von Solr, die für eine mandantenfähige Plattform genutzt wird und Anwendungsüberwachung und -analyse sicher direkt an Boomi-Kunden liefert
• Erreichen aggressiver Geschwindigkeits- und Skalierungsziele, mit Indexübertragungen neuer Daten in 5 Sekunden oder weniger und einer Skalierung auf bis zu 20 Millionen neue Indexeinträge pro Tag

Kundenübersicht

Das im Jahr 2000 gegründete Unternehmen Boomi bietet die Integration zwischen On-Premise-Anwendungen wie SAP oder Oracle und Off-Premise-SaaS-Anwendungen wie Salesforce.com, Taleo oder NetSuite, die häufig auf öffentlichen Cloud-Diensten (wie Amazon EC2 oder auf Platform-as-a-Service-Anbietern wie force.com und Intuit Partner Platform) laufen. Boomi hilft seinen Kunden, diese Anwendungen miteinander zu verknüpfen, um integrierte Geschäftsprozesse zu schaffen, die mehrere Anwendungen innerhalb und außerhalb der Cloud umfassen und den Datenfluss innerhalb und außerhalb der Unternehmensfirewall verfolgen. Es verwaltet komplexe Arbeitsabläufe über mehrere Anwendungen und Standorte hinweg und hält dabei strenge Vorgaben für Datenkontrolle, Eigentum und Compliance ein.

Um diesen Anforderungen gerecht zu werden und Datentransparenz und Governance zu gewährleisten, entwickelte Boomi eine innovative mandantenfähige Cloud-Integrationsplattform, die auf Apache Solr basiert und auf die Dienste und das Know-how von Lucid Imagination zurückgreift. Die daraus resultierende Implementierung stellt die Fähigkeiten von Solr zur Virtualisierung von Datenquellen in den Mittelpunkt des Geschäftsprozessmodells von Boomi.

Herausforderungen

Eine detaillierte Ansicht der Informationen zur Geschäftsabwicklung ist für die Anwendungs- und Datenintegration unerlässlich. Jedes Mal, wenn Daten von einer Anwendung in eine andere verschoben werden, müssen wichtige Informationen erfasst werden, z. B. die Zeit, die für die Verschiebung der Daten benötigt wird, die Menge der verarbeiteten Daten und die Überprüfung des Transaktionserfolgs.

Da wichtige neue Anwendungen in die Cloud verlagert werden, müssen IT-Organisationen in der Lage sein, die Informationen innerhalb des Unternehmens und in der Cloud gleichzeitig zu verwalten, so als befänden sie sich in einer einzigen Umgebung. Um diese Art von zentraler Kontrolle und Steuerung für seine Kunden zu erreichen, musste Boomi alle seine Kunden auf einer einzigen Instanz seiner Plattform haben. Wäre die Überwachung dezentralisiert, wären die Benutzer gezwungen, sich zu merken, welche Integration in welcher Umgebung läuft, und von einer zur anderen zu wechseln, um Änderungen manuell zu übertragen und die integrierte Ansicht zu fragmentieren, für deren Erstellung sie sich an Boomi gewandt hatten.

Boomi erreicht seinen punktgenauen Einblick in anwendungsübergreifende Transaktionen durch die Verarbeitung und Synthese von Integrationsdaten aus Protokolldateien. Daher musste die Plattform in der Lage sein, auf Milliarden von Protokolldateien zu skalieren und gleichzeitig die geschäftskritische Zuverlässigkeit für die Kunden zu gewährleisten. Die Nutzung als Tool zur Überwachung geschäftskritischer Prozesse über die Cloud konnte keine Verlangsamungen tolerieren.

Die Geschwindigkeit war in zweierlei Hinsicht ein Problem. Erstens ist der Protokollierungs- und Suchdienst durch häufige Commits gekennzeichnet, um die Daten für die Suche verfügbar zu machen; alle 5 Sekunden oder 10.000 Transaktionsnachrichten. Zweitens mussten die Kundenabfragen eine aggressive Leistungsschwelle erfüllen. Und schließlich durften Kundenabfragen zu Anwendungsereignissen nicht zu langsam sein. Boomi entschied sich gegen einen Datenbankansatz aufgrund der Skalierbarkeitsanforderungen für Milliarden von Dokumenten, der hohen Betriebskosten für Datenbanken und der Anforderungen an dynamische Kundenabfragen und Metadaten.

Um eine einzige integrierte mandantenfähige Plattform aufzubauen, entschied sich Boomi für den Einsatz von Apache Solr zur Überwachung und Durchsuchung von Transaktionsprotokollen und zur Bereitstellung der Informationen für eine zeitnahe, integrierte Ansicht der Ausführung von Geschäftsprozessen für Anwendungen innerhalb und außerhalb der Cloud. Boomi beauftragte Lucid Imagination, die Solr-Implementierung auf aktuelle Best Practices hin zu überprüfen, Empfehlungen zur Leistung abzugeben, Spielraum für künftige Skalierbarkeit zu schaffen und die Ausfallsicherheit für die Geschäftskontinuität sicherzustellen.

Lösung

Solr ist tief in die Plattform integriert, die Boomi seinen Kunden zur Verfügung stellt, um eine integrierte Ansicht über Anwendungen innerhalb und außerhalb der Cloud zu erhalten. Inzwischen nutzen Hunderte von Kunden diese Plattform, um ihre Geschäftsprozessanwendungen zu überwachen, indem sie Protokolldaten über viele Anwendungen hinweg sammeln, analysieren und indizieren und dann jedem einzelnen Kunden eine konsolidierte Geschäftsprozessansicht für seinen individuellen Prozess präsentieren.

Heute verlassen sich Boomi-Kunden auf Solr-Suchen, um die Aktivität von Cloud-Anwendungen und Workflow-Ereignisse über eine Weboberfläche durch RSS-Feeds zu überwachen und zu überprüfen.

Täglich werden zwischen zwei und zehn Millionen Protokolltransaktionen erzeugt, die jeweils zwei oder mehr Solr-Einträge auslösen können. Boomi speichert die Protokolleinträge über einen Zeitraum von 30 Tagen. Kunden können zu jedem Zeitpunkt:

• Teilen Sie mit, welcher Geschäftsprozess gerade abläuft
• Bestimmen Sie, ob die anwendungsübergreifende Transaktion funktioniert hat oder nicht
• Sicherer Zugriff auf diese Informationen von jedem Ort aus, an dem sie Zugang zu einem Webbrowser haben
• Verfolgen Sie, wie Anwendungsdaten geändert werden und welche Systeme sie geändert haben.

Das Engagement von Lucid Imagination konzentrierte sich auf einen Health Check der Suche mit spezifischen Empfehlungen zur Verbesserung der Leistung. Da das Schema der Suchanwendung beispielsweise so konfiguriert war, dass ausschließlich nach exakten Übereinstimmungen gesucht wurde, empfahl Lucid Einstellungen zur Leistungsanpassung, wie z.B. das Ausschalten von Funktionen, die mit der Relevanz oder anderen Analysen zusammenhängen, um Speicherplatz und Festplattenkapazität zu sparen, sowie Implementierungsmethoden für diese Vorschläge, um den Entwicklungs- und Wartungsaufwand gering zu halten. Ein entscheidender Erfolgsfaktor war die Abstimmung der Java Garbage Collection auf die leistungsintensiven Index-Commit-Anforderungen, um Konflikte zu vermeiden. Das Team identifizierte auch ungenutzte Solr-Serverkomponenten, die entfernt werden konnten, um die Wartungsfreundlichkeit der Suchanwendung weiter zu verbessern.

Eine Überprüfung der Serverhardware ergab, dass die CPU-Leistung zwar im Allgemeinen gut war, aber ein Upgrade des Arbeitsspeichers würde Out-of-Memory-Fehler verhindern und das anhaltende Wachstum der Indexgröße in den Griff bekommen. Lucid gab auch Hinweise darauf, wie die Leistung der RSS-Feeds verbessert werden kann. Da die meisten RSS-Reader die Ergebnisse zwischenspeichern und automatisch täglich aktualisieren, ist es nicht notwendig, Daten für eine Woche zu speichern – ein oder zwei Tage würden ausreichen.

Skalierbarkeit ist für Boomi ein zentrales Thema. Da das Unternehmen ein sehr aggressives Commit-Fenster hat (5 Sekunden oder weniger von der Protokollgenerierung bis zur Verfügbarkeit der Indexsuche), empfahl das Team, das Replikationsschema laufend zu testen, um festzustellen, ob das bestehende Replikationsschema mithalten kann, und um den Wendepunkt für die horizontale Skalierung der Solr-Implementierung zu ermitteln. Um für das erwartete Wachstum zu planen, gab das Lucid-Team mehrere Empfehlungen für laufende Lasttests, um bestehende Engpässe aufzudecken. Da der Markt von Boomi sehr dynamisch ist, war ein vorausschauender Plan mit breit angelegten Strategien und Taktiken erforderlich, um mehrere Szenarien zu berücksichtigen: die Analyse verschiedener Indizierungsarchitekturen, die Bewertung der verteilten Suche und die Mischung von Arbeitslasten.

Die Bewertung von Lucid umfasste mehrere spezifische Empfehlungen für die Leistungsoptimierung, die eine unnötige Neuindizierung der Daten vermeiden. Dazu gehörten schnellere Bereichssuchen und Abfragefilter, eine partielle Indexoptimierung und das Weglassen von Begriffshäufigkeit und -position, um Speicherplatz zu sparen und sowohl die Index- als auch die Abfrageleistung zu beschleunigen.

Da die Solr-Suche für die Integrationsfähigkeit von Boomi von zentraler Bedeutung ist, musste die Solr-Implementierung sicherstellen, dass die aggressiven Service-Level-Ziele für die Betriebszeit eingehalten werden konnten. Um diese Anforderungen an das Risikomanagement zu erfüllen, gab das Lucid-Team mehrere Empfehlungen zur Verbesserung der Ausfallsicherheit der Konfiguration und der Backups, die auf die Einschränkungen der Implementierung der Anwendungsprotokollüberwachung zugeschnitten waren.

Die Plattform von Boomi funktioniert jetzt einwandfrei und bietet eine hervorragende Leistung und Skalierbarkeit. Die Kunden können ihre internen und Cloud-basierten Anwendungen nahtlos integrieren, überwachen und verwalten.