Von Null auf 60 (Millionen): Die Reise eines globalen Öl- und Gasunternehmens
Sie können darauf wetten, dass eines der größten Öl- und Gasunternehmen der Welt über eine Menge Daten verfügt. Sie reichen fast 150 Jahre zurück. Auf Papier. In Datenbanken. Versteckt in Apps. Versteckt in E-Mails und persönlichen Laufwerken. Auf gemeinsamen Laufwerken. Verteilt über die ganze Welt.
Und sie haben herausgefunden, wie man sie durchsucht. Mit Erfolg.
Das Unternehmen hatte zwar schon früher Lösungen ausprobiert, aber diese waren in der Regel Nischenlösungen, die sich auf einen Arbeitsablauf, eine Anwendung oder einen Datenspeicher konzentrierten. Diese Bemühungen waren nicht erfolgreich.
Die Leute konnten die Daten nicht finden und fingen an, sie zu verstecken. Dies führte zu einem Problem der Datenvermehrung – in der Größenordnung von 250 Millionen Dokumenten – was das Auffinden der aktuellsten und genauesten Version erschwerte.
Diese Nischenlösungen waren nicht erfolgreich, weil sie eine einheitliche Methode zum Durchsuchen von Daten benötigten – und zwar buchstäblich über Hunderte von Quellen hinweg mit mindestens 28 verschiedenen Tools. Einige Daten waren nicht indiziert und andere Quellen waren mehr als ein Terabyte groß, was zu schwierig zu indizieren ist.
Und selbst wenn die Tools gute Ergebnisse lieferten, vertrauten die Menschen den Ergebnissen nicht.
Um diese Probleme zu überwinden, mussten sie auch technische Probleme lösen, wie z.B. das Einlesen großer Dateien, Dateiberechtigungen und den Erwerb von Servern.
Sie handhabten die großen seismischen Dateien mit Header-Daten, gefolgt von nicht relevanten Amplitudendaten. Sie implementierten Dateistreaming, um den Speicher des Verarbeitungsservers nicht zu überlasten. Die mehr als 100 Dateneigentümer wurden auf vier reduziert, die schnell die Erlaubnis zum Zugriff auf die Daten erteilten.
Sie verlagerten die Verarbeitung in die Cloud, was Engpässe vor Ort reduziert und eine dynamische Skalierung ermöglicht. Und sie gaben den Benutzern eine lesbare URL, um das Vertrauen in die Suchergebnisse zu erhöhen.
Lesen Sie nach der Aktivierung mehr darüber, wie sie all dies mit Millionen und Abermillionen von Dateien erreicht haben.