Verbessern Sie SQL mit Suche und statistischer Analyse

Dieser Artikel wurde gemeinsam von Radu Miclaus und Joel Bernstein verfasst.

Auf dem Weg zur digitalen Transformation müssen Unternehmen die Art und Weise, wie sie ihre Daten nutzen, verändern. Dazu gehört auch die Art und Weise, wie sie darauf zugreifen, sie erforschen, Erkenntnisse entwickeln und diese Erkenntnisse nutzen, um Entscheidungen zu treffen. SQL ist die Lingua Franca für Business Intelligence und die Nutzer von SQL-Frameworks verlangen nach erweiterten Funktionen, um ihre Sprache besser sprechen zu können.

Derzeit gibt es Lücken in der SQL-Erfahrung. Ausgehend von den Daten, die in Unternehmen gesammelt werden, müssen SQL-Engines strukturierte, halbstrukturierte und unstrukturierte Daten vorurteilsfrei verarbeiten können. Die Art und Weise, wie SQL derzeit mit unstrukturierten Daten umgeht, ist relativ unausgereift. Im Rahmen der Auffindbarkeit unstrukturierter Daten müssen SQL-Engines „Suchaktivitäten“ auf der Grundlage der Verarbeitung natürlicher Sprache (NLP) und Textanalysatoren unterstützen, um Informationen aus Dokumenten zu extrahieren und zu interpretieren.

Wenn Sie SQL sehr gut beherrschen und statistische Analysen durchführen möchten, gibt es derzeit kaum Möglichkeiten… lernen Sie lieber Python oder R. Wie wäre es, wenn Sie statistische Funktionen direkt in der SQL-Erfahrung verwenden könnten, mit einer Syntax, die Ihnen vertraut ist? Neuartige Idee!

Fusion SQL bietet ein besseres Erlebnis

Wir bei Lucidworks sind der Meinung, dass Sie als SQL-Benutzer in der Lage sein sollten, Ihren Kuchen zu essen und ihn auch zu trinken. Ein leistungsstarkes SQL-Erlebnis sollte die intuitive Syntax, die wir alle kennen und lieben, mit einer leistungsstarken Suche und statistischen Analyse auf einer schnellen, skalierbaren Engine verbinden.

Wir haben ein offenes Ohr für den SQL-Benutzer und gehen auf die folgenden Bedürfnisse durch Verbesserungen in Fusion SQL ein. Wir wollen die SQL-Lernkurve nicht unterbrechen, sondern sie erweitern. Warum sollten SQL-Anwender gezwungen sein, ihre Datenexplorationserfahrung ständig zu unterbrechen – SQL in einem Tool, Analysen in einem anderen, Visualisierung in einem weiteren? Sie haben in die Lernkurve investiert. Wie sähe es aus, wenn Sie in der SQL-Syntax viel mehr tun könnten?

Die Leistungsfähigkeit der benutzerdefinierten Funktionen (UDFs) von Fusion SQL:

Fusion SQL basiert auf der leistungsstarken Solr-Engine. Solr unterstützt architektonisch die Verwendung von zusammensetzbaren Funktionen und damit die Möglichkeit, leistungsstarke mathematische und Streaming-Ausdrücke zu verwenden. Diese haben eine Vielzahl von Anwendungen, insbesondere in der statistischen Analyse, allerdings gibt es einen Haken: die Syntax ist komplex.

Fusion SQL unterstützt jetzt leistungsstarke UDFs, die die komplexe Syntax von SOLR-Streaming-Ausdrücken und mathematischen Funktionen in eine klare, intuitive SQL-Syntax vereinfachen.

Schwerpunktbereiche für Fusion SQL UDFs:

Die Überlagerung von Visualisierung und Erlebnis macht den Unterschied aus

SQL-Benutzer benötigen eine Möglichkeit, die Daten interaktiv zu schneiden und zu würfeln, Stichproben zu nehmen und sie zu analysieren. Die interaktive Visualisierung der Daten während der Erkundung ist ein wichtiger Bestandteil, um Trends zu verstehen und die bei jedem Schritt entdeckten Erkenntnisse zu präsentieren. Die Fusion SQL-Engine kann über Adaptoren in Schnittstellen wie Jupyter-Notebooks und BI-Tools wie Superset integriert werden, um interaktive Visualisierungen zu ermöglichen.

Jupyter Notebooks:

Jupyter Notebooks erfreuen sich zunehmender Beliebtheit, da sie von der Data-Science-Community immer häufiger eingesetzt werden. Es ermöglicht den Zugriff auf leistungsstarke Visualisierungsbibliotheken, die sowohl für einfache Diagramme als auch für hochgradig angepasste Visualisierungen verwendet werden können (matplotlib, seaborn, andere). Fusion SQL lässt sich sehr gut mit Jupyter Notebooks integrieren.

Beispiel für die Verbindung von Fusion SQL mit einer Jupyter Notebook-Instanz:

Beispiel für eine polynomiale nicht-lineare Regression mit Fusion SQL UDF und Plotting

Eine vollständige Anleitung zur Verwendung von Jupyter Notebooks mit Fusion SQL finden Sie in der Dokumentation hier.

Superset BI-Tool

Superset ist ein leistungsstarkes Visualisierungstool, das eine interessante Mischung aus Dashboarding, interaktivem No-Code-Erlebnis und einem robusten SQL-Editor bietet. Diese Kombination ermöglicht es Anwendern mit unterschiedlichen Kenntnissen, den SQL-Code und die daraus resultierende Visualisierung zu nutzen, zu erkunden und sogar nach Bedarf anzupassen. Es ist ein großartiges Tool für Teams, die gemeinsam arbeiten.

Superset ist sehr leistungsfähig bei der Untersuchung von Geodaten, NLP und Zeitreihenanalyse.

Beispiel für Geospatial Clustering anhand von Beispieldaten:

Beispiel für eine Korrelationsausgabe auf der Basis von Co-Occurrence:

Beispiel für den SQL-Editor Erfahrung bei der Verwendung der Korrelations-UDF in Fusion SQL:

Beispiel für WordCloud mit Significant Terms Search UDF in Fusion SQL:

Eine vollständige Anleitung zur Verwendung von Superset mit Fusion SQL finden Sie hier in der Dokumentation .

Anwendungsfälle für Fusion SQL

Unternehmen stellen fest, dass Fusion SQL sehr vielseitig ist, da es die Datenermittlung und -analyse bei Geschäftsproblemen in zwei großen Bereichen ermöglicht:

Erforschen Sie Suchmaschinendaten:

Die Fusion-Plattform produziert eine Menge Daten im Zusammenhang mit der Suche. Nachfolgend finden Sie die Anwendungsfälle, für die Fusion SQL geeignet ist:

• Log-Analyse: Deskriptive Statistiken, Aggregationen und Zeitreihenanalysen werden auf Solr-Protokolle angewandt, um die Knotenaktivität, die Auswirkungen von Aktualisierungen und Commits auf die Abfrageleistung, Trends in der Abfrageleistung im Laufe der Zeit, die Identifizierung von Trends, langsamen und ergebnislosen Abfragen, die Identifizierung von Fehlern und Leistungsauswirkungen der Sammlungstopologie zu verstehen.
• Erkundung von Dokumentensammlungen (und Datenanreicherung): Wenn neue Daten und Metadaten während der Jobs und der Ingest-Pipelines zu den Sammlungen hinzugefügt werden (Dokumentenklassifizierung, Entitäten, Sentiment, Aggregationen), haben die Benutzer die Möglichkeit, deskriptive Statistiken über die aktualisierten Sammlungen zu erstellen und zu verstehen, welche Daten bei jedem Schritt verfügbar sind.
• Erkundung von Signalen/Telematik-Sammlungen: In den Sammlungen für Signale und Signalaggregation werden die Daten zu den Benutzeraktivitäten gespeichert. In Verbindung mit den Dokumenten und/oder Produktkatalogen ermöglicht dies den Suchentwicklern, die Reichweite der Suche über Dokumente/Produkte hinweg zu verstehen und weitere aussagekräftige Einblicke in die Nutzung, Konvertierung und Geschäftsergebnisse der Suche zu erhalten.

Erforschen Sie jede Wissensdatenbank

Fusion SQL ist in der Lage, jede Wissensdatenbank zu untersuchen, die strukturierte, halbstrukturierte und unstrukturierte Daten kombiniert. Hier sind ein paar Anwendungsfälle:

• Von Konversationsplattformen gesammelte Daten: Daten, die von Nicht-Suchsystemen wie Chatbots und anderen Konversationsplattformen stammen, können mit Fusion SQL mit zusätzlichen Kundendaten angereichert, erforscht und in großem Umfang analysiert werden.
• Gesammelte und zentralisierte Daten für Customer 360 Anwendungen: Ähnlich wie im oben erwähnten Szenario können Daten, die die Customer Journey im gesamten Unternehmen verfolgen, zentralisiert und an einem Ort untersucht werden, insbesondere wenn ein großer Teil dieser Daten unstrukturiert ist und durchsucht werden muss.
• Gesammelte und zentralisierte Daten über den gesamten Produktlebenszyklus hinweg: Unternehmen, die sich der Herausforderung stellen, Daten aus den Bereichen Fertigung und Entwicklung, Tests, CRM, Kundendienst, technischer Support und Dienstleistungen zu vereinheitlichen, zu untersuchen, zu suchen und zu analysieren, können jetzt Fusion SQL als skalierbare Engine verwenden, um dies effizient zu tun.

Fazit

Die interaktive Ad-hoc-Erkundung ist der beste Weg zum Verständnis Ihrer Daten. SQL ist nach wie vor das am leichtesten zugängliche Medium für zahlreiche Business-Analysten-Persönlichkeiten. Um diese Nachfrage zu befriedigen, müssen Unternehmen ein verbessertes SQL-Erlebnis bieten, das skalierbar, intelligent, intuitiv und visuell ist. Fusion SQL erfüllt alle vier Kriterien und hat sich für unsere Kunden als leistungsstarkes Intelligenz-Tool erwiesen.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie SQL verbessern möchten. Kontaktieren Sie uns noch heute.