Daten effizient und einfach fit machen für die Analyse mit dem Smart Data Lake Builder!

Ein Smart Data Lake liefert wertvolle Erkenntnisse für Datenanwender, Data Scientists/Analytiker und Anwendungen; so werden moderne Analyseplattformen zum Gehirn des Unternehmens. Mit dem Smart Data Lake Builder können Sie komplexe, analytische Datenumgebungen effizient und einfach strukturieren und pflegen.

expert
Zacharias Kull
Senior Expert Data Analytics

Klassische Data Lakes werden als preisgünstiges, einfaches Reservoir für Daten im Rohformat verwendet. Dabei werden allerdings Aspekte wie Transformation, Datenqualität und Sicherheit oft vernachlässigt und auf die Datenanwender abgewälzt, sodass Data Scientists bis zu 80 % ihrer Zeit aufwenden müssen, um Daten zu erfassen, zu interpretieren und zu bereinigen, ehe ihre eigentliche Tätigkeit beginnen kann.

Zudem werden herkömmliche Data Lakes oft durch verschiedene Abteilungen erstellt, mit unterschiedlichen Standards und Tools, was es schwer macht, umfassende Anwendungen zur Analyse zu schaffen.

Smart Data Lake bietet die Lösung für all diese Probleme: Er stellt Architektur und Leitlinien zur Auslegung bereit sowie ein Tool, mit dem sich effizient ein intelligenterer Data Lake bauen lässt.

Der Smart Data Lake ist das Herzstück einer modernen Analyseplattform

 

Eine moderne Analyseplattform bietet:

  • Einheitliche Batch- und Streamverarbeitung
  • Performance on Demand durch Nutzung horizontal skalierbarer Technologien
  • Rasche Änderungen dank agiler Technologien und automatisierter Prozesse
  • Preisgünstige, skalierbare Speicherlösung
  • Unterstützung unstrukturierter Daten und komplexer Datenstrukturen
  • Einbindung beliebter Open-Source-Technologien
  • Integration von Data Science Tools
  • KI/ML-Unterstützung
  • Smart Data Lake – die stabile, hochwertige Datenbasis

SmartDataLake_EN_Desktop_02_0.svg
SmartDataLake_EN_Mobile_02_1.svg

Effizient eine stabile, hochwertige Datenbasis aufbauen mit dem Smart Data Lake Builder

 

Um das Potenzial einer Analyseplattform nutzen zu können, brauchen Sie im Kern eine stabile, hochwertige Datenbasis! Es reicht nicht, Rohdaten in preisgünstigen, skalierbaren Speichern abzulegen. Die Daten müssen standardisiert, angereichert, transformiert und gesichert werden. Um sich Smart Data nennen zu dürfen, muss ein Speicher semantisch aufbereitet sein und Datenschutzanforderungen erfüllen.

 

Ein Smart Data Lake erreicht dies über eine mehrschichtige Datenarchitektur. Die Rohdaten werden zunächst wie beim herkömmlichen Data Lake im Staging Layer gesammelt. Anschliessend werden sie über verschiedene Schichten bereinigt und zu detaillierten, gesicherten und hochwertigen betriebswirtschaftlichen Darstellungen aufbereitet, effizient nutzbar für verschiedenste Analysen und Anwendungen.

 

Aufbau, Betrieb und Pflege einer mehrschichtigen Datenarchitektur sind eine komplexe, teure Angelegenheit. Um einen Smart Data Lake effizient aufbauen zu können, hat ELCA zusammen mit der SBB den Smart Data Lake Builder entwickelt. Er verbindet die Möglichkeiten einer modernen Analyseplattform mit Smart Data; das Problem der Komplexität wird durch Metadaten und Automatisierung gelöst.

SmartDataLake_EN_Desktop_01_0.svg
SmartDataLake_EN_Mobile_01.svg

Merkmale Smart Data Lake Builder

 

Gestützt auf Metadaten

Der Smart Data Lake Builder stützt sich auf einfach zu pflegende Metadaten. Damit hat er einen ganzheitlichen Überblick über alle Datenobjekte und Transformationen und kann grafische Visualisierungen zur Datenherkunft und einen Datenkatalog erstellen.

Automatisiert

Metadaten erlauben das automatische, dynamische Erstellen und Ausführen von Datenpipelines. So lassen sich diese bei Quellen mit einer grossen Anzahl an Datenobjekten einfach generieren.

Vernetzt

Der Smart Data Lake bietet Out-of-the-Box-Konnektivität für die gängigsten Technologien, wie HadoopFS, Hive, Kafka, JDBC, Splunk, Webservice, SFTP, JMS, aber auch Excel und Access.

Individuell anpassbar

Massgeschneiderte Transformationen lassen sich über SQl. Java/Scala oder Python festlegen. Das Produkt ist zudem einfach in Java/Scala erweiterbar.

Wiederverwendbar

Generische Transformationen wie Historisierung und Deduplizierung erfolgen Out-of-the-Box.

Bereit für die Cloud

Der Smart Data Lake wurde für die Cloud konzipiert. Natürlich läuft er auch in sehr kleinen, lokalen Umgebungen, aber der Smart Data Lake Builder ist bereit für den Out-of-the-Box-Einsatz in den gängigsten privaten oder öffentlichen Cloud-Infrastrukturen. Das heisst, Sie können ihn horizontal skalieren.

Open Source

Die Lösung basiert auf zahlreichen Open-Source-Technologien wie Apache Spark®. Im Gegenzug stellt ELCA den Smart Data Lake Builder als Open-Source-Tool unter GPL-Lizenz bei GitHub zur Verfügung, siehe https://www.smartdatalake.io.

Keine Abhängigkeit vom Anbieter

Das gesamte Ökosystem des Smart Data Lake Builder ist anbieterneutral.

Eine komplette Aufzählung der Merkmale finden Sie hier.

 

SDL3.svg
SDL3.svg

Vorteile Smart Data Lake Builder

  • Effizient und einfach komplexe, analytische Datenumgebungen aufbauen und pflegen.
  • Bis zu 50 % mehr Produktivität für Data Scientists dank intelligenter Daten aus einer stabilen Datenbasis samt Metadatenkatalog.
  • Sie sparen Zeit und Geld beim Support für Datenanwender dank Selbstbedienung mit intelligenten Daten aus einer stabilen Datenbasis samt Metadatenkatalog.
  • Sie sparen bis zu 50 % Implementierungskosten und Entwicklungszeit für Analyseanwendungen dank stabiler Datenbasis und standardisierten Datenpipelines.
  • Sie sparen bis zu 50 % Implementierungskosten eines Data Lake dank Automatisierung über Metadaten und standardisierte Datenpipelines.
  • Sie sparen bis zu 50 % Betriebs- und Wartungskosten eines Data Lake dank Transparenz durch Metadaten und standardisierte Datenpipelines.

 

Das bietet ELCA

 

ELCA ist über den Geschäftsbereich «Daten, Analysen und KI» für die Wartung zuständig und hat massgeblich zur Entwicklung des Data Lake Builder beigetragen, ist also im Detail vertraut mit dem Tool und dessen Konzeption.

ELCA kann

  • Ihnen helfen, mithilfe des Smart Data Lake Builder eine stabile, moderne Datenbasis aufzubauen (Projekt und Zugriffsrechte)
  • Ihnen helfen, hochdifferenzierte Analyseanwendungen für Ihren Data Lake zu erstellen (Projekt und Zugriffsrechte)
  • Den Smart Data Lake Builder auf Ihre Bedürfnisse zuschneiden und in Ihre Datenumgebung einfügen
  • Abonnements zur Betreuung Ihrer Installation des Smart Data Lake Builder in der Produktion einrichten.
Kontakt: Zacharias Kull

Wenn Sie auf dieser Website weitersurfen, akzeptieren Sie die Nutzung von Cookies oder ähnlichen Technologien, welche die Erstellung von Zugriffstatistiken für unsere Website bezwecken (Tests und Messungen von Zielgruppen, Besuchen, Surfverhalten und Performance), die Ihnen aber auch gezielt auf Ihre Interessen abgestimmte Inhalte und Inserate anbieten.

Wir haben unsere Cookies aktualisiert. Zögern Sie nicht, Ihre Präferenzen ebenfalls zu aktualisieren.

Schließen
save

Ihre Cookie-Präferenzen setzen

Ihre Cookie-Präferenzen aktualisieren

Sie können sich über die Art der hinterlegten Cookies informieren, sie akzeptieren oder ablehnen, sei es für die gesamte Website und alle Services oder einzeln für jeden Service.

OK, alles annehmen

Besucherfluss

Diese cookies verschaffen uns Einblick in Traffic-Quellen und ermöglichen uns ein besseres, anonymisiertes Verständnis unserer Besucher.

(Google Analytics und CrazyEgg).

Neu

Freigabetools

Cookies von sozialen Medien erlauben ein Teilen von Inhalten in Ihren bevorzugten Netzen.

(ShareThis)

Neu

Verständnis der Besucher

Diese cookies werden verwendet, um Besucher über verschiedene Websites hinaus zu verfolgen.

Dadurch wollen wir relevantere, zielgerichtete Inhalte für bestehende Kontakte anbieten (ClickDimensions) und Inserate anzeigen können, die für die Benutzer nützlich und ansprechend sind (Facebook Pixels).

 

Neu
Weitere Angaben zu diesen Cookies und unserer Cookie-Richtlinie finden Sie hier.