5 Best Practices für Data Lakes, die auch funktionieren

Wollten Unternehmen in der Vergangenheit große Mengen an Daten verwalten, speichern und verarbeiten, so verwendeten sie Data Warehouses. Big Data hat das geändert. Data Warehouses konnten mit den Anforderungen dieser neuen Technologie nicht mehr mithalten. Durch immer mehr Kapazität stiegen die Speicherkosten. Aus diesem Grund wendeten sich Unternehmen einer neuen Art von Daten-Repository zu, dem Data Lake.

Ein Data Lake hat gleich mehrere Vorteile gegenüber anderen Daten-Repositories, wie Data Warehouses oder Data Marts. Das liegt teilweise daran, dass in einem Data Lake alle Arten von Daten gespeichert werden können – interne, externe, strukturierte und unstrukturierte. Und weil Data Lakes keine feste Struktur haben, sind sie ungleich flexibler. Änderungen an den Modellen und Abfragen im Repository lassen sich leicht umsetzen. Auch lässt sich die gesamte Struktur einfach anpassen, wenn sich die geschäftlichen Anforderungen ändern.

Aber nicht nur strukturelle Vorteile zeichnen den Data Lake aus, auch bei der Bedienbarkeit und der Datendemokratisierung hat er die Nase vorn. Zwar werden Data Lakes vornehmlich von Data Scientists genutzt, aber das Repository stellt auch normale Nutzer vor keine großen Herausforderungen und erleichtert die schnelle und effiziente Auswertung und Analyse von Unternehmensdaten. Dieser benutzerfreundliche Ansatz unterstützt eine iterative Datenexploration. Daher sind Data Lakes hervorragend dazu geeignet, Antworten auf Probleme zu finden, die weniger strukturiert sind und deshalb flexible Lösungen erfordern.

Was kann man mehr von einem Data Repository erwarten?

Sie haben beschlossen, dass ein Data Lake die richtige Lösung für Ihr Unternehmen ist. Jetzt möchten Sie wissen, wie Sie Ihren Beschluss am besten in die Tat umsetzen. In diesem Artikel werden verschiedene Best Practices für die Einrichtung eines Data Lakes vorgestellt. Außerdem erfahren Sie, welche Rolle Datenintegrations-Tools spielen, damit Ihr Projekt auf lange Sicht erfolgreich wird.

Erste Schritte mit Data Lakes

Damit Ihr künftiger Data Lake optimal auf Ihre geschäftlichen Anforderungen zugeschnitten ist, müssen Sie zunächst einige grundlegenden Fragen klären:

• Wo werden Ihre Daten gespeichert?
• Welche Arten von Daten haben Sie?
• Was geschieht mit diesen Daten?
• Sind Ihre Daten korrekt und sicher?
• Wie können Sie Lock-in-Effekte vermeiden?
• Wie sorgen Sie für die Zukunftssicherheit Ihrer Lösung?

Nicht nur müssen Sie wissen, in welchem Zustand Ihre Daten vorliegen, sondern auch wer auf welche Weise darauf zugreifen soll. Schließlich ist doch die leichte Datenzugänglichkeit einer der wesentlichen Vorteile eines Data Lakes.

Sobald diese Aspekte geklärt sind und Sie Ihre ideale Datenmanagement-Strategie formuliert haben, können Sie mit der Erstellung eines Data Repository beginnen, das Ihre aktuellen Anforderungen erfüllt und sich bei Bedarf skalieren lässt.

5 Schritte zur Data-Lake-Migration

Data Lakes und Datenmanagementlösungen sind inzwischen weit verbreitet und es gibt zahlreiche Tools auf dem Markt, die einen leichten Einstieg versprechen. Wenn Sie aber an einem wirklich gut funktionierenden Speicher- und Managementsystem interessiert sind, sollten Sie unbedingt die folgenden Best Practices beachten.

1) Skalierbarkeit einberechnen

Die verfügbare Datenmenge wächst Tag für Tag. Deshalb ist es unerlässlich, dass Sie langfristig planen und überlegen, wie Ihr Data Lake die künftige Datenflut verarbeiten wird. Das heißt, Sie müssen ausreichend Entwickler und Prozesse einplanen, um Hunderte oder Tausende neuer Datenquellen möglichst effizient und unter Beachtung der Kosten und Leistungsanforderungen zu verwalten, zu bereinigen und zu kontrollieren.

2) Geschäftliche Ziele setzen

Sie können Ihre Organisation nicht transformieren, wenn Sie Ihre Prioritäten nicht genau kennen. In welche Richtung bewegt sich Ihr Unternehmen, welche Projekte und Initiativen sind geplant? Nur wenn Sie die Antworten auf diese Fragen kennen, können Sie entscheiden, welche Anwendungsfälle, Analysefunktionen und welche Architektur und Technologien für Ihren Data Lake relevant sind.

3) Das Datenteam vergrößern

Die Datenqualität ist in vielen Unternehmen in den Mittelpunkt gerückt. Hochwertige Daten sicherzustellen ist nicht mehr nur Aufgabe der IT-Abteilung, vielmehr sind mehrere Abteilungen daran beteiligt. Der Grund dafür liegt auf der Hand: Fehlerhafte Daten verfälschen Analysen. Daher ist es nur sinnvoll, Business-User in die Maßnahmen zur Qualitätssicherung einzubinden. Business-Analysten haben das nötige Fachwissen und die Fähigkeiten, um die richtigen Daten für jede Anforderung zu ermitteln. Indem Sie ihnen Self-Service-Zugriff gewähren, sorgen Sie dafür, dass Ihr Data Lake einige seiner wichtigsten geschäftlichen Ziele erfüllt.

4) Eine zukunftssichere Infrastruktur planen

Die geschäftlichen Anforderungen ändern sich heute konstant. Daher muss Ihr Data Lake wahrscheinlich auf mehreren Plattformen ausgeführt werden. Da die einzelnen Teams in einer Organisation oft je nach Aufgaben und Ressourcen unterschiedliche Cloud-Anbieter nutzen, verwenden die meisten Unternehmen eine Multi-Cloud-Infrastruktur.

Wenn auch Ihr Unternehmen dazugehört, muss Ihre Dateninfrastruktur entsprechend vorbereitet sein. Setzen Sie auf eine flexible Strategie, die eine schnelle Anpassung ermöglicht, wenn Sie die Technologie wechseln müssen. Eine Data-Vault-Methode, die eine kontinuierliche Aufnahme neuer Datentypen ermöglicht, ist hier oft die beste Wahl.

5) Eine Data-Governance-Strategie formulieren

Schieben Sie das Thema Datenqualität nicht auf die lange Bank. Ohne vollständig ausgearbeitete Data-Governance-Strategie sollten Sie keinen Data Lake und auch kein Big-Data-Projekt angehen. Ihr Lohn: einheitliche, wohldefinierte Prozesse und klare Verantwortlichkeiten. Benennen Sie in einem ersten Schritt die geschäftlichen Gründe dafür, gewisse Daten engmaschig zu kontrollieren, und definieren Sie, welche Vorteile Sie sich davon versprechen. Diese Strategie ist das Fundament für Ihr Data-Governance-Framework.

So finden Sie das beste Datenintegrations-Tool

Der Umzug in einen Data Lake kann mit Aufwand verbunden sein. Ein gutes Datenintegrations-Tool ist da eine große Hilfe. Wenn Sie sich die verschiedenen Lösungen auf dem Markt ansehen, sollten Sie sich für ein Angebot entscheiden, das jeden Schritt im Enterprise-Datenmanagement abdeckt – von der Datenaufnahme bis zur Datenfreigabe. Ein Datenmanagement-Tool sollte:

• eine unbegrenzte Zahl von Datenquellen unterstützen und das Hinzufügen neuer Quellen erleichtern
• Daten schnell und sicher verarbeiten können
• Batch- und Echtzeitdaten in jeder Geschwindigkeit verarbeiten
• über integrierte Machine-Learning- und Datenqualitäts-Tools verfügen
• Data-Governance, Metadaten-Management und Data Lineage Tracking beherrschen
• Self-Service-Tools bieten, damit jeder Nutzer problemlos auf die Daten zugreifen kann, ob Business-User oder Data Scientist
• in jeder Cloud oder lokalen Plattform funktionieren
• über integrierte Data-Vault-Funktionen und -Dienste verfügen

Ein Tool, das alle diese Kriterien erfüllt, macht allein noch keinen Data Lake aus. Es erleichtert und beschleunigt aber die Verwaltung und ermöglicht es Ihrem Unternehmen so zu arbeiten, wie es am besten für seine Geschäftstätigkeit ist.

Cloud-Data-Lake unterstützt Lenovo bei Umsatzsteigerung von 11 %

Lenovo, einer der weltgrößten PC-Hersteller, wertet jährlich strukturierte und unstrukturierte Daten aus mehr als 22 Milliarden Transaktionen aus. Ziel ist es, ein möglichst umfassendes Gesamtbild der Millionen Kunden auf der ganzen Welt zu erhalten. Trotz dieser gewaltigen Datenmenge hatte Lenovo Probleme, die vielen Tabellenzeilen mit Kundeninformationen in handfeste geschäftliche Erkenntnisse für die Entwicklung neuer innovativer Produkte umzusetzen. Vor diesem Hintergrund tat sich Lenovo mit Talend zusammen und implementierte einen agilen Cloud-Data-Lake, der Vorhersageanalysen in Echtzeit unterstützt.

Das Analyseteam von Lenovo fasste die Daten aus 60 Datenquellen in einem einzigen Repository zusammen und kam damit seinem Ziel, das Kundenerlebnis zu verbessern und das Unternehmen stärker vom Wettbewerb abzuheben, einen großen Schritt näher. Das Cloud-Data-Lake-Projekt führte unter anderem zu den folgenden messbaren Ergebnissen: 11 Prozent Umsatzsteigerung pro Einheit, Senkung der Betriebskosten um 1 Mio. USD binnen eines Jahres bei gleichzeitiger Verdoppelung der Produktivität sowie Verkürzung der Zeiten für Reporting und Prozessverarbeitung von Stunden auf Minuten.

Viele weitere Unternehmen haben erkannt, dass der Umzug in einen Cloud-Data-Lake die richtige Wahl ist, um den Nutzen von Big Data voll auszuschöpfen. Wenn auch Sie die Notwendigkeit eines Data Lake erkannt haben, sollten Sie einen Blick auf Talend werfen. Talend Cloud bietet Ihnen eine effiziente Komplettlösung, mit der Sie Ihre Rohdaten in geschäftlich verwertbare Erkenntnisse verwandeln können.

Unsere Lösung folgt einer bewährten Methode und nutzt offene Standards. Auf diese Weise können wir viele Probleme, die einer erfolgreichen Data-Lake-Implementierung entgegenstehen bereits im Vorfeld ausschließen. Durch den Wegfall eines Großteils des Programmieraufwands werden Portierbarkeit und Wartung vereinfacht. Zudem automatisiert die leistungsfähige Plattform Routineaufgaben, sodass sich Entwickler mit wichtigeren Aufgaben wie zum Beispiel Machine Learning befassen können.

Sind Sie bereit für eine effiziente Datenmanagementstruktur? Dann sehen Sie sich die kostenlose Testversion von Talend Cloud Integration an und beginnen Sie mit der Implementierung eines Data Lakes, der Ihre geschäftlichen Zielsetzungen effektiv unterstützt.