Skip to main content

Talend unterstützt das Open-Source-Projekt Delta Lake

Talend baut Beziehung zu Databricks aus, um Unternehmen bei der Cloudverarbeitung von Daten im großen Stil zu unterstützen

Redwood City, CA - 14. Mai 2019 - Talend, führender Anbieter von Lösungen für Cloud-Integration und Datenintegrität, wird das von Databricks angekündigte neue Open-Source-Projekt Delta Lake unterstützen. Talend Cloud ist eine umfassende und hochgradig skalierbare Unified Integration Platform-as-a-Service (iPaaS) und integriert nativ Daten aus beliebigen Quellen in und aus Delta Lake. Hierbei stellt Talend eine zuverlässige vereinheitlichte Umgebung für umfangreiche Batch- und Streaming-Daten bereit und ebnet so den Weg für eine beachtliche Anzahl analytischer und operativer Anwendungen.

Talend Cloud integriert nahtlos Daten von und in Delta Lake und nutzt seine ACID-Compliance-Funktionen, Time Travel (Datenversionierung) und Unified Processing für die Batch- und Streaming-Bestände. Talend bietet aber nicht nur eine Anbindung an eine breite Palette von Datenquellen, einschließlich populärer SaaS-Anwendungen und Cloudplattformen, sondern wird Delta Lake-Anwendern auch umfassende Datenqualitäts- und Governance-Funktionen zur Verfügung stellen. Diese unterstützen maschinelles Lernen und erweiterte Analysen und nutzen die leistungsstarke Apache Spark-Technologie, die Delta Lake zugrunde liegt, optimal aus.

„Die Frage der Zuverlässigkeit von Daten in Data Lakes hat Unternehmen bislang daran gehindert, das Potenzial ihrer Daten voll auszuschöpfen“, sagt Ali Ghodsi, Mitbegründer und CEO von Databricks. „Als Open-Source-Projekt richtet sich Delta Lake direkt an die Community. Es ist eine ausgereifte Umgebung, die buchstäblich dafür prädestiniert ist, Lösungen zu entwickeln, die die Herausforderungen im Bereich der Datenqualität bei Data Lakes adressieren. Talend gehörte, was die Open-Source-Integration angeht, schon immer zur Speerspitze, und wir freuen uns auf das, was sie beizutragen haben. Dank unserer bewährten Partnerschaft nehmen die Initiativen unserer gemeinsamen Kunden in den Bereichen Data Engineering und Machine Learning immer mehr Fahrt auf.“

Talends umfassende Unterstützung der Spark-Konnektoren ist für Delta Lake in verschiedener Hinsicht von Vorteil:

  • Höhere Datenkonsistenz durch die Nutzung der nativen Datenqualitätsfunktionen von Talend mit Delta Lake ACID-Transaktionen
  • Einfache Rollbacks und erneute Verarbeitung aufgrund der Integration von Talend in Delta Lake Time Travel und Datenversionierungsfunktionen
  • Umfassende Verarbeitung riesiger Datenvolumina dank der Unterstützung der Scale-Out-Architektur von Delta Lake durch Talend

Delta Lake steigert die Zuverlässigkeit von Data Lakes erheblich, denn es ermöglicht die Verwaltung von Transaktionen sowohl übergreifend für Streaming- und Batch-Daten als auch über viele gleichzeitige Reader und Writer hinweg. Delta Lake funktioniert mit jedem vorhandenen Data Lake problemlos, d. h., die Unternehmen erzielen bereits mit minimalen Änderungen an ihren Datenarchitekturen einen Zuverlässigkeitsgewinn bei ihren Daten. Aus diesem Grund ist es vollkommen unproblematisch, wenn Entwickler hunderte von Anwendungen gleichzeitig beträchtliche Datenmengen hochladen oder abfragen lassen.

„Talends Unterstützung für Delta Lake ist als erweiterte Anwendung unserer Expertise bei der Vereinheitlichung von Batch- und Streaming-Daten nur konsequent“, meint Talend-CEO Mike Tuchen. „Seit der Gründung hat Talend stets innovative Technologien eingesetzt, die den Umstieg auf moderne Datenarchitekturen erleichtern. Wir sehen uns in der Pflicht, Unternehmen auch in Zukunft bei der Cloudverarbeitung von Daten im großen Stil zu unterstützen. Delta Lake schließt bei der Optimierung von Analytics für massive Datenpipelines eine signifikante Lücke.“

Talend Cloud bietet eine komplette Anwendungssuite für Datenintegration und Datenintegrität, die Unternehmen beim Erfassen, Verwalten, Transformieren und Teilen von Daten unterstützt. Über eine einheitliche Oberfläche können Unternehmen dank Daten- und Big-Data-Integration sowie Datenqualitätsfunktionen belastbare und kontrollierte Daten unternehmensweit bereitstellen. Kunden aus allen Branchen entscheiden sich bei ihren Cloud Data Lake- und Cloud Data Warehouse-Projekten für Talend, denn Talend Cloud bietet über 900 Konnektoren und Komponenten, integrierte Datenqualität, native Unterstützung für die neuesten Big-Data- und Cloudtechnologien sowie SDLC-Support (Software Development Lifecycle) für Unternehmen zu einem vorhersehbaren Preis. Talend Cloud ist sowohl mit Azure Databricks als auch mit Databricks für AWS integriert.