Pressemitteilung von Fivetran

Fivetran präsentiert Managed Data Lake Service für große Datenmengen und KI-Workloads

---

---

München, 11. Juni 2024 - Fivetran , der weltweit führende Anbieter für Data Movement, bietet ab sofort einen Managed Data Lake Service an, der das Data Lake Management für Unternehmen jeder Größe automatisiert und vereinfacht. Hierfür unterstützt Fivetran über 500 vorgefertigte sowie kundenspezifische Datenquellen und integriert diese nahtlos in alle wichtigen Data-Lake-Ziele. Hinzu kommen leistungsstarke Prozesse für Change Data Capture, Normalisierung, Verdichtung und Deduplizierung. Der Managed Data Lake Service von Fivetran ist aktuell auf Amazon S3, Azure Data Lake Storage (ADLS) und Microsoft OneLake verfügbar.

Der Fivetran Managed Data Lake Service vereinfacht das Management von Data Lakes, indem er Kundendaten automatisch in gängige offene Formate (z. B. Apache Iceberg oder Delta Lake) konvertiert, bevor sie in einen Data Lake geladen werden. Zusammen mit der laufenden Tabellenverwaltung und -pflege von Fivetran können Kunden die einfache Abfragbarkeit und Benutzerfreundlichkeit eines Cloud Data Warehouse mit der Flexibilität und dem Umfang eines Data Lakes kombinieren. Da kein anderer Datenanbieter Data Lakes auf diese Art und Weise verwaltet, profitieren nur Fivetran-Kunden sowohl von den niedrigen Kosten von Data Lakes als auch der Struktur und den Berichtsfunktionen von Data Warehouses. Sie können ihren Data Lake einfach mit abfragebereiten Daten aufbauen. Diese können von der externen Tabellenfunktion von Data Warehouses gelesen werden, ohne dass Datensätze an mehrere Orte verschoben oder dupliziert werden müssen. Dies unterstützt eine ganze Reihe von Anwendungsfällen, inklusive analytischer, operativer und GenAI-Workloads.

Der neue Fivetran Managed Data Lake Service konvertiert nicht nur Daten und zentralisiert sie im Data Lake, sondern bietet auch einen End-to-End Data Lake Management Service, der Low-Level-Datenmanagementaufgaben vollständig automatisiert. "Fivetran übernimmt das schwierige Change-Data-Management, die PII-Erkennung, Deduplizierung und andere Low-Level Tabellenpflege. Damit müssen Entwickler keine Zeit mehr mit Arbeiten verschwenden, die sich automatisieren lassen", so George Fraser, CEO von Fivetran. "Indem wir saubere, zentralisierte und optimierte Daten aus jeder Quelle bereitstellen, wollen wir sowohl Anwender als auch Data Scientists produktiver machen."

Dieses Level an Automatisierung und Wartung ist für viele Unternehmen entscheidend. Nick Chmura, Head of Data bei Luma Financial Technologies, erklärt: "Die automatisierte Tabellenpflege ist für uns das Killer-Feature von Fivetran, weil wir so viele verschiedene Konnektoren haben. Wenn wir versuchen würden, ein Change Data Capture zu erstellen und zu verwalten, würde uns das untragbar viel Zeit kosten."

Der Fivetran Managed Data Lake Service hilft bei der Umwandlung von klassischerweise nicht verwalteten Data Lakes in organisierte, verwaltete und kontinuierlich optimierte Datenspeicher. Dank nativer Integrationen von Data Catalogs wie AWS Glue, Databricks Unity Catalog und Microsoft Purview können Nutzer wichtige Datensätze aus dem Data Lake schnell finden, darauf zugreifen und diese verwalten. Von dort aus können Nutzer mittels kompatibler Compute Engines wie Databricks, Snowflake, Starburst oder Redshift die Daten mit Python, SQL oder anderen unterstützten Sprachen abfragen und ändern. Zudem können sie die Daten mit Tools wie dbt transformieren, mit Power BI visualisieren oder mit AWS Sagemaker, Azure Machine Learning oder Databricks Mosaic AI KI-/ML-Modelle erstellen und einsetzen.

Der Fivetran Managed Data Lake Service unterstützt über 500 Datenquellen , darunter On-Premises- und Cloud-Datenbanken wie Postgres, MySQL, Oracle und SAP sowie SaaS-Anwendungen, Data Warehouses, Events und Dateien. Darüber hinaus erstellt Fivetran auch kundenspezifische Konnektoren, sodass garantiert jede Datenquelle unterstützt wird, ohne dass wertvolle technische Ressourcen für das Pipeline-Management oder die Entwicklung von Konnektoren gebraucht werden. So können Kunden ihre Daten im Data Lake vereinheitlichen - unabhängig davon, wo diese sich aktuell befinden.

"Wir freuen uns sehr, dass Fivetran Delta Lake als direktes Ziel unterstützt", so Himanshu Raja, Director of Product bei Databricks. "Dadurch können Kunden Fivetran jetzt nutzen, um ein offenes Lakehouse mit Delta Lake powered by Databricks Data Intelligence Platform aufzubauen. Wir freuen uns auch über die anstehende Integration von Fivetran mit Unity Catalog, die Out-of-the-Box Governance und Sicherheit für alle von Fivetran generierten Tabellen bieten wird."

Zu den Vorteilen des Fivetran Managed Data Lake Service gehören:
- Mehr Kontext und Erkenntnisse sowie bessere Datenerfassung für Anwender und Data Scientists dank zentralisierter, demokratisierter und abfragebereiter Daten.
- Höhere betriebliche Effizienz durch automatische Daten-Konvertierung in offene Tabellenformate (Delta Lake / Apache Iceberg) mit robusten Data-Catalog- und Governance-Funktionen.
- Reduzierter Workload für Entwickler, da Fivetran Tabellenaktualisierungen, PII-Erkennung, Deduplizierung und andere automatisierbare Low-Level-Aufgaben zur Tabellenpflege übernimmt.
- Geringere Kosten durch die Automatisierung der Datenmigration aus veralteten Data Warehouses, die Nutzer an proprietäre Datenformate binden.
- Unkomplizierte Datenreplikation mit der Garantie von sauberen Datensätzen, bei denen jede Änderung vollständig erfasst ist.

Aufgrund steigender Nachfrage nach fortschrittlicher KI verzeichnet Fivetran ein deutliches Wachstum und zunehmendes Kundeninteresse an Data-Lake-Destinationen, vor allem bei großen Unternehmen. Dies unterstreicht die dringende Notwendigkeit an kosteneffizienten und flexiblen Datenarchitekturen, mit denen Kunden KI- und Machine-Learning-Projekt erfolgreich umzusetzen können.
"Auch Starburst sieht weiterhin ein starkes Momentum für offene Architekturen. Die Icehouse Architektur wird durch die Adaption von Iceberg in den Fivetran Managed Data Lakes Service bestätigt", erklärt Anders Holden, Director of Product Management bei Starburst Data. "Der neue Fivetran-Service vereinfacht den Ingestion-Prozess und beseitigt die Komplexität rund um das Data Lake Management. Unternehmen, die Starburst für schnelle SQL-Analysen in ihrem Data Lake nutzen, werden schneller Erkenntnisse gewinnen und einen optimierten Datenpipeline-Prozess haben, während sie gleichzeitig Zeit sparen und Kosten reduzieren."

Der Fivetran Managed Data Lake Service ist ab sofort verfügbar. Fivetran-Nutzer können den Managed Data Lake Service von Juni bis August kostenlos testen. Weitere Informationen zu der Sommeraktion "Summer at the Lakehouse" finden Sie im Blog zur Ankündigung des Fivetran Managed Data Lake Service.

(Bildquelle: Fivetran) Firmen- & Pressekontakt