Databricks Delta Sharing erweitert Unterstützung für Apache Iceberg – Neue Möglichkeiten für offenes Data Sharing
Die Art und Weise, wie Unternehmen Daten teilen, ist entscheidend für Innovation, Effizienz und nachhaltigen Unternehmenserfolg. Gerade in einer immer stärker vernetzten und hybriden IT-Landschaft benötigen Unternehmen Lösungen, mit denen sie Daten flexibel, sicher und plattformübergreifend teilen können. Mit der jüngsten Erweiterung von Databricks Delta Sharing um native Unterstützung für das Apache Iceberg-Format bietet sich nun eine zukunftsfähige, offene Lösung, die Organisationen mehr Kontrolle, Interoperabilität und Datenhoheit verschafft.
Delta Sharing: Der offene Standard für Data & AI Sharing
Mit jährlichen Wachstumsraten von über 300% und namhaften Anwendern wie SAP, Walmart und LSEG hat sich Delta Sharing als offenes Protokoll für den Datenaustausch etabliert. Während viele Datenaustauschlösungen proprietär und damit auf ein Ökosystem beschränkt sind, verfolgt Delta Sharing einen anderen Ansatz: Es setzt konsequent auf Interoperabilität, Transparenz und Offenheit – über Plattform- und Cloud-Grenzen hinweg.
Die zentrale Neuerung: Ab sofort ist Delta Sharing vollständig mit Apache Iceberg kompatibel. Datenanbieter können live und sicher Daten – darunter auch Iceberg-Tabellen – direkt aus Databricks an jeden Client teilen, der die Iceberg REST Catalog API unterstützt. Als Empfänger kommen somit unter anderem Lösungen wie Snowflake, Trino, Flink und Spark auf allen Cloud-Plattformen in Frage.
Private Preview: Iceberg-Tabellen aus externen Katalogen teilen
Zusätzlich startet Databricks eine Private Preview, welche das Teilen von Iceberg-Tabellen aus externen Metadatenkatalogen wie AWS Glue, Hive Metastore oder Snowflake Horizon ermöglicht. Damit wird der Austausch von Daten noch flexibler und umfassender. Unternehmen können somit sowohl neue als auch bestehende Tabellen – ob Delta oder Iceberg, intern oder extern verwaltet – einfach teilen und einheitlich über den Unity Catalog von Databricks steuern und überwachen.
Die Vorteile für Unternehmen
- Vendor-Lock-in vermeiden: Statt in geschlossenen Lösungen festzustecken, bietet Delta Sharing echte Offenheit. Unternehmen profitieren von Flexibilität, Innovationspotenzial und geringeren Kosten, da kein unnötiges Datenreplikat oder -migration notwendig ist.
- Zukunftssichere Interoperabilität: Ob Azure, AWS oder GCP – Daten lassen sich ohne technische Hürden oder komplexe Integrationsprojekte mit Partnern und Kunden teilen, unabhängig davon, welche Systeme sie nutzen.
- Sichere, Live-Zugriffe: Geteilte Daten bleiben stets aktuell. Empfänger erhalten sicheren Direktzugriff auf die Daten, ohne sie duplizieren bzw. auf eigene Systeme synchronisieren zu müssen.
- Zentrale Daten-Governance mit Unity Catalog: Durch die Katalogisierung externer Datenquellen in Unity Catalog gewinnen Unternehmen eine einheitliche Sicht und Kontrolle über ihre gesamte Datenlandschaft, inklusive rollenbasierter Zugriffsbeschränkungen.
- Flexibilität im Datenformat: Delta-Tabellen können so geteilt werden, dass Empfänger sie als native Iceberg-Tabellen konsumieren können und umgekehrt. Dadurch entstehen keine Format-Zwänge in der Zusammenarbeit.
- Bereicherung für Multi-Cloud- und Hybrid-Szenarien: Besonders für Unternehmen, die unterschiedliche Plattformen oder Clouds im Einsatz haben, wird ein nahtloser, bidirektionaler Datenaustausch möglich.
Praxisszenario: Effizientes Teilen mit Partnern und Kunden
Ein typisches Beispiel aus der Praxis:
Ein Unternehmen verwaltet seine Daten mit Databricks und Delta Lake und möchte tägliche Sales-Reports sicher mit einem Partnerunternehmen austauschen, das Snowflake und bevorzugt das Iceberg-Format nutzt.
- Vor der neuen Delta Sharing-Funktionalität hätten die Daten zunächst manuell exportiert, umgewandelt und übertragen werden müssen – ein zeitaufwändiger und fehleranfälliger Prozess.
- Mit Delta Sharing genügt heute ein einziger, einfach konfigurierter Share: Der Partner kann die aktuellen Daten direkt im gewünschten Iceberg-Format in Snowflake oder einer beliebigen kompatiblen Plattform lesen – ohne Zeitverlust oder Administrationsaufwand.
Chancen für verschiedene Branchen
Von Healthcare über den Handel bis zur Finanzindustrie: Überall dort, wo Datenlieferanten, Partner oder Kunden unterschiedliche Technologien einsetzen, bringt die neue Offenheit in Databricks Delta Sharing einen strategischen Vorteil. Besonders in datengetriebenen Multi-Cloud- oder Hybrid-Landschaften wird so der Weg frei für Innovationsprojekte wie Industrial AI, Echtzeit-Analytik und unternehmensübergreifende Machine-Learning-Lösungen.
Fazit: Neue Standards für ein offenes Ökosystem
Mit der Unterstützung für Apache Iceberg und der Möglichkeit, externe Datenquellen anzubinden, unterstreicht Databricks seine Rolle als Enabler eines offenen, skalierbaren und sicheren Data- und AI-Ökosystems. Für Unternehmen, die ihre Datenstrategie auf Interoperabilität und Innovation auslegen, entstehen damit völlig neue Chancen.
Die Ailio GmbH unterstützt Sie dabei, Ihre Dateninfrastruktur offen, sicher und zukunftsfähig zu gestalten – sprechen Sie uns an, um das Potenzial von Databricks Delta Sharing und Apache Iceberg für Ihr Unternehmen zu erschließen.
