Wie Mercedes-Benz mit Databricks Delta Sharing und Data Mesh die Kosten für Cloud-übergreifende Datennutzung optimiert
Die Automobilbranche durchläuft aktuell einen tiefgreifenden Wandel: Digitalisierung und die Umstellung auf Elektromobilität führen dazu, dass Fahrzeuge immer mehr zu „datenbestimmten“ Objekten werden. Für Mercedes-Benz, eine der führenden Premiummarken weltweit, ist die Fähigkeit, große, häufig aktualisierte Datenmengen effizient zu nutzen, ein Schlüsselfaktor für Innovation und Wettbewerbsfähigkeit. In diesem Artikel beleuchten wir, wie Mercedes-Benz mithilfe der Databricks Data Intelligence Platform, Delta Sharing und gezielten Data-Engineering-Methoden die Herausforderungen eines Multi-Cloud- und Multi-Region-Setups meistert – mit enormen geschäftlichen Vorteilen.
Herausforderung: Multi-Cloud-Architektur und Datenbewegung
Mercedes-Benz betreibt eine komplexe IT-Landschaft, die sowohl AWS als auch Azure einbindet. Innerhalb der Clouds nutzen unterschiedliche Teams die Dienste, die exakt zu ihren technischen Anforderungen passen. Insbesondere im Bereich After-Sales fallen kontinuierlich große Datenmengen an – etwa aus Fahrzeug-Fernwartungsereignissen oder Werkstattbesuchen. Diese Daten sind für Bereiche wie Forschung und Entwicklung, Qualitätsmanagement und das Management komplexer Garantiefälle unerlässlich.
Doch die damit verbundene Herausforderung ist groß: Die Daten werden primär in AWS gespeichert, zahlreiche Nutzer und Anwendungen auf Azure benötigen jedoch kontinuierlich Zugriff. Ein Transfer dieser riesigen Datenmengen zwischen Clouds ist mit hohen Kosten (Egress Fees) und technischen Hürden bei der Sicherstellung der Datenaktualität verbunden.
Innovative Lösung: Delta Sharing und Delta Deep Clone
Um diesem Dilemma zu begegnen, hat Mercedes-Benz ein innovatives Cross-Cloud-Datenarchitektur-Konzept umgesetzt, das auf der Databricks Data Intelligence Platform basiert. Zentrale Komponenten dieser Lösung sind Unity Catalog für einheitliches Datenmanagement, Delta Sharing zur sicheren und skalierbaren Datenweitergabe sowie Delta Deep Clone für die effiziente lokale Datenreplikation.
Der Ansatz von Mercedes-Benz kombiniert dabei zwei Mechanismen:
- Delta Sharing: Ermöglicht einen sicheren, granular steuerbaren Austausch von Delta Lake-Daten zwischen Cloud-Accounts, Workspaces oder sogar komplett unterschiedlichen Plattformen ohne klassische ETL-Prozesse. Dazu werden Delta Shares definiert, die autorisierten Empfängern direkten Zugriff auf aktuelle Datensätze gewähren.
- Delta Deep Clone: Mit dieser Funktion lassen sich komplette Delta Lake-Tables effizient replizieren und als lokale Kopie bereitstellen. Dank inkrementeller Updates ist gewährleistet, dass nur tatsächliche Änderungen übertragen werden – das minimiert Egress-Kosten und erhöht die Übertragungsfrequenz.
Flexible Architektur für verschiedene Use Cases
Ein entscheidender Vorteil dieses Ansatzes ist die hohe Flexibilität. Je nach Anforderungen an Datenfrische und Kosten können unterschiedliche Konfigurationen gewählt werden:
- Echtzeit- oder nahezu Echtzeit-Zugriff: Nutzer erhalten mit Delta Shares direkten Zugriff auf aktuelle Daten, beispielsweise für zeitkritische Geschäftsanalysen. Dies ist mit höheren Egress-Kosten verbunden, garantiert dafür maximale Aktualität.
- Kosteneffiziente, inkrementelle Synchronisation: Für große, oft genutzte Datensätze (wie After-Sales-Daten) genügt häufig eine lokale Kopie, die periodisch aktualisiert wird. Hier sorgt die Deep Clone-Strategie für ein ideales Verhältnis zwischen Kosten und Datenaktualität.
Mehrwert für das gesamte Unternehmen
Durch diese Architektur schaffte es Mercedes-Benz, zuvor isolierte Datensilos zu verbinden: After-Sales-, Entwicklungs-, Vertriebs- und Marketingdaten stehen jetzt fachbereichsübergreifend zur Verfügung. Dies bildet die Grundlage, um die Vision des „data-defined vehicle“ zu verwirklichen – also Fahrzeuge, deren Weiterentwicklung, Qualitätssicherung und Kundenerlebnis kontinuierlich und datengetrieben optimiert werden.
Vorteile und Chancen durch die neue Databricks-Lösung
- Reduzierung von Egress-Kosten: Der Cross-Cloud-Datenaustausch erfolgt deutlich günstiger, da nur notwendige Änderungen synchronisiert werden.
- Skalierbarkeit und Sicherheit: Dank Unity Catalog und der kontrollierten Data-Sharing-Mechanismen ist das Setup sowohl für kleine als auch große Teams und Projekte geeignet – und entspricht höchsten Security-Anforderungen.
- Kürzere Time-to-Insight: Entwicklungs- und Fachbereiche können sich schneller, umfassender und flexibler mit den benötigten Daten versorgen und so Innovationszyklen verkürzen.
- Hohe Automatisierung: Serverless Databricks Jobs senken Compute-Kosten und vereinfachen das operative Management.
Fazit: Blueprint für die datengetriebene Industrie
Das Beispiel Mercedes-Benz zeigt eindrucksvoll, wie sich mit moderner Data-Engineering-Expertise, robusten Plattformen wie Databricks und zeitgemäßen Konzepten wie Data Mesh und Delta Sharing hochkomplexe Herausforderungen pragmatisch lösen lassen. Unternehmen aus Industrie, Automotive, Energie und anderen datenintensiven Branchen können von diesen Erfahrungen sofort profitieren:
- Schnellerer und kosteneffizienter Wissensaustausch über Cloud-Grenzen hinweg
- Zentralisierte Governance und skalierbares Datenmanagement
- Enorme Flexibilität zur Unterstützung verschiedenster Use Cases von KI bis Reporting
Bei Ailio unterstützen wir Sie mit langjähriger Data-Science- und KI-Kompetenz beim Aufbau und der Optimierung Ihrer Cloud-, Data-Engineering- und Industrial AI-Plattformen – mit besonderem Schwerpunkt auf Databricks und Azure. Sprechen Sie uns an, wenn Sie Ihr Unternehmen fit für die datengetriebene Zukunft machen möchten.
