Microsoft Fabric Update: Neue Funktionen im Copy Job – Inkrementelles Kopieren, Lakehouse Upserts und mehr

Microsoft Fabric entwickelt sich kontinuierlich weiter und bietet immer leistungsfähigere Werkzeuge zur Verwaltung Ihrer Daten. Mit der jüngsten Aktualisierung erhält das beliebte „Copy Job“-Tool bedeutende Erweiterungen, die insbesondere auf eine effizientere Datenaufnahme sowie eine verbesserte Integration in verschiedene Zielsysteme abzielen. In diesem Beitrag beleuchten wir detailliert, welche Vorteile diese Neuerungen in Microsoft Fabric mit sich bringen und wie Sie als Nutzer von Databricks, Azure und Microsoft Fabric daraus optimalen Nutzen ziehen können.

Inkrementelles Kopieren jetzt allgmein verfügbar – Schneller und effizienter arbeiten

Die inkrementelle Datenreplikation (incremental Copy) ist eines der am häufigsten nachgefragten Features beim Umgang mit großen Datenmengen. Dabei kopiert der Job beim ersten Durchlauf sämtliche Daten, in allen folgenden Läufen erfasst und kopiert er nur noch neue bzw. geänderte Datensätze. In der Praxis bedeutet dies:

• Zeitersparnis: Weniger Wartezeiten aufgrund schnellerer Verarbeitung neuer Daten, verglichen mit vollständigen Batch-Kopien.
• Ressourcenschonung: Durch das Kopieren ausschließlich geänderter Datensätze sparen Sie wertvolle Rechenkapazitäten.
• Reduzierte Komplexität: Weniger manuelle Eingriffe und eine insgesamt einfachere, automatisierbare Datenaufbereitung.

Mit der allgemeinen Verfügbarkeit (GA) steht Incremental Copy offiziell produktionsreif zur Verfügung und bringt eine neue Verbrauchseinheit (Consumption Unit, CU) mit sich. Der Verbrauch liegt bei 3 CU pro Einheit Datenbewegung bei inkrementeller Kopie, während der herkömmliche Batch-Kopiervorgang weiterhin mit 1,5 CU abgerechnet wird. Diese Neuerung bietet eine enorme Steigerung der Effizienz, speziell in produktiven Cloud-Umgebungen.

Daten merge (Upssert) direkt in Fabric Lakehouse und weitere Datenstores

Bisher erforderte eine Integration von Änderungen und neuen Daten (ein sogenanntes Upsert) oft zusätzliche manuelle Schritte oder Workflows. Die neue Version von Microsoft Fabric unterstützt nun das direkte Zusammenführen (Upsert) in folgende Datenziele:

• Fabric Lakehouse Tabellen
• Salesforce und Salesforce Service Cloud
• Microsoft Dataverse
• Dynamics 365 und Dynamics CRM
• Azure Cosmos DB für NoSQL

Dieser Fortschritt bietet Ihnen spürbar mehr Flexibilität sowie Zeit- und Effizienzvorteile bei der Datenintegration und spart kostenintensive Individualentwicklungen zur Erreichung ähnlicher Lösungsansätze.

Neue Konnektoren – Mehr Flexibilität bei Quelle und Ziel

Mit einer erweiterten Auswahl an unterstützten Quellen und Zielen sind die Möglichkeiten für Ihre Dateningestion noch vielfältiger. Diese Verbesserung öffnet die Tür zu einer breiteren Palette von Einsatzszenarien und unterstützt Ihr Unternehmen dabei, umfangreiche Dateninitiativen einfacher und schneller umzusetzen.

Microsoft kündigt darüber hinaus bereits an, den Umfang unterstützter Konnektoren kontinuierlich auszubauen. Für Unternehmen bedeutet dies, dass zukünftig noch mehr Optionen zur Verfügung stehen werden, um die passende Verbindung für nahezu jeden Use Case bereitzustellen.

Daten von On-Premises nahtlos nach Snowflake und Fabric Data Warehouse übertragen

Für viele Unternehmen stellte bislang das Kopieren von On-Premises-Daten in Cloud-basierte Systeme wie Snowflake Data Warehouse oder Fabric Data Warehouse eine signifikante Hürde dar. Dies lag hauptsächlich an Einschränkungen der bisherigen Architektur und der Benutzeroberfläche.

Diese Barriere wurde nun vollständig beseitigt. Möglich wird dies durch die neue native Unterstützung für einen Zwischenschritt (Staging). Bei diesem Ansatz werden On-Premises-Daten zunächst sicher und effizient über Data Gateway in den Fabric OneLake transferiert. Dort findet automatisch eine Umwandlung in ein Format statt, das der COPY-Anweisung in Snowflake oder Fabric Data Warehouse entspricht. Dieser Zwischenprozess ermöglicht schließlich ein nahtloses Kopieren der Daten in die Zielumgebung.

Chancen und Mehrwerte durch die neuesten Updates

Die vorgestellten Verbesserungen rund um die Copy-Job-Funktion in Microsoft Fabric bieten erhebliche Vorteile aus Sicht von Einfachheit und Effizienz, insbesondere für Data Scientist, Data Engineers und Analysten. Konkret profitieren Unternehmen von:

• Beschleunigter Datenbereitstellung: Kürzere Time-to-Market für Analytics-Lösungen und Industrial AI-Anwendungsfälle.
• Reduzierter Wartungs- und Betriebsaufwand: Weniger komplexer Implementierungsaufwand reduziert Fehleranfälligkeit und Betriebskosten.
• Höhere Flexibilität bei Integration und Skalierung: Bessere Unterstützung unterschiedlicher Integrationsmuster ermöglicht agile und flexible Data-Engineering-Lösungen.
• Verbesserte Kosteneffizienz: Reduzierte Nutzung von Rechenressourcen durch intelligentes Management von inkrementellen Datenübertragungen.

Fazit – Ein Schritt voraus mit Microsoft Fabric

Die Neuerungen im Copy Job von Microsoft Fabric erhöhen dessen Leistungsfähigkeit und Benutzerfreundlichkeit beträchtlich. Inkrementelle Kopien, erweitertes Upsert-Management, neue unterstützte Konnektoren sowie die nahtlose Datenintegration von On-Premises-Systemen bieten innovative Lösungsansätze für komplexe Herausforderungen.

Gerade Unternehmen, die auf datengesteuerte Geschäftsmodelle setzen und datenintensive Anwendungen, Artificial-Intelligence-Projekte oder Data-Science-Vorhaben verfolgen, profitieren nun stark. Mit diesen Verbesserungen positioniert sich Microsoft Fabric zudem noch attraktiver im direkten Wettbewerb zu anderen etablierten Cloud-Technologien, wie etwa Databricks und Snowflake, und schafft deutliche Mehrwerte für Ihre Datenstrategie.

Als spezialisierter Anbieter im Bereich Data Science, künstliche Intelligenz und Data Engineering unterstützt Sie die Ailio GmbH gerne bei der Integration dieser neuesten Fabric-Funktionen in Ihre bestehenden Prozesse und Architekturen.

Sind Sie bereit, den nächsten Schritt zu gehen und Ihren Daten maximalen Wert zu verleihen? Dann nutzen Sie jetzt die neuen Fabric-Funktionen und gestalten Sie Ihre Datenstrategie gemeinsam mit unseren Experten noch effizienter und erfolgreicher.