Verbesserte Unity Catalog Python UDFs: Neue Möglichkeiten für Data Science, Data Engineering und Industrial AI auf Databricks

Autor: Ailio GmbH Data Science Team | Juni 2025

Unity Catalog Python User-Defined Functions (UC Python UDFs) haben sich rasch als unverzichtbares Werkzeug in modernen Data-Warehouses etabliert. Tausende Unternehmen weltweit nutzen diese Funktionen, um täglich Abermillionen von Anfragen auszuführen. Dabei ermöglichen sie es, die volle Leistungsfähigkeit von Python-Code in allen Compute-Umgebungen zu erschließen, die Unity Catalog unterstützen, darunter Databricks-Cluster, SQL Warehouses und Delta Live Tables (DLT).

Kürzlich hat Databricks entscheidende Neuerungen veröffentlicht, die UC Python UDFs noch leistungsfähiger machen. Diese Updates stehen ab sofort als Public Preview in den aktuellsten Databricks Runtimes (u.a. Runtime 16.3), SQL Warehouses (Version 2025.15) sowie in den Serverless Notebooks und Workflow-Tools zur Verfügung und versprechen einen erheblichen Nutzen für Data Scientists, Data Engineers und KI-Experten.

Vorteile durch individuell konfigurierbare Python-Abhängigkeiten

Einer der größten Zugewinne für Nutzer von UC Python UDFs ist die Möglichkeit, eigene Python-Pakete innerhalb der Funktionen zu installieren. Dies war bisher nicht möglich und führte in der Vergangenheit zu Code-Duplikationen und aufwendigen Workarounds. Nun können Sie Python-Abhängigkeiten direkt von PyPI sowie Databricks Unity Catalog Volumes oder anderen Cloud-Speichern (Blob Storage) laden.

Diese Neuerung bringt mehrere entscheidende Vorteile:

• vereinfachte Wartung und bessere Stabilität: Projektteams können stabile Python-Umgebungen definieren, Code-Duplikationen vermeiden und dadurch eine bessere Zuverlässigkeit ihrer Anwendungen erzielen.
• effizientere Entwicklungsprozesse: Benutzer sparen Zeit durch weniger manuelle Einrichtungsschritte, und Entwicklungs- und Produktivumgebungen werden konsistenter.
• erweiterter Funktionsumfang: UDFs werden flexibler und können leichter auf bewährte externe Python-Bibliotheken zugreifen, beispielsweise zur Kryptographie oder Datenanalyse.

Ein anschauliches Anwendungsbeispiel hierfür könnte der Einsatz der Bibliothek „pycryptodome“ sein, um SHA3-256 Hashes direkt aus einer Python UDF berechnen zu lassen. Damit erweitern sich Anwendungsfälle, insbesondere im Bereich der sicheren Datenverarbeitung und Verschlüsselung sensibler Kundendatenprojekte.

Effiziente Datenverarbeitung durch Batch Python UDFs (Vectorized Python UDFs)

Zusätzlich zur flexiblen Verwaltung von Abhängigkeiten ermöglichen die neuen Batch UC Python UDFs nun eine effiziente Verarbeitung von Datensätzen in größeren Blöcken (Batches). Diese Funktionen sind ähnlich aufgebaut wie die Pandas UDFs für PySpark und bieten eine Verarbeitungsgeschwindigkeit und Effizienz, die herkömmlichen zeilenbasierten UDFs weit überlegen sind.

Einige Vorteile der neuen Batch Python UDFs sind:

• verbesserte Performance: durch batchweise Verarbeitung lassen sich Laufzeiten deutlich reduzieren, besonders bei großen Datenmengen.
• optimierte Ressourcenauslastung und Kostensenkung: effizientere Nutzung von Rechenressourcen spart Kosten in Cloud-Umgebungen wie Azure, AWS und GCP.
• Kompatibilität: Einfacher Übergang für Nutzer, da bestehender Pandas-UDF-Code nahezu unverändert übernommen werden kann.

Diese Erweiterungen eröffnen besonders im Bereich Industrial AI und IoT Data Analytics erhebliche Optimierungsmöglichkeiten. Beispielsweise lassen sich IoT-Sensordaten, Produktionsdaten und andere industrielle Messwerte schneller und kostengünstiger verarbeiten und analysieren.

Sichere Integration externer Cloud-Dienste durch Unity Catalog Service Credentials

Mit einer weiteren bedeutenden neuen Funktionalität ermöglichen UC Python UDFs jetzt auch einen sicheren Zugang zu externen Cloud Services mithilfe sogenannter Unity Catalog Service Credentials. Über die Implementierung einer „Credentials“-Klausel in der UDF-Definition können Nutzer externe Cloud-Dienste optimal integrieren und steuerbar machen.

Was bedeutet das konkret?

• Sicherheit und Governance: Die Service Credentials sind einheitlich durch Unity Catalog verwaltete und geschützte Zugriffsrechte. Damit können Nutzer genau steuern, wer Zugriff auf externe Systeme erhält.
• Integration bestehender Cloud-Dienste und Services: Seien es Lambda-Funktionen auf AWS, Azure Functions oder Cloud Functions auf GCP – externe Cloud-Funktionalitäten lassen sich direkt aus SQL-Anfragen heraus einfach, sicher und effizient aufrufen.
• Kostenoptimiert und skalierbar: Da der Zugriff batchweise erfolgt, lassen sich Cloud-Kosten besser steuern und durch weniger und gezieltere Anfragen optimieren.

Durch die Nutzung solcher externen Funktionen lassen sich komplexe Berechnungen, maschinelles Lernen oder Dienstleistungen von Drittanbietern nahtlos integrieren – perfekt geeignet für fortschrittliche KI-Lösungen im industriellen Kontext und effektive Zusammenarbeit über Organisationsgrenzen hinweg.

Praxisbeispiel: Einbindung von AWS Lambda in Batch UC Python UDFs

Zur Verdeutlichung der umfangreichen neuen Integration zeigt Databricks ein anschauliches Praxisbeispiel: Eine Batch UDF wird definiert, die über Unity Catalog Service Credentials eine AWS Lambda-Funktion (wie beispielsweise eine Hash-Funktion) nutzt. Dabei wird die Funktion mit den Berechtigungen des Erstellers ausgeführt, womit Sicherheit, Auditierbarkeit und Nachverfolgbarkeit gewährleistet sind.

Für Unternehmen, welche Databricks umfangreich nutzen, bietet diese Möglichkeit eine einmalige Chance, Cloud-basierte Ressourcen optimal zu integrieren und dabei gleichzeitig höchsten Sicherheitsstandards Rechnung zu tragen.

Fazit – Neue Chancen für Unternehmen im Zeitalter moderner Datenplattformen

Die kürzlich veröffentlichte Erweiterung der Unity Catalog Python UDFs bei Databricks ist ein echter Gamechanger für Data Science, Data Engineering und KI-Projekte im industriellen Kontext. Die Innovationen – individuelle Python-Abhängigkeiten, Batch-basierte Datenverarbeitung und sichere Service Credential Integration – ermöglichen effizientere Prozesse, erweiterte Anwendungsfälle und optimierte Kostenstruktur.

Für Unternehmen, die auf Azure und Databricks setzen, stellen diese Neuerungen eine ausgezeichnete Gelegenheit dar, ihre Datensysteme und KI-Projekte weiter voranzubringen. Ailio GmbH unterstützt Sie dabei gern auf Ihrem Weg zur datengetriebenen Organisation.