Innovationen bei Azure Databricks: Der Weg zum intelligenten Lakehouse für die Ära der AI Agents

Databricks festigt seine Position als führende Plattform durch eine Reihe strategischer Neuerungen, die darauf abzielen, Daten-Engineering, Analytics und KI noch enger zu verzahnen. Im Fokus stehen dabei die Demokratisierung der Datenaufnahme, eine neue operative Datenbank für KI-Anwendungen sowie tiefgreifende Integrationen in die Microsoft 365-Umgebung.

In diesem Artikel werfen wir einen detaillierten Blick auf die wichtigsten Neuerungen.

1. Lakeflow Connect: Kostenloser Einstieg in die moderne Daten-Ingestion

Ein zuverlässiger Datenfluss ist das Fundament jeder Analyse. Mit der Einführung des Lakeflow Connect Free Tier macht Databricks es Unternehmen so einfach wie nie zuvor, Daten aus verschiedensten Quellen in das Lakehouse zu spiegeln.

Die Highlights des Free Tier:

• 100 freie DBUs pro Tag: Jedes Workspace erhält täglich ein Kontingent, mit dem etwa 100 Millionen Datensätze kostenlos verarbeitet werden können.
• Breite Konnektivität: Lakeflow unterstützt das Mirroring von neun der meistgenutzten Datenbanken (u. a. SQL Server, Oracle, PostgreSQL, Snowflake und BigQuery) sowie populäre SaaS-Anwendungen wie Salesforce, Dynamics 365 und Workday.
• Nahtlose Integration: Die Daten werden direkt in den offenen Speicher von Azure Data Lake Storage (ADLS) geschrieben und über das Unity Catalog verwaltet.

Durch die Kombination von Ingestion, Orchestrierung und Transformation ermöglicht Lakeflow es Teams, Pipelines bis zu 25-mal schneller zu erstellen und dabei die ETL-Kosten massiv zu senken.

2. Azure Databricks Lakebase: Die Datenbank für die Agentic-Ära

Eine der bedeutendsten Ankündigungen ist die allgemeine Verfügbarkeit (General Availability) von Azure Databricks Lakebase. Dabei handelt es sich um einen verwalteten, serverlosen Postgres-Dienst, der speziell für die Anforderungen moderner KI-Agenten entwickelt wurde.

KI-Agenten benötigen ein transaktionales System, um Zustände zu verwalten, Aktionen zu protokollieren und Workflows zu steuern. Lakebase schließt die Lücke zwischen analytischem Lakehouse und operativer Datenbank.

Kernfunktionen von Lakebase:

• Serverless Postgres: Nutzen Sie vertraute Postgres-Funktionen inklusive Erweiterungen wie pgvector für KI-Vektorsuchen.
• Effizienz: Dank der Trennung von Rechenleistung und Speicher bietet Lakebase einen Sub-Sekunden-Start sowie ein Scale-to-Zero-Pricing.
• Entwickler-Features: Funktionen wie Branching und Instant Restore erleichtern moderne Entwicklungs-Workflows erheblich.

Lakebase ist ab sofort in 14 Azure-Regionen weltweit verfügbar und eignet sich ideal für Personalisierung in Echtzeit, Feature Serving und das State-Management von KI-Agenten.

3. Databricks im Microsoft 365 Ökosystem

Daten sind am wertvollsten, wenn sie dort verfügbar sind, wo Entscheidungen getroffen werden: in Excel und Teams. Databricks erweitert seine Präsenz innerhalb von Microsoft 365 deutlich.

Das neue Excel Add-in (Public Preview)

Das Azure Databricks Excel Add-in ermöglicht es Anwendern, direkt aus Excel heraus auf Tabellen und Metric Views im Unity Catalog zuzugreifen. Anstatt auf unsichere Datenexporte zu setzen, können Nutzer nun:

• Gouvernierte Daten direkt in Pivot-Tabellen nutzen.
• Daten filtern und analysieren, ohne SQL-Kenntnisse zu benötigen.
• Plattformübergreifend unter Windows, macOS und im Web arbeiten.

Zusätzlich wird die Integration in Microsoft Teams und den M365 Copilot vertieft, sodass Mitarbeiter über KI-Schnittstellen wie Genie direkt in ihrer gewohnten Arbeitsumgebung Antworten auf komplexe Datenfragen erhalten können.

4. Genie: Von der einfachen Abfrage zum KI-Analysten

Das KI-gestützte Analysetool Genie hat sich von einem einfachen Chat-Interface zu einem hochentwickelten Partner für Datenteams entwickelt. Hier gibt es drei entscheidende Neuerungen:

Genie Agent Mode

Im Gegensatz zu herkömmlichen Chatbots nutzt der Agent Mode mehrstufiges logisches Denken und Hypothesentests. Er generiert selbstständig Forschungspläne, führt mehrere Abfragen nacheinander aus und verfeinert seine Analyse basierend auf Zwischenergebnissen. So liefert Genie nicht nur Daten, sondern fundierte Antworten auf das „Warum“ hinter den Zahlen.

Genie Code

Für Dateningenieure und Data Scientists fungiert Genie Code als spezialisierter Agent innerhalb des Databricks Workspaces. Er versteht den Kontext des Unternehmens (via Unity Catalog), hilft beim Debuggen von Pipelines, erstellt SQL-Queries und automatisiert die Überwachung von Workflows.

Databricks One & Mobile

Mit Databricks One wird eine zentrale, Multi-Agenten-Chat-Erfahrung geschaffen. Nutzer müssen nicht mehr wissen, in welchem „Space“ ihre Daten liegen – die KI findet und kombiniert die Informationen automatisch. Dank der neuen Mobile App (iOS/Android) sind diese Insights nun auch von unterwegs sicher abrufbar.

Fazit: Ein einheitliches Ökosystem für die Zukunft

Die neuesten Updates für Azure Databricks zeigen einen klaren Trend: Die Grenzen zwischen Daten-Engineering, operativen Datenbanken und Business Intelligence verschwimmen durch den Einsatz von KI.

Durch die Senkung der Einstiegshürden bei der Datenaufnahme (Lakeflow Connect), die Bereitstellung einer robusten Basis für KI-Agenten (Lakebase) und die nahtlose Integration in den Arbeitsalltag (Microsoft 365 & Genie) bietet Azure Databricks eine der leistungsfähigsten und kosteneffizientesten Plattformen für moderne Unternehmen.

Die Zukunft der Datenanalyse auf Azure ist nicht nur integriert und sicher, sondern vor allem: intelligent.