Databricks Lakeflow Connect: Arbeitswissen für Analytics und KI

Projektstände liegen in Jira, Anleitungen in SharePoint und Entscheidungen in E-Mails. Gleichzeitig nutzen einzelne Teams KI-Dienste, deren Nutzung und Kosten separat ausgewertet werden. Databricks Lakeflow Connect soll diese verteilten Informationen auf einer gemeinsamen Datenbasis zusammenführen. Für Dich als Entscheiderin oder Entscheider ist daran vor allem interessant: Weniger individuelle Schnittstellen können den Weg zu belastbaren Auswertungen und internen Wissensassistenten verkürzen. Die Verantwortung für Datenqualität, Zugriffsrechte und einen sinnvollen Anwendungsfall bleibt allerdings im Unternehmen.

Kurz gesagt: Databricks stellt native, vollständig verwaltete Lakeflow-Connect-Konnektoren für Produktivitätsanwendungen und KI-Anbieter vor, darunter SharePoint, Jira, Confluence, OpenAI und Anthropic. Sie führen strukturierte und unstrukturierte Daten in Tabellen unter der Verwaltung von Unity Catalog zusammen und schaffen damit eine Grundlage für Analytics und KI-Agenten. Für Unternehmen mit Azure Databricks ist das ein Ansatz, bestehendes Arbeitswissen nutzbar zu machen, ohne jede Datenanbindung selbst entwickeln zu müssen.

Was ist neu an Databricks Lakeflow Connect?

Databricks erweitert mit Lakeflow Connect die verwaltete Datenaufnahme um Quellen, die tägliche Zusammenarbeit, Unternehmenswissen und KI-Nutzung abbilden. Dazu gehören nicht nur Tickets und Dokumente, sondern auch E-Mail-Inhalte sowie Nutzungs- und Verwaltungsdaten von KI-Anbietern.

Die Einrichtung erfolgt über eine grafische Oberfläche oder eine API. Anschließend werden die Daten inkrementell in Databricks übernommen und als verwaltete Tabellen in Unity Catalog bereitgestellt. Die Infrastruktur für diese Datenaufnahme müssen Unternehmen nicht selbst bereitstellen und skalieren.

Die vorgestellten Anbindungen decken unter anderem folgende Bereiche ab:

• Projektarbeit und Entwicklung: Jira, Monday.com, Smartsheet, Aha! und GitHub.
• Dokumentation und Wissensbestände: Confluence, Notion, Glean, SharePoint und Google Drive.
• Kommunikation: Outlook und Gmail.
• KI-Nutzung und Verwaltung: OpenAI und Anthropic.

Die relevante Veränderung liegt weniger in einer weiteren Schnittstelle als in einem gemeinsamen Betriebsmodell: Unterschiedliche Quellen lassen sich innerhalb derselben Datenplattform anbinden und für nachgelagerte Anwendungen bereitstellen. Das reduziert potenziell den Aufwand für selbst entwickelte Integrationen. Fachliche Datenmodelle, Überwachung und Berechtigungskonzepte bleiben dennoch notwendig.

Welche Anwendungen lohnen sich für den Mittelstand?

Besonders geeignet sind interne Wissensassistenten, projektübergreifende Auswertungen und die Analyse der KI-Nutzung, weil dafür heute häufig Informationen aus mehreren Anwendungen zusammengeführt werden müssen.

Internes Wissen mit nachvollziehbaren Quellen erschließen

Ein mittelständischer Anlagenbauer könnte freigegebene Serviceanleitungen aus SharePoint mit technischen Hinweisen aus Confluence verbinden. Ein Wissensassistent könnte daraus passende Textstellen abrufen und Antworten mit Quellenbezug formulieren. Das ist ein denkbarer Anwendungsfall, kein automatisch mitgeliefertes Ergebnis der Datenanbindung.

Entscheidend ist die Auswahl der Inhalte: Freigegebene Dokumente, eindeutige Versionsstände und benannte Verantwortliche sind wertvoller als ein möglichst großer, ungeprüfter Dokumentenbestand. Für den Einstieg bietet sich deshalb ein abgegrenzter Wissensbereich an.

Projektsteuerung über einzelne Werkzeuge hinaus verbessern

Jira liefert unter anderem Tickets, Kommentare, Sprints und benutzerdefinierte Felder. Zusammen mit Dokumentation aus Confluence entsteht eine breitere Grundlage, um Bearbeitungszeiten oder Engpässe zu untersuchen.

Für belastbare Kennzahlen musst Du allerdings gemeinsame Definitionen festlegen. Wenn Teams Statusfelder unterschiedlich verwenden, macht eine zentrale Tabelle ihre Durchlaufzeiten noch nicht vergleichbar. Die technische Integration ersetzt keine fachliche Abstimmung.

KI-Nutzung und Kosten differenziert betrachten

Die Konnektoren für KI-Anbieter unterscheiden sich in ihrem Datenumfang. OpenAI liefert laut Produktbeschreibung unter anderem Nutzungs- und Kostendaten sowie Informationen zu Projekten, Nutzern und Audit Logs. Bei Anthropic stehen Audit Logs, Nutzer, Rollen sowie Inhalte von claude.ai-Chats und Nachrichten im Fokus.

Daraus folgt: Eine einheitliche Kostenrechnung über beide Anbieter ist nicht allein durch deren Anbindung garantiert. Auch der wirtschaftliche Nutzen von KI lässt sich aus Nutzungsmengen nicht ablesen. Dafür brauchst Du zusätzliche Prozesskennzahlen und eine Zuordnung zu konkreten Aufgaben.

Wie werden Dokumente zur Grundlage für KI-Agenten?

Dokumente werden erst durch Textextraktion, Aufbereitung und einen geeigneten Suchzugriff für KI-Agenten nutzbar; Lakeflow Connect übernimmt zunächst ihre Aufnahme in die Datenplattform.

Dabei unterscheiden sich die Ausgangsformate deutlich:

• SharePoint und Google Drive: Unstrukturierte Dateien werden mit ihren Rohdaten und Metadaten übernommen. Unterstützte strukturierte Dateien können direkt als Delta-Tabellen ankommen.
• Confluence: Seiten und Blogbeiträge liefern Inhalte in strukturierten Feldern.
• Outlook: Nachrichtentext und binäre Anhänge werden in der E-Mail-Tabelle abgelegt.
• Gmail: Der Konnektor übernimmt Nachrichtentexte und Referenzen auf Anhänge; das ist nicht gleichbedeutend mit vollständig eingelesenen Anhangsinhalten.
• GitHub: Textdateien aus Repositories stehen als Inhalte einer Tabelle zur Verfügung.

Bereits vorhandener Text lässt sich nach Bereinigung in Abschnitte zerlegen und mit Embeddings für die Suche erschließen. Bei binären Dokumenten ist vorher eine Textextraktion erforderlich, beispielsweise mit ai_parse_document.

Danach können die Inhalte für Retrieval-Augmented Generation, kurz RAG, genutzt werden: Ein Assistent sucht relevante Informationen und verwendet sie als Kontext für seine Antwort. Für strukturierte Auswertungen kommen Databricks SQL und Genie infrage; Agent Bricks kann aufbereitetes Unternehmenswissen für KI-Agenten nutzen. Keines dieser Werkzeuge ersetzt jedoch die Prüfung von Antwortqualität und Zugriffsrechten.

Worauf musst Du bei Azure Databricks achten?

Für Azure Databricks musst Du vor dem Einsatz die Verfügbarkeit des jeweiligen Konnektors, die unterstützten Datenobjekte und das Sicherheitskonzept Deiner Umgebung prüfen. Die vorgestellte Quellenbreite ist keine pauschale Zusage für jeden Workspace, jede Region oder jeden Tarif.

Gerade bei Microsoft-geprägten IT-Landschaften ist SharePoint als Wissensquelle naheliegend. Trotzdem sollte die Architektur nicht mit „alles importieren“ beginnen. Eine tragfähige Datenplattform verbindet technische Anbindung mit klaren Regeln für Nutzung und Betrieb.

Für die Planung sind vier Punkte besonders wichtig:

• Berechtigungen: Unity Catalog verwaltet Zugriffe innerhalb der Datenplattform. Prüfe gesondert, wie Berechtigungen der Ursprungssysteme berücksichtigt werden und wie ein Agent ausschließlich erlaubte Inhalte abruft.
• Datenschutz: E-Mails und Chatverläufe können personenbezogene oder vertrauliche Informationen enthalten. Kläre Zweckbindung, Rechtsgrundlage, Datenminimierung und gegebenenfalls die Beteiligung des Betriebsrats vor der Aufnahme.
• Datenlebenszyklus: Definiere, wie Änderungen und Löschungen bis in Suchindizes und nachgelagerte Anwendungen weitergegeben werden.
• Betrieb und Kosten: Berücksichtige neben der Datenaufnahme auch Speicher, Dokumentenverarbeitung, Embeddings und Modellaufrufe. Überwache Aktualität und Fehlerfälle.

Diese Entscheidungen gehören zur KI-Strategie, nicht erst zur technischen Umsetzung. Wer früh festlegt, welches Problem gelöst werden soll und welche Inhalte dafür zulässig sind, vermeidet unnötige Datenbestände und spätere Nacharbeiten.

Was das für dich bedeutet

Lakeflow Connect kann den Integrationsaufwand für Arbeitswissen und KI-Nutzungsdaten reduzieren. Der eigentliche Nutzen entsteht aber erst, wenn Du daraus einen klar begrenzten, überprüfbaren Anwendungsfall machst. Starte mit einer relevanten Quelle, einem fachlichen Verantwortlichen und definierten Kriterien für Aktualität, Antwortqualität oder Auswertbarkeit.

Ailio unterstützt Dich als Databricks-Partner dabei, Datenanbindung, Governance und KI-Anwendungsfall gemeinsam zu planen. Sprich mit uns über Deine Databricks-Architektur und einen passenden Einstieg.

Redaktionelle Einordnung auf Basis eines Beitrags im Databricks-Blog.