Databricks MLflow: Claude-Agenten nachvollziehbar prüfen
Eine überzeugend formulierte Antwort sagt wenig darüber aus, ob ein KI-Agent zuverlässig gearbeitet hat. Vielleicht hat er wichtige Informationen übersehen oder dieselbe Datenquelle mehrfach abgefragt. Databricks MLflow kann jetzt native OpenTelemetry-Traces der Claude Platform empfangen. Für Dich wird damit besser nachvollziehbar, wie eine Antwort entstanden ist – und ob eine Änderung am Agenten tatsächlich hilft.
Kurz gesagt: Die Claude Platform unterstützt den nativen OpenTelemetry-Export an Databricks MLflow als Public Beta. Die aufgezeichneten Abläufe lassen sich in Unity Catalog speichern, untersuchen und für Evaluationen verwenden. Unternehmen können damit Fehler gezielter eingrenzen und Agenten anhand wiederholbarer Tests verbessern, statt nur einzelne Antworten zu beurteilen.
Was ist neu an der Claude-Anbindung an Databricks MLflow?
Neu ist, dass Databricks MLflow ein unterstütztes Ziel für den nativen OpenTelemetry-Export der Claude Platform ist. Die Integration umfasst Anthropic SDKs, die Messages API und Claude Managed Agents. Statt ausschließlich das Endergebnis einer Anfrage zu betrachten, erhält Dein Entwicklungsteam Einblick in die aufgezeichneten Ausführungsschritte.
Ein solcher Ablauf heißt Trace. Er besteht aus einzelnen Spans, die beispielsweise Modellanfragen oder Werkzeugaufrufe abbilden. Claude erzeugt diese Informationen über seine native Instrumentierung und exportiert sie über das OpenTelemetry Protocol. OpenTelemetry ist dabei der offene Standard für die Erfassung und Übertragung solcher Betriebsinformationen.
Auf Databricks-Seite nimmt Zerobus Ingest die Spans entgegen. Sie werden in Unity Catalog-Tabellen gespeichert, die mit einem MLflow-Experiment verknüpft sind. Dadurch stehen die Daten sowohl für die Untersuchung in MLflow als auch für SQL-Abfragen bereit. Unity Catalog steuert den Zugriff.
Der praktische Fortschritt liegt in der gemeinsamen Arbeitsgrundlage: Claude-Traces können neben Traces anderer instrumentierter Dienste untersucht werden. Fehleranalyse und Qualitätsprüfung müssen dadurch weniger auf voneinander getrennten Protokollen beruhen.
Warum ist das für den Mittelstand mit Azure relevant?
Für Mittelstandsunternehmen mit Azure Databricks schafft die Integration einen gemeinsamen Ort, um Claude-Agenten anhand ihrer Abläufe zu untersuchen und Änderungen systematisch zu bewerten. Besonders interessant ist das, wenn Databricks bereits als Datenplattform genutzt wird und KI-Anwendungen auf Unternehmensdaten zugreifen.
Ein denkbarer Einsatz ist ein interner Assistent für technische Serviceanfragen. Eine unvollständige Antwort kann unterschiedliche Ursachen haben: Das passende Dokument fehlt im bereitgestellten Kontext, eine Suche schlägt fehl oder der Agent verarbeitet ein Suchergebnis nicht angemessen. Ein Trace hilft, diese Ursachen auseinanderzuhalten. Die anschließende Maßnahme fällt entsprechend unterschiedlich aus: Datenzugriff korrigieren, Werkzeug verbessern oder Anweisungen überarbeiten.
Für Deine Entscheidung sind vor allem drei Fragen relevant:
- Qualität: Welche fachlichen Anforderungen muss eine Antwort erfüllen?
- Betrieb: Wo entstehen Fehler, lange Laufzeiten oder wiederholte Werkzeugaufrufe?
- Verantwortung: Wer darf Ausführungsdaten einsehen und Verbesserungen freigeben?
Die Integration beantwortet diese Fragen nicht automatisch. Sie liefert aber die technische Grundlage, um sie überprüfbar zu bearbeiten. Das sollte Teil Deiner Datenplattform sein und nicht erst nach dem ersten problematischen Produktiveinsatz ergänzt werden.
Wie werden aus Traces belastbare Qualitätsprüfungen?
Belastbare Qualitätsprüfungen entstehen, indem Dein Team auffällige Traces analysiert, fachlich bewertet und dieselben Testfälle vor und nach einer Änderung ausführt. Databricks MLflow bietet dafür mehrere zusammenhängende Funktionen.
Einzelne Fehler untersuchen
Die Aktion „Analyze trace“ nutzt Genie Code, um einen aufgezeichneten Ablauf zu untersuchen. Dein Team kann nach fehlendem Kontext, gescheiterten Werkzeugaufrufen oder aufwendigen Schritten fragen. Die Analyse unterstützt die Ursachenklärung; sie ersetzt jedoch keine fachliche Prüfung der Antwort.
Wichtig ist die Unterscheidung zwischen einem Symptom und seiner Ursache: Eine falsche Antwort verlangt nicht zwangsläufig ein anderes Modell. Möglicherweise reichen präzisere Anweisungen oder ein korrigierter Datenzugriff.
Wiederkehrende Muster erkennen
MLflow Issues, ebenfalls als Beta verfügbar, untersucht mehrere Traces und Sitzungen auf wiederkehrende Qualitäts- und Betriebsprobleme. Dazu zählen unnötige Suchvorgänge, fehlende Argumente bei Werkzeugaufrufen oder Antworten im falschen Format. Zusammengehörige Befunde werden mit den zugrunde liegenden Traces verknüpft.
Die Erkennung lässt sich zeitlich planen und mithilfe von Metadaten oder Tags eingrenzen. Nach einer Korrektur kann ein Issue Monitor verfolgen, ob ein Problem erneut auftritt. Damit wird aus einer einmaligen Fehlersuche eine fortlaufende Kontrolle.
Fachwissen und Vergleichstests verbinden
Über MLflow Review Queues können Fachverantwortliche ausgewählte Anfragen und Antworten bewerten, fehlende Inhalte benennen und erwartete Antworten hinterlegen. Für deutsche Mittelständler ist das besonders wichtig, wenn Fachregeln nicht vollständig in technischen Tests abgebildet sind.
Anschließend lässt sich mit MLflow Agent Evaluation prüfen, wie sich Änderungen an Prompts, Skills oder Tools auswirken. Entscheidend sind identische Testfälle und Bewertungskriterien für die bisherige und die überarbeitete Version. So erkennst Du auch Verschlechterungen, die eine vermeintliche Verbesserung an anderer Stelle verursacht.
Was musst Du vor dem Einsatz klären?
Vor dem Einsatz musst Du Datenspeicherung, Berechtigungen, Exportkonfiguration und Bewertungskriterien festlegen. Der Public-Beta-Status spricht dafür, zunächst einen klar abgegrenzten Anwendungsfall zu erproben und die Eignung für Deinen Betrieb zu prüfen.
Inhalte nicht ungeprüft protokollieren
Ein zentraler Punkt: Eingaben und Ausgaben werden nur erfasst, wenn der Content-Modus ausdrücklich auf full gesetzt wird. Diese Einstellung sollte eine bewusste Entscheidung sein. Agentenanfragen können personenbezogene Daten, Vertragsinformationen oder vertrauliche technische Unterlagen enthalten.
Kläre deshalb vorab:
- Welche Inhalte für die Fehlersuche tatsächlich erforderlich sind.
- Welche Rollen Zugriff auf Traces erhalten.
- Welche Aufbewahrungs- und Löschregeln gelten sollen.
- Welche Regionen, Übertragungswege und vertraglichen Bedingungen einzuhalten sind.
Unity Catalog unterstützt die Zugriffskontrolle. Daraus folgt aber nicht automatisch eine DSGVO-konforme Verarbeitung. Auch ein vorhandener Azure-Databricks-Workspace belegt nicht, dass sämtliche Verarbeitungsschritte ausschließlich in Deiner gewünschten Region stattfinden.
Den Einstieg fachlich begrenzen
Technisch beginnt die Einrichtung mit einem MLflow-Experiment und Unity Catalog als Speicherort. Danach werden das Databricks-Ziel mit Workspace-ID, Region und Spans-Tabelle sowie die Authentifizierung konfiguriert. Die Verbindung sieht ein auf die Tabelle begrenztes OAuth-Token vor. Berechtigungen und SQL-Warehouse-Voraussetzungen müssen ebenfalls geprüft werden.
Für einen ersten Test empfiehlt sich ein Agent mit klarer Aufgabe und überprüfbaren Antworten. Lege vorab fest, welche Fehler kritisch sind und woran Dein Fachbereich eine Verbesserung erkennt. Eine KI-Strategie hilft, diese Kriterien mit dem geschäftlichen Nutzen zu verbinden, statt lediglich mehr Protokolldaten zu sammeln.
Was das für dich bedeutet
Wenn Du Claude-Agenten mit Unternehmensdaten einsetzen möchtest, erleichtert die neue Anbindung den Schritt von plausiblen Antworten zu überprüfbaren Abläufen. Der Nutzen entsteht allerdings erst durch klare Zuständigkeiten, kontrollierte Datenerfassung und wiederholbare Evaluationen. Wegen des Beta-Status ist ein begrenzter Pilot der sinnvollere Einstieg als eine ungeprüfte breite Einführung.
Du möchtest prüfen, wie Agentenbeobachtung und Evaluation in Deine Azure-Databricks-Architektur passen? Mit unserer Databricks Beratung unterstützen wir Dich dabei, Datenplattform, Zugriffsregeln und KI-Qualitätsprüfung zusammenzudenken.
Redaktionelle Einordnung auf Basis eines Beitrags im Databricks-Blog.