Automatisierte Prompt-Optimierung in Databricks Agent Bricks: Effiziente KI-Agenten für Unternehmen

Automatisierte Prompt-Optimierung in Databricks Agent Bricks: Neue Maßstäbe für KI-Agenten in Unternehmen

Autor: Ailio Data Science Team

Einleitung: Agent Bricks als Innovationsmotor für Enterprise KI-Workflows

Mit Agent Bricks bietet Databricks eine Plattform, die Unternehmen beim Aufbau, der Bewertung und dem produktiven Einsatz von KI-Agenten für datengetriebene Geschäftsprozesse unterstützt. Besonders im Zusammenspiel mit Microsoft Azure ergeben sich für Firmen neue Möglichkeiten, leistungsfähige und gleichzeitig kosteneffiziente KI-Lösungen einzuführen. Ein zentrales Ziel: Die Balance zwischen Modellqualität und Betriebskosten optimal zu gestalten – ein Thema, das gerade bei großskaligen Anforderungen im Enterprise-Umfeld immer mehr in den Fokus rückt.

Information Extraction (IE): Die Herausforderungen im Unternehmenskontext

Eine der zentralen Anwendungen von Agent Bricks ist das extrahieren strukturierter Informationen aus unstrukturierten Datenquellen wie PDFs oder gescannten Dokumenten. Trotz des rasanten Fortschritts im Bereich generativer KI bleibt Information Extraction auf Unternehmensebene mit diversen Herausforderungen belegt:

• Beispiele aus der Praxis zeigen Dokumente mit über 100 Seiten und komplexen, hierarchischen Strukturen mit bis zu 70 Feldern pro Extraktionseinheit.
• Die Anforderung, domänenspezifischen Kontext zuverlässig und effizient abzubilden.
• Schwankende Modellergebnisse je nach Aufgabenstellung und verwendeter Modellarchitektur.

Um diese Herausforderungen gezielt zu adressieren, hat Databricks mit IE Bench einen umfassenden Benchmark entwickelt, der reale Anwendungsfälle aus Branchen wie Finanzen, Handel, Recht und Gesundheitswesen abbildet. Ziel dabei ist, eine transparente Vergleichsbasis zu schaffen und Optimierungspotenziale differenziert zu bewerten.

Open Source vs. Proprietäre LLMs: Qualität und Kosten im Vergleich

Im Rahmen von IE Bench wurden verschiedene Large Language Models (LLMs) getestet – darunter sowohl Open-Source-Modelle (wie die neue gpt-oss-120b Variante), als auch führende proprietäre Modelle aus der GPT- und Claude-Familie.

• gpt-oss-120b erreicht Bestwerte unter den Open-Source-Modellen und liegt nur knapp hinter kleineren GPT-5-Varianten, jedoch deutlich vor klassischen Llama-4-Modellen.
• Im direkten Vergleich ist gpt-oss-120b beim Betrieb ungefähr halb so teuer wie gpt-5-mini, während größere proprietäre Modelle wie Claude Opus 4.1 bis zu 90-fache Betriebskosten verursachen können.

Deutlich wird: Die Wahl des Modells beeinflusst die Gesamtkosten der Informationsverarbeitung erheblich. Für Anwendungsfälle mit hohem Anfragevolumen ist diese Kostenbilanz ein entscheidender Faktor.

Automatisierte Prompt-Optimierung: Schnell zu besseren KI-Ergebnissen

Manuelle Prompt-Optimierung verlangt viel Expertenwissen und ist bei komplexen KI-Anwendungen kaum skalierbar. Hier setzt die automatisierte Prompt-Optimierung an. Statt mühseliger Handarbeit werden strukturierte Algorithmen wie MIPROv2, SIMBA und das neu entwickelte GEPA eingesetzt, die systematisch und iterativ Verbesserungen am Prompt erzielen – basierend auf direktem Feedback und Leistungsdaten.

Die Vorteile sind deutlich:

• Schnellere und reproduzierbare Verbesserungen durch automatisierte Exploration verschiedener Prompt-Varianten.
• Flexible Anwendbarkeit auch in komplexen Multi-Stage-Pipelines von KI-Systemen.
• Gemeinsame Optimierung mehrerer, zusammenhängender Prompts (z. B. im In-Context Learning).

Benchmarking: Automatisierte Prompt-Optimierung in der Praxis

Im praktischen Vergleich konnte durch automatische Optimierung mit GEPA das Open-Source-Modell gpt-oss-120b so weit verbessert werden, dass es:

• Die bisherigen Bestwerte der proprietären Modellen (z. B. Claude Opus 4.1) übertrifft.
• Ein herausragendes Kosten-Qualitäts-Verhältnis aufzeigt, das insbesondere im Hochlastbetrieb überzeugt.

Aber nicht nur das: Auch proprietäre Modelle profitieren von automatisierter Prompt-Optimierung und können ihre Leistungsfähigkeit signifikant steigern. Betrachtet man den durch Prompt-Optimierung verschobenen Pareto-Frontier (also den bestmöglichen Kompromiss zwischen Kosten und Qualität), ergeben sich neue Maßstäbe für die Auswahl und den Betrieb von KI-Agenten.

SFT versus Prompt-Optimierung: Was lohnt sich in der Praxis?

Traditionell wird zur Modellentwicklung Supervised Fine-Tuning (SFT) eingesetzt – doch wie schlägt sich dieser Ansatz im Vergleich zur automatisierten Prompt-Optimierung?

• Prompt-Optimierung kann die Verbesserungen durch SFT nicht nur erreichen, sondern teilweise sogar übertreffen.
• Kombiniert man beide Verfahren (prompt-optimized + SFT), lässt sich der maximal erreichbare Qualitätswert weiter anheben – in der Praxis schlägt sich dies allerdings in etwas höheren Betriebskosten nieder.
• Für viele Unternehmen ist jedoch das rein prompt-optimierte Open-Source-Modell die attraktivste Lösung: Gleichwertige Qualität mit bis zu 15-fach geringeren Kosten im Produktivbetrieb.

Lebenszyklus-Betrachtung: TCO der KI-Agenten als Entscheidungsgrundlage

Eine umfassende Bewertung muss sowohl die Kosten der Optimierung als auch des Betriebs großer Anfragevolumina miteinbeziehen.

• Gerade bei hohen Produktionslasten verschiebt sich der Kostenschwerpunkt stark auf die laufende Inferenz.
• Modelle mit optimierten Prompts, speziell auf Basis von Open Source, liefern den besten Mix aus Kosten, Leistungsfähigkeit und Flexibilität für den langfristigen Einsatz.

Fazit: Automatisierte Prompt-Optimierung als Schlüssel zur effizienten KI-Einführung im Unternehmen

Die automatisierte Prompt-Optimierung setzt neue Maßstäbe für KI-Lösungen im Data-Science-Umfeld: Sie verschiebt die Qualitäts- und Kostengrenzen signifikant und ermöglicht es, sowohl Open-Source- als auch proprietäre Modelle effizienter und leistungsfähiger einzusetzen. Für Unternehmen, die auf Azure und Databricks setzen, eröffnen sich so neue Möglichkeiten, wirtschaftlich tragfähige KI-Agenten in ihre Daten- und Prozesslandschaften zu integrieren und kontinuierlich zu verbessern.

Empfehlung der Ailio GmbH: Wer Informationsverarbeitung oder KI-Systeme mit hohem Durchsatz möglichst effizient und qualitätsorientiert betreiben will, sollte den neuen Agent Bricks-Ansatz mit automatisierter Prompt-Optimierung in Erwägung ziehen – und bereits bestehende Lösungen kritisch auf ihr Kosten-Nutzen-Verhältnis prüfen.

Unsere Data-Science- und Engineering-Teams beraten Sie gerne, wie Sie mit modernster KI-Technologie und maßgeschneiderter Optimierung auf Azure und Databricks ihre digitalen Geschäftsmodelle stärken können.