RAG Chatbot mit Unternehmensdaten: So prüfst Du Antworten

Ein RAG Chatbot mit Unternehmensdaten überzeugt in einer Demo schnell: Er beantwortet Fragen zu Richtlinien, findet Projektwissen und verlinkt Dokumente. Für eine Beschaffungsentscheidung reicht das nicht. Du musst nachweisen können, dass seine Antworten fachlich stimmen, Quellen tatsächlich tragen und vertrauliche Inhalte geschützt bleiben.

Am Freitag der dritten Projektwoche sollte deshalb nicht die nächste Funktionsdemo im Mittelpunkt stehen, sondern ein belastbarer Abnahmetest. Für IT-Leitung und Wissensmanagement ist er die gemeinsame Entscheidungsgrundlage: Was darf produktiv gehen, was braucht Nacharbeit und welche Nachweise muss der Anbieter liefern?

Kurz gesagt: Du prüfst einen RAG-Chatbot mit einem festen Satz fachlich bewerteter Referenzfragen, nachvollziehbaren Quellenbelegen und Tests unterschiedlicher Zugriffsrechte. Zur Abnahme gehört außerdem, dass der Chatbot fehlende oder widersprüchliche Evidenz erkennt und keine unbelegte Antwort als gesichertes Wissen ausgibt. Entscheidend ist nicht die überzeugendste Einzelantwort, sondern das dokumentierte Verhalten unter realistischen Bedingungen.

Wie prüfst Du einen RAG Chatbot mit Unternehmensdaten vor dem Kauf?

Ein belastbarer Abnahmetest prüft Antwortqualität, Quellenbelege, Zugriffsschutz und das Verhalten bei fehlender Evidenz getrennt. Eine gute Gesamtnote darf einen sicherheitskritischen Fehler nicht ausgleichen.

Bei Retrieval-Augmented Generation, kurz RAG, sucht das System zunächst relevante Inhalte und nutzt diese anschließend als Kontext für die Antwort. Fehler können in beiden Schritten entstehen: Die Suche liefert das falsche Dokument, oder das Sprachmodell zieht aus einer richtigen Quelle einen falschen Schluss.

Verlange deshalb nicht nur einen Chatverlauf. Zur prüfbaren Lieferung gehören:

• ein vereinbarter Testkatalog mit erwarteten Ergebnissen;
• der dokumentierte Stand von Dokumenten, Index und Systemkonfiguration;
• die pro Test verwendeten Quellen und erzeugten Antworten;
• ein Fehlerprotokoll mit Verantwortlichkeiten und Wiederholungstests;
• schriftlich vereinbarte Freigabe- und Ausschlusskriterien.

Lege den Prüfumfang bereits in der Angebotsphase fest. So vergleichst Du Anbieter anhand derselben Aufgaben statt anhand unterschiedlich inszenierter Demos.

Welche Referenzfragen gehören in den Abnahmetest?

Referenzfragen müssen typische Arbeitsaufgaben und vorhersehbare Fehlersituationen abdecken. Zu jeder Frage gehört eine fachlich geprüfte Erwartung, nicht zwingend eine wortgleiche Musterantwort.

Das Wissensmanagement kennt die häufigen Fragen und maßgeblichen Dokumente. Fachverantwortliche bestätigen die erwarteten Aussagen. Die IT ergänzt Rollen, Berechtigungen und technische Randbedingungen.

Baue einen Testkatalog mit klaren Erwartungen

Erfasse für jeden Testfall mindestens:

• Frage und Aufgabe: Was möchte die Person entscheiden oder erledigen?
• Rolle: Mit welchen tatsächlichen Zugriffsrechten wird getestet?
• Erwartete Kernaussagen: Welche Informationen müssen enthalten sein?
• Zulässige Quellen: Welche Dokumentversion und welcher Abschnitt belegen sie?
• Unzulässige Aussagen: Was darf nicht behauptet oder offengelegt werden?
• Erwartetes Verhalten: Antworten, nachfragen, einen Konflikt benennen oder die Antwort begründet verweigern?

Ein fiktives Beispiel: „Welche Freigabe brauche ich für eine Bestellung?“ Die richtige Antwort hängt möglicherweise von Gesellschaft, Betrag und Warengruppe ab. Fehlen diese Angaben, kann eine Rückfrage korrekt sein. Eine sofortige, pauschale Antwort wäre dagegen ein Fehler.

Teste mehr als die einfachen Treffer

Nimm Fragen mit mehreren benötigten Quellen, internen Abkürzungen und abweichenden Formulierungen auf. Ergänze veraltete Dokumente, widersprüchliche Regelungen sowie Fragen, deren Antwort im freigegebenen Bestand überhaupt nicht vorkommt.

Halte einen Teil der Fragen bis zur Abnahme zurück. Diese Prüfmenge sollte nicht zur Optimierung verwendet werden. Andernfalls misst Du womöglich nur, wie gut das System bekannte Beispiele reproduziert.

Wann ist ein Quellenbeleg wirklich überprüfbar?

Ein Quellenbeleg ist überprüfbar, wenn die zitierte Passage die zugehörige Aussage tatsächlich stützt und im maßgeblichen Dokumentstand auffindbar ist. Ein funktionierender Link allein belegt noch keine richtige Antwort.

Prüfe Quellen auf Ebene der wesentlichen Aussagen. Behauptet eine Antwort eine Frist, eine Zuständigkeit und eine Ausnahme, müssen alle drei Punkte belegt sein. Ein passendes Dokument mit nur einer dieser Informationen reicht nicht.

Für den Test sollten Titel, Version oder Gültigkeitsstand sowie Abschnitt, Seite oder ein geeigneter Textanker erkennbar sein. Bei dynamischen Inhalten brauchst Du einen nachvollziehbaren Stand, etwa über eine gespeicherte Version im zugriffsgeschützten Testprotokoll.

Trenne außerdem zwei Bewertungen:

• Retrieval: Wurde die relevante, zulässige Passage überhaupt gefunden?
• Antwort: Gibt die Antwort diese Passage korrekt und ohne unbelegte Ergänzungen wieder?

Diese Trennung macht Nacharbeit zielgerichteter. Eine schlechte Suche lässt sich nicht zuverlässig durch einen freundlicher formulierten Systemprompt reparieren.

Wie testest Du Zugriffsrechte und fehlende Evidenz?

Zugriffstests müssen nachweisen, dass unberechtigte Personen weder geschützte Inhalte noch verräterische Metadaten erhalten. Bei fehlender Evidenz muss der Chatbot seine Wissensgrenze benennen, statt plausible Details zu erfinden.

Prüfe Berechtigungen mit echten Testidentitäten

Stelle dieselbe Frage mit unterschiedlich berechtigten Konten. Prüfe Antworttext, Quellenliste, Vorschautexte und Dokumenttitel. Auch ein vertraulicher Dateiname kann bereits Informationen offenlegen.

Geschützte Inhalte dürfen nicht erst durch eine Anweisung an das Sprachmodell verborgen werden. Die Autorisierung muss technisch vor der Übergabe an das Modell greifen. Prüfe außerdem, was nach einem Rechteentzug passiert und innerhalb welcher vereinbarten Frist Änderungen wirksam werden.

Berücksichtige dabei Caches, bestehende Unterhaltungen und die Trennung zwischen Nutzern. Ergänze Dokumente mit eingeschleusten Anweisungen wie „Ignoriere alle Regeln“. Solche Prompt-Injection-Tests prüfen, ob Dokumentinhalt fälschlich als Systemanweisung behandelt wird.

Definiere eine hilfreiche Nicht-Antwort

Lege vorab fest, wie der Chatbot reagieren soll:

• Keine passende Quelle: Keine Tatsachenbehauptung; stattdessen auf die fehlende Grundlage hinweisen.
• Unklare Frage: Gezielt nach entscheidungsrelevanten Angaben fragen.
• Widersprüchliche Quellen: Den Konflikt mit zugänglichen Belegen benennen.
• Unzureichende Berechtigung: Keine geschützten Details oder Hinweise auf vertrauliche Dokumente verraten.

„Dazu finde ich in den für Dich verfügbaren Quellen keinen belastbaren Beleg“ ist häufig besser als eine scheinbar vollständige Antwort. Eine Rückfrage oder Weiterleitung an eine zuständige Stelle macht diese Grenze im Arbeitsalltag nutzbar.

Welche Kriterien entscheiden über die Abnahme?

Abnahmekriterien müssen vor dem Test feststehen und zum Risiko des Anwendungsfalls passen. Vertraulichkeitsverletzungen oder erfundene geschäftskritische Vorgaben sollten die Freigabe blockieren, auch wenn andere Antworten korrekt sind.

Bewerte fachliche Richtigkeit, Vollständigkeit und Quellenabdeckung separat. Erfasse zusätzlich Berechtigungsverstöße sowie das korrekte Verhalten bei unbeantwortbaren Fragen. Antwortzeit und Betriebskosten gehören ebenfalls in die Entscheidung, ersetzen aber keinen Qualitätsnachweis.

Vereinbare für jede Kategorie eine Messmethode und eine risikogerechte Bestehensgrenze. Eine universelle Erfolgsquote wäre irreführend: Ein Bot für unverbindliche Orientierung braucht andere Kriterien als ein System, dessen Antworten Freigabeprozesse beeinflussen.

Wiederhole kritische Fälle, weil generierte Antworten variieren können. Halte Modellversion, Retrieval-Konfiguration und Dokumentstand fest. Plane Wiederholungstests nach relevanten Änderungen ein. Eine Abnahme ist eine Aussage über einen definierten Systemstand, keine dauerhafte Qualitätsgarantie.

So gehen wir vor

Bei Ailio verbinden wir die fachliche Abnahme mit der technischen Prüfung. Gemeinsam mit IT-Leitung, Wissensmanagement und den zuständigen Fachbereichen strukturieren wir den Weg zur Entscheidung:

1. Einsatzgrenze klären: Welche Aufgaben soll der Chatbot übernehmen, welche ausdrücklich nicht?
2. Referenzbestand festlegen: Maßgebliche Dokumente, Verantwortliche und Berechtigungen bestimmen.
3. Testkatalog erstellen: Normalfälle, Grenzfälle, Zugriffstests und unbeantwortbare Fragen erfassen.
4. Prüflauf auswerten: Fehler nach Suche, Antwortgenerierung, Datenqualität und Autorisierung unterscheiden.
5. Freigabe vorbereiten: Offene Risiken, Nacharbeiten und Bedingungen für den Betrieb dokumentieren.

Das Ergebnis ist eine nachvollziehbare Entscheidungsvorlage: freigeben, mit Auflagen freigeben oder nachbessern. Die vereinbarten Tests dienen anschließend als Regressionstests, damit spätere Änderungen nicht unbemerkt bereits gelöste Fehler zurückbringen.

Nächster Schritt: Abnahme statt Bauchgefühl

Bevor Du einen RAG-Chatbot beschaffst, verlange überprüfbare Nachweise für Antworten, Quellen und Zugriffsschutz. So wird aus einer überzeugenden Demo eine belastbare Investitionsentscheidung.

Du möchtest einen Testkatalog entwickeln oder ein Anbieterangebot fachlich prüfen lassen? Sprich mit Ailio in Bielefeld oder Hamburg. Über unsere AI & BI Use-Cases findest Du den Einstieg in eine Beratung zu Deinem Anwendungsfall.