Datenqualität messen: Kennzahlen und Prüfregeln für Dein Team

Ein Bericht zeigt unterschiedliche Umsätze, Kundendatensätze tauchen mehrfach auf, und eine KI-Anwendung verarbeitet veraltete Informationen. Solche Probleme beginnen häufig nicht im Dashboard oder im Modell, sondern in den Quelldaten. Wenn Du Datenqualität messen willst, brauchst Du deshalb mehr als gelegentliche Stichproben: klare Anforderungen, nachvollziehbare Kennzahlen und Prüfungen, die im laufenden Betrieb greifen.

Kurz gesagt: Datenqualität lässt sich messen, indem Du fachliche Anforderungen in Kennzahlen für Vollständigkeit, Aktualität, Eindeutigkeit und Konsistenz übersetzt. Automatisierte Prüfregeln vergleichen die Daten mit diesen Anforderungen und machen Abweichungen sichtbar. Aussagekräftig werden die Ergebnisse erst mit definiertem Messumfang, fachlich begründeten Grenzwerten und einer verantwortlichen Person je Regel.

Was bedeutet es, Datenqualität zu messen?

Datenqualität zu messen bedeutet, die Eignung von Daten für einen bestimmten Verwendungszweck anhand überprüfbarer Kriterien zu bewerten. Entscheidend ist nicht, ob ein Datensatz abstrakt „gut“ ist, sondern ob er einen Bericht, einen Geschäftsprozess oder eine KI-Anwendung zuverlässig unterstützt.

Für einen Monatsabschluss gelten andere Aktualitätsanforderungen als für eine operative Bestandsanzeige. Eine fehlende Lieferadresse kann bei einem digitalen Produkt unproblematisch sein, bei einem Versandauftrag dagegen kritisch.

Lege deshalb vor jeder Messung fest:

• Verwendungszweck: Welche Entscheidung oder Anwendung hängt von den Daten ab?
• Messumfang: Welche Quellen, Tabellen, Felder und Zeiträume prüfst Du?
• Erwartung: Welche fachliche Bedingung muss erfüllt sein?
• Verantwortung: Wer bewertet und behebt eine Abweichung?

Dokumentiere außerdem Zähler und Nenner jeder Kennzahl. Eine Fehlerquote ist kaum vergleichbar, wenn ein Team alle historischen Datensätze zählt und ein anderes nur die aktuellen Zugänge.

Welche Kennzahlen machen Datenqualität messbar?

Vollständigkeit, Aktualität, Eindeutigkeit und Konsistenz lassen sich mit getrennten Kennzahlen überwachen. Gemeinsam zeigen sie typische Schwachstellen; fachliche Richtigkeit können sie allein jedoch nicht garantieren.

Die folgenden Formeln beziehen sich jeweils auf den vorher definierten Prüfbestand. Ist der Nenner null, sollte das Ergebnis „nicht bewertbar“ lauten, nicht automatisch „bestanden“.

Vollständigkeit: Sind notwendige Informationen vorhanden?

Die Vollständigkeitsquote zeigt, welcher Anteil der prüfpflichtigen Datensätze ein erforderliches Feld tatsächlich befüllt hat.

Formel: Vollständigkeitsquote = Datensätze mit gültig befülltem Pflichtfeld / prüfpflichtige Datensätze × 100.

Eine konkrete Regel für Versandaufträge lautet: Wenn die Versandart eine Zustellung erfordert, müssen Straße, Postleitzahl und Ort vorhanden sein. Prüfe nicht nur NULL, sondern auch leere Zeichenketten, reine Leerzeichen und vereinbarte Platzhalter wie „unbekannt“.

Miss kritische Felder einzeln. Ein Durchschnitt über sämtliche Spalten kann verdecken, dass ausgerechnet die Kunden-ID fehlt. Zusätzlich brauchst Du eine Prüfung auf fehlende Datensätze, etwa durch den Abgleich erwarteter und gelieferter Aufträge: Eine vollständig befüllte Tabelle kann trotzdem unvollständig geliefert worden sein.

Aktualität: Sind die Daten rechtzeitig verfügbar?

Das Datenalter beschreibt die Zeitspanne seit einer fachlich relevanten Aktualisierung. Die Aktualitätsquote zeigt, welcher Anteil der geprüften Datensätze innerhalb des vereinbarten Zeitfensters liegt.

Formel: Aktualitätsquote = Datensätze innerhalb des zulässigen Datenalters / geprüfte Datensätze × 100.

Eine Prüfregel lautet: Alle aktuell benötigten Bestandsmeldungen müssen innerhalb des fachlich festgelegten Aktualisierungsfensters bestätigt worden sein. Ein unveränderter Bestand kann dabei aktuell sein, wenn die Quelle ihn erneut bestätigt hat.

Unterscheide fachlichen Zeitstempel, Eingangszeit und Verarbeitungszeit. Ein erfolgreicher Ladevorgang beweist nicht, dass die Quelle aktuelle Inhalte geliefert hat. Überwache außerdem ausgebliebene Lieferungen; nicht eingetroffene Datensätze erscheinen in einer rein datensatzbezogenen Quote nicht.

Eindeutigkeit: Gibt es unerwünschte Dubletten?

Die Dublettenüberschussquote misst, welcher Anteil der Datensätze über den jeweils ersten Datensatz eines eindeutigen Schlüssels hinausgeht.

Formel: Dublettenüberschussquote = (Datensatzzahl − Anzahl unterschiedlicher Schlüssel) / Datensatzzahl × 100.

Eine Regel für Auftragspositionen lautet: Die Kombination aus Quellsystem, Auftragsnummer und Positionsnummer darf im aktuellen Datenbestand nur einmal vorkommen. Prüfe fehlende Schlüssel separat und berechne diese Quote auf Datensätzen mit vollständig befülltem Schlüssel.

Definiere Eindeutigkeit auf der richtigen Granularität. In einer Historientabelle kann dieselbe Kundennummer mehrfach vorkommen, solange die Versionen eindeutig sind. Ähnliche Namen und Adressen erfordern dagegen zusätzliche Abgleichregeln; ein exakter Schlüsselvergleich erkennt solche Dubletten nicht zuverlässig.

Konsistenz: Passen Werte und Beziehungen zusammen?

Die Konsistenzquote beschreibt den Anteil der Datensätze, die eine definierte fachliche Beziehung erfüllen.

Formel: Konsistenzquote = Datensätze ohne Regelverletzung / prüfpflichtige Datensätze × 100.

Konkrete Prüfregeln sind:

• Das Lieferdatum liegt nicht vor dem Bestelldatum, sofern der Prozess keine begründete Ausnahme erlaubt.
• Jede Kunden-ID eines Auftrags verweist auf einen vorhandenen Kundendatensatz.
• Bruttobetrag und Summe aus Nettobetrag und Steuer stimmen innerhalb der vereinbarten Rundungstoleranz überein.

Lege fest, wie fehlende Werte behandelt werden. Eine nicht auswertbare Beziehung sollte nicht stillschweigend als konsistent zählen.

Wie automatisierst Du Prüfregeln im Datenbetrieb?

Automatisierte Datenqualitätsprüfungen sollten bei der Datenaufnahme, nach wichtigen Transformationen und vor der Bereitstellung für Berichte oder KI-Anwendungen laufen. Jede Prüfung braucht ein gespeichertes Ergebnis und eine definierte Reaktion auf Fehler.

Prüfungen in die Verarbeitung einbauen

Einfache Regeln lassen sich als SQL-Abfragen oder deklarative Tests umsetzen: Pflichtfelder prüfen, nach Geschäftsschlüsseln gruppieren, verwaiste Referenzen per Join erkennen und Zeitstempel vergleichen. Komplexere fachliche Bedingungen gehören ebenfalls versioniert in die Verarbeitung, nicht ausschließlich in ein manuell gepflegtes Dashboard.

Das funktioniert grundsätzlich auf Plattformen wie Databricks, Microsoft Fabric oder Azure-Datenlösungen. Entscheidend ist weniger das Werkzeug als die zuverlässige Ausführung der Prüfungen.

Speichere mindestens Regelname, Regelversion, Datenbestand, Prüfzeitpunkt, geprüfte und fehlerhafte Datensatzzahl sowie Status. Sensible Fehlerbeispiele gehören in einen zugriffsgeschützten Bereich, nicht ungeschützt in E-Mail-Benachrichtigungen.

Grenzwerte und Reaktionen festlegen

Leite Grenzwerte aus den Folgen eines Fehlers ab. Eine fehlende Information in einem optionalen Analysefeld braucht eine andere Reaktion als eine nicht zuordenbare Buchung.

Unterscheide dabei:

• Warnung: Verarbeitung läuft weiter, die verantwortliche Person wird informiert.
• Quarantäne: Betroffene Datensätze werden ausgesondert und gezielt nachbearbeitet.
• Abbruch: Ein kritischer Fehler verhindert die Freigabe des Datenbestands.

Quarantäne ist kein unsichtbares Reparaturverfahren: Nachgelagerte Berichte müssen erkennen lassen, wenn Daten fehlen. Prüfe außerdem, ob die Qualitätsprüfungen selbst ausgeführt wurden. Ein ausgefallener Test ist kein bestandener Test.

So gehen wir vor

Bei Ailio verbinden wir fachliche Anforderungen mit technischen Prüfungen. Unser Team in Bielefeld und Hamburg richtet die Umsetzung am konkreten Datenprodukt aus, statt möglichst viele Kennzahlen ohne klaren Nutzen einzuführen.

Anwendungsfall und Ausgangslage klären

Wir beginnen mit einem Bericht, Prozess oder KI-Anwendungsfall, der unter unzuverlässigen Daten leidet. Gemeinsam bestimmen wir kritische Felder, Datenwege und Verantwortlichkeiten. Ein Datenprofiling zeigt anschließend Nullwerte, Werteverteilungen, Schlüsselverletzungen und auffällige Zeitstempel.

Regeln fachlich abstimmen und umsetzen

Mit Fachbereich und Datenteam formulieren wir einen Regelkatalog. Jede Regel erhält Messumfang, Berechnungslogik, begründete Ausnahmen, Verantwortlichkeit und Fehlerreaktion. Anschließend integrieren wir die Prüfungen in die Datenverarbeitung und testen sie auch mit gezielt fehlerhaften Testdaten.

Ergebnisse überwachen und Ursachen beheben

Ein Qualitätsdashboard zeigt Quoten, absolute Fehlerzahlen und deren Entwicklung je Quelle. Tickets oder Benachrichtigungen führen Abweichungen zu den zuständigen Personen. Wiederkehrende Fehler beheben wir möglichst am Ursprung, etwa durch Eingabevalidierung oder klarere Schnittstellenvereinbarungen.

Welche Fehler solltest Du bei der Messung vermeiden?

Eine einzelne Gesamtkennzahl kann kritische Datenfehler verdecken. Betrachte deshalb Qualitätsdimensionen, Datenquellen und geschäftskritische Felder getrennt, bevor Du Ergebnisse zusammenfasst.

Achte besonders auf diese Stolperfallen:

• Unklare Bezugsgrößen: Dokumentiere Filter, Zeitfenster und Ausnahmen.
• Nur Prozentwerte: Zeige zusätzlich absolute Fehlerzahlen und betroffene Prozesse.
• Unbemerkte Strukturänderungen: Prüfe auch neue, fehlende oder geänderte Spalten und Datentypen.
• Technisch gültig, fachlich falsch: Eine korrekt formatierte Adresse muss nicht die richtige sein. Für fachliche Richtigkeit brauchst Du geeignete Referenzen oder fachliche Kontrollen.
• Regeln ohne Zuständigkeit: Jeder Alarm braucht einen nachvollziehbaren Bearbeitungsweg.

Dein nächster Schritt

Starte mit einem geschäftskritischen Datenprodukt und wenigen eindeutig definierten Prüfregeln. Wenn Du Qualitätsmessung dauerhaft in Deine Datenverarbeitung integrieren möchtest, unterstützt Ailio Dich dabei, eine Datenplattform aufzubauen, auf der Berichte und KI-Anwendungen verlässlich arbeiten können.