Glossar
Stichprobenprüfung:
regelmäßig hinsehen statt hoffen.
Ein Agent, der gut gestartet ist, muss nicht gut bleiben. Stichproben sind der einfachste Weg, schleichende Veränderungen zu bemerken, bevor Kundschaft sie bemerkt.
Kurz gesagtBei der Stichprobenprüfung bewertet eine verantwortliche Person regelmäßig einen zufällig und gezielt gewählten Ausschnitt der Vorgänge, die ein Agent bearbeitet hat, anhand fester Kriterien. Sie deckt Fehler, Lücken und Veränderungen auf, auch wenn jeder einzelne Fall freigegeben wurde.
Was die Stichprobenprüfung ist
Alles zu prüfen ist teuer, nichts zu prüfen riskant. Die Stichprobe liegt dazwischen: Aus der Menge der bearbeiteten Vorgänge wird ein kleiner Teil ausgewählt und gründlich angesehen. Das Ergebnis erlaubt Rückschlüsse auf das Ganze und deckt Muster auf, die in einzelnen Fällen untergehen. Wiederholt man die Prüfung in festem Rhythmus, erkennt man Entwicklungen: Wird die Qualität besser, schlechter, oder kippt sie in einem Themenfeld?
Sie ersetzt die Freigabe nicht. Bei Entscheidungen mit Wirkung auf Personen bleibt ein Mensch vor der Wirkung beteiligt. Die Stichprobe ergänzt die Freigabe um den Blick von außen: Hat das Team Fehler übersehen? Weichen Antworten von den Regeln ab? Werden Quellen richtig verwendet?
Dazu passt der Gedanke aus der Qualitätssicherung: Wer nur Einzelfälle korrigiert, behandelt Symptome. Wer Stichproben auswertet, findet Ursachen.
So ziehen Sie eine Stichprobe
- Zeitraum festlegen. Etwa wöchentlich, in der Anfangsphase öfter.
- Auswahl mischen. Ein Teil zufällig aus allen Vorgängen, ein Teil gezielt: Übergaben, Fälle mit niedriger Sicherheit, Beschwerden, Fälle mit Korrekturen.
- Kriterien nutzen. Dieselbe Prüfliste für jeden Fall, damit Ergebnisse vergleichbar sind.
- Unabhängig prüfen. Möglichst nicht die Person, die den Entwurf freigegeben hat.
- Ergebnis festhalten. Ein kurzer Vermerk pro Fall, eine Zusammenfassung pro Woche.
- Maßnahmen ableiten. Wissen ergänzen, Regeln anpassen, Anweisung schärfen, Schulung.
Wie groß die Stichprobe sein soll, richtet sich nach Menge und Risiko. Für den Anfang genügen wenige Dutzend Fälle pro Woche, bei geringer Menge entsprechend weniger. Die Größe legen Sie nach Ihrer Kapazität fest. Wichtig ist die Regelmäßigkeit.
Ziehen Sie die Fälle zufällig und nicht nach Eindruck, sonst prüfen Sie nur, was ohnehin auffällt. Ergänzend lohnt ein Blick auf Fälle, die der Agent abgegeben hat.
Prüfkriterien für Antworten
| Kriterium | Frage |
|---|---|
| Richtigkeit | Stimmen Zahlen, Namen, Fristen und Aussagen mit der Quelle? |
| Quelle | Ist die Fundstelle genannt und passt sie? |
| Grenzen | Wurden Verbote eingehalten: keine Zusagen, keine Rechtsauskünfte? |
| Übergabe | Wurde bei Unsicherheit oder Regelauslöser übergeben? |
| Ton | Passt die Antwort zu Ihrem Haus: höflich, klar, ehrlich? |
| Vollständigkeit | Wurde die Frage beantwortet, ohne dass eine Rückfrage nötig bleibt? |
| Datenschutz | Wurden unnötige oder sensible Angaben verarbeitet oder weitergegeben? |
Beispiel (Wöchentliche Stichprobe)
Fiktives Beispiel, kein Kundenfall.
Ein Händler prüft jeden Freitag zwanzig Vorgänge des Agenten: zehn zufällig gezogene, fünf Übergaben und fünf Fälle mit Korrekturen durch das Team. Die Prüferin vermerkt bei jedem Fall, ob Richtigkeit, Quelle, Grenzen und Übergabe stimmen. In einer Woche fällt auf, dass bei Rückgaben nach Ablauf einer Frist die Quelle mehrmals nicht stimmt. Die Ursache: Die Rückgabebedingungen wurden vor einigen Wochen angepasst, aber nur eine Fassung der Datei wurde ersetzt. Die alte Fassung stand noch in der Basis.
Die Stichprobe hat nicht den einzelnen Fehler aufgedeckt, sondern die Lücke in der Pflege. Danach wird die alte Datei entfernt und eine Testfrage ergänzt. Siehe Wissensbasis-Pflege.
Hilfreich ist, die Befunde nach Ursache zu ordnen: Lücke in der Wissensbasis, unklare Anweisung, falscher Auslöser. Daraus ergeben sich die nächsten Aufgaben.
Grenzen und Fallstricke
- Zu kleine oder immer gleiche Auswahl. Wer nur leichte Fälle zieht, sieht keine Probleme.
- Prüfmüdigkeit. Nach einigen Wochen wird die Stichprobe zur Pflichtübung. Wechseln Sie die Prüfenden und halten Sie die Liste kurz.
- Zahlen als Kontrolle von Personen. Die Auswertung dient dem System, nicht der Bewertung von Beschäftigten.
- Befunde ohne Folgen. Eine Stichprobe, aus der nichts abgeleitet wird, ist verschenkte Arbeit.
- Personenbezogene Daten. Prüfende sehen echte Vorgänge. Rechte und Verschwiegenheit gelten, bei Verarbeitung durch Dienstleister braucht es einen Vertrag (Art. 28 DSGVO).
Muster erkennen: was die Auswertung zeigen kann
Die einzelne Stichprobe liefert Befunde, die Folge von Stichproben liefert Muster. Wiederholen sich Fehler bei einer Fallart, deutet das auf eine Lücke in Wissen oder Regeln. Häufen sich Verstöße gegen eine bestimmte Grenze, ist die Anweisung zu schwach oder das Recht zu weit. Verschlechtert sich die Qualität nach einer Änderung am System, ist die Änderung die erste Verdächtige.
Auch positive Muster sind wertvoll. Zeigt sich über Wochen, dass eine Fallart fehlerfrei läuft, kann man den Spielraum des Agenten dort erweitern oder die Freigabe auf Stichproben umstellen. Die Stichprobe liefert damit die Begründung für mehr Selbstständigkeit, nicht nur für Korrekturen.
Dokumentieren Sie Befunde so, dass sie Dritte verstehen: Fallart, Befund, vermutete Ursache, ergriffene Maßnahme, Ergebnis der Nachprüfung. Diese Reihe ist zugleich Ihr Nachweis, dass Sie das System im Blick haben, und die Grundlage für Gespräche mit Datenschutz und Geschäftsleitung.
Wiederholen Sie die Prüfung nach jeder größeren Änderung an Anweisung oder Unterlagen.
So richten wir sie ein
- Kriterien festlegenGemeinsam mit Ihnen: Was bedeutet gut, was ist ein Verstoß?
- Ablauf einrichtenWir stellen eine Ansicht bereit, die Stichprobenfälle samt Quellen zeigt.
- Rhythmus vereinbarenFester Termin, benannte Prüfende, Vertretung.
- Auswerten und anpassenAus Befunden entstehen Änderungen an Wissen, Regeln oder Anweisung, die wir testen.
Die Stichprobenprüfung gehört zum Pilot und zum Betrieb. Verwandt sind Human in the Loop, Übergabequote und Protokollierung. Leistung: KI-Agenten entwickeln.
Häufige Fragen
Wie viele Fälle muss ich prüfen?
Das hängt von Menge und Risiko ab. In der Anfangsphase prüfen Sie mehr, später reicht eine kleinere, regelmäßige Auswahl. Legen Sie die Größe nach Ihrer Kapazität fest und halten Sie den Rhythmus ein.
Wer sollte prüfen?
Eine Person, die den Vorgang fachlich versteht und nicht selbst freigegeben hat. Wechsel zwischen mehreren Prüfenden verhindert Betriebsblindheit.
Was, wenn die Stichprobe Fehler zeigt?
Dann suchen wir die Ursache: fehlendes Wissen, unklare Regel, veraltete Unterlage, Anweisung. Wir beheben sie, testen mit festen Fällen und beobachten die nächste Stichprobe.
Reicht Stichprobenprüfung statt Freigabe?
Für Routinefälle mit geringem Risiko kann sie nach einer Testphase genügen. Bei Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung für Personen bleibt die menschliche Beurteilung vor der Wirkung maßgeblich (Art. 22 DSGVO).
Wie dokumentiere ich die Ergebnisse?
In einer einfachen Tabelle mit Datum, Fallart, Befund, Ursache, Maßnahme und Nachprüfung. Eine Seite pro Woche genügt. Wichtig ist, dass Muster über mehrere Wochen sichtbar werden.
Quellen und rechtlicher Rahmen
- DSGVO, Art. 22 (automatisierte Entscheidungen): Betroffene haben das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. (abgerufen 21. Oktober 2026)
- DSGVO, Art. 28 (Auftragsverarbeiter): Verarbeitet ein Dienstleister personenbezogene Daten im Auftrag, arbeitet der Verantwortliche nur mit Auftragsverarbeitern, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten. Die Verarbeitung folgt einem Vertrag, der unter anderem Gegenstand, Dauer, Art und Zweck festlegt. (abgerufen 21. Oktober 2026)
Die Zusammenfassungen sind sinngemäß; maßgeblich sind die verlinkten Originaltexte. Das ist ein allgemeiner Überblick zu Ihrem Umfeld, keine Rechtsberatung und keine Aussage zu Ihrem Einzelfall.
Autor: Melvin Mümken, Gründer & Technischer Leiter. Stand: 22.10.2026. Die Hinweise sind ein allgemeiner Überblick und keine Rechtsberatung.