Ausschließlich automatisiert
Die Entscheidung kommt ohne echte menschliche Beurteilung zustande. Ein Mensch, der nur bestätigt, ohne zu prüfen, ändert daran möglicherweise nichts.
Blog · Recht
Zwischen einem Agenten, der einen Vorschlag macht, und einem, der entscheidet, liegt ein Unterschied mit rechtlicher Tragweite. Dieser Beitrag zeigt, wie Sie in Ihrem Betrieb auf der richtigen Seite dieser Linie arbeiten.
Kurz gesagtNach Art. 22 DSGVO haben Betroffene das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Unsere Agenten bereiten vor, ein Mensch gibt frei. Entscheidend ist, dass die Freigabe echt ist. Keine Rechtsberatung.
Wenn ein Online-Shop eine Rückgabe ablehnt, ein Dienstleister einen Vertrag beendet oder ein Betrieb einen Antrag abweist, trifft jemand eine Entscheidung mit Folgen für eine Person. Bisher war dieser Jemand ein Mensch. Mit KI-Agenten verschiebt sich die Frage: Der Agent liest den Fall, wägt Regeln ab und schlägt ein Ergebnis vor. Manche Systeme setzen es sofort um. Für den Betrieb zählt weniger, wie klug das System ist, als wer das letzte Wort hat.
Der Gesetzgeber hat dafür eine Leitplanke gesetzt. Art. 22 DSGVO gibt Betroffenen das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Der Text ist kurz, seine Auslegung im Einzelfall aufwendig. Für die Praxis lässt sich daraus eine einfache Gestaltungsregel ableiten, die wir hier erklären.
Die Entscheidung kommt ohne echte menschliche Beurteilung zustande. Ein Mensch, der nur bestätigt, ohne zu prüfen, ändert daran möglicherweise nichts.
Die Entscheidung verändert die Rechte der Person oder betrifft sie vergleichbar stark, etwa durch Ablehnung eines Antrags oder Beendigung eines Vertrags.
Es geht um eine natürliche Person. Entscheidungen über Waren, Dokumente oder Betriebsabläufe ohne Personenbezug fallen anders aus.
Ob alle drei Merkmale in Ihrem Fall erfüllt sind, ist eine Rechtsfrage. Wir geben hier keine Einzelfallbewertung ab, sondern zeigen, wie sich Abläufe so bauen lassen, dass die Frage gar nicht erst aufkommt: Der Agent bereitet vor, der Mensch entscheidet.
Der Ablauf ist keine Zusatzarbeit, sondern verlagert Aufwand: weg vom Zusammensuchen und Formulieren, hin zum Beurteilen.
Fiktives Beispiel, kein Kundenfall.
Ein Fitnessstudio erhält eine Kündigung, die mit einem Umzug begründet wird. Der Agent liest die Nachricht, erkennt die Fallart, sucht die Vertragsdaten und stellt fest, dass die Kündigung innerhalb der Vertragsfrist eingeht, aber ein Sonderkündigungsrecht geltend gemacht wird. Er legt einen Vorgang an mit Zusammenfassung, den Vertragsdaten und dem Hinweis, dass die Prüfung des Sonderkündigungsrechts eine Entscheidung ist. Der Fall geht an die Studioleitung.
Die Leitung sieht alles auf einen Blick, prüft die Angaben, entscheidet und antwortet. Der Agent hat die Zeit für Suche und Entwurf gespart, die Entscheidung blieb bei der Person, die dafür verantwortlich ist. Hätte der Agent die Kündigung selbstständig bestätigt oder abgelehnt, wäre die Linie überschritten gewesen.
Fiktives Beispiel, kein Kundenfall.
Ein Dienstleister bearbeitet Mahnungen. Der Agent stellt fest, dass bei einem Kunden zwei Rechnungen offen sind, eine davon mit einem Vermerk zu einer laufenden Reklamation. Er bereitet eine Erinnerung vor, weist aber darauf hin, dass der Fall wegen der Reklamation nicht ins Mahnverfahren gehört, und legt ihn der Buchhaltung vor. Sperrung von Leistungen oder Mahnung entscheidet die Buchhaltung. Hier hat der Agent nicht nur Zeit gespart, sondern einen Fehler verhindert, den ein rein automatischer Ablauf begangen hätte.
Der Unterschied zum ersten Beispiel liegt im Zeitdruck. Weil Mahnungen Fristen berühren, ist die Versuchung groß, den Vorschlag ohne Prüfung zu übernehmen. Gerade deshalb muss die Freigabe im Ablauf fest verankert sein.
Alle diese Punkte stehen als Verbote in der Systemanweisung des Agenten und sind zusätzlich technisch abgesichert. Ein Agent, der nur lesen und Entwürfe anlegen darf, kann sie nicht umsetzen, selbst wenn eine eingeschleuste Anweisung es versuchte.
Ein Haken im Formular macht noch keine Entscheidung. Damit eine menschliche Freigabe ihren Zweck erfüllt, sollten mehrere Bedingungen erfüllt sein. Die Person muss sehen, worauf der Vorschlag beruht. Sie braucht Zeit, ihn zu beurteilen, also eine Arbeitsmenge, die Prüfen zulässt. Sie muss abweichen dürfen, ohne sich rechtfertigen zu müssen, und sie muss den Vorgang fachlich verstehen.
Dazu kommen Gestaltungsfragen. Zeigt die Oberfläche den Vorschlag als vorausgewähltes Ergebnis, kann das die Beurteilung beeinflussen. Eine Oberfläche, die Alternativen nennt und den Grund des Vorschlags zeigt, fördert Urteil statt Zustimmung. Dokumentieren Sie Abweichungen. Sie belegen, dass geprüft wird, und liefern Material, um den Agenten zu verbessern.
„Wenn der Agent ohnehin fast immer recht hat, können wir uns die Prüfung sparen.“ Dieser Einwand klingt vernünftig und ist der gefährlichste. Ob der Agent in einer Fallart verlässlich ist, zeigt sich erst durch die Stichprobe, und bei Entscheidungen mit Wirkung auf Personen bleibt die menschliche Beurteilung vor der Wirkung ausschlaggebend. Eine gute Antwort lautet: Wir prüfen nicht, weil wir dem Agenten misstrauen, sondern weil wir die Entscheidung verantworten.
Ein zweiter Einwand betrifft die Zeit. Wenn jede Freigabe fünf Minuten dauert, sei der Gewinn aufgezehrt. Das stimmt, wenn der Vorschlag schlecht aufbereitet ist. Zeigt die Freigabeansicht Zusammenfassung, Daten, Begründung und Alternativen auf einen Blick, dauert die Prüfung deutlich weniger als die Bearbeitung von Grund auf. Wo die Zeit trotzdem nicht reicht, gehören Zuständigkeit und Kapazität auf den Tisch, nicht die Prüfung auf die Streichliste.
Ein dritter Einwand kommt von der anderen Seite: Ein Agent solle auch einfache Fälle selbst abschließen dürfen. Für Vorgänge ohne Wirkung auf Personen lässt sich das besprechen. Sobald eine Person betroffen ist, bleibt der Weg über den Menschen die sichere Gestaltung, und was als einfacher Fall gilt, legen Sie mit Ihrer Beratung fest, nicht der Agent.
Der Agent verarbeitet für die Vorbereitung personenbezogene Daten. Setzen Sie dafür einen Dienstleister ein, gilt die Pflicht zum Vertrag nach Art. 28 DSGVO: Sie arbeiten nur mit Auftragsverarbeitern, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten, und die Verarbeitung folgt einem Vertrag, der unter anderem Gegenstand, Dauer, Art und Zweck festlegt. Bei uns schließen wir den Auftragsverarbeitungsvertrag vor dem Start ab.
Geben Sie dem Agenten nur die Felder, die er für die Vorbereitung braucht, und halten Sie die Protokolle inhaltsarm. Für Fälle mit Gesundheitsbezug gilt zusätzlich, dass die Verarbeitung von Gesundheitsdaten nach Art. 9 Abs. 1 DSGVO grundsätzlich untersagt ist; Ausnahmen regelt Absatz 2. Dort klären Sie die Zulässigkeit mit Ihrer Beratung, bevor ein Agent Daten sieht.
Prüfen Sie außerdem, wer Zugriff auf die Vorschläge und Protokolle hat. Sie enthalten Angaben zu Betroffenen und gehören nur denen, die sie für die Freigabe brauchen.
Als Abbruchkriterium gilt jeder Fall, in dem der Agent eine Wirkung ausgelöst hat, die er nicht hätte auslösen dürfen. Das ist bei richtiger Rechtevergabe technisch ausgeschlossen, wird aber im Test bewusst provoziert. Mehr zum Begriff Pilot im Glossar.
Prüfen Sie nach einigen Wochen drei Dinge. Gibt es im Protokoll Freigaben mit Änderungen und Begründungen? Wenn nicht, wird entweder nicht geprüft, oder der Agent ist in Ihrem Fall außergewöhnlich gut, was Sie durch Stichproben belegen sollten. Landen alle Fallarten mit Wirkung auf Personen tatsächlich bei Menschen? Und kann das Team in einem Satz erklären, wer entscheidet? Diese drei Fragen decken Schwächen auf.
Ein weiteres Zeichen: Die Personen, die freigeben, nennen Gründe für Änderungen. Fehlen Begründungen vollständig, lohnt ein Gespräch darüber, ob die Freigabe wirklich eine Prüfung ist.
Wir fassen Art. 22 so zusammen, wie wir ihn gelesen haben. Wir beantworten nicht, welche Ausnahmen gelten, wann eine Entscheidung noch als ausschließlich automatisiert gilt oder welche Folgen ein Verstoß hätte. Wenn Ihr System über Anträge, Verträge oder Leistungen entscheiden soll, holen Sie vorab fachkundigen Rat ein. Unsere Haltung ist einfacher: Wir bauen Agenten, die vorbereiten. Weitere Informationen unter Automatisierte Entscheidung, Human in the Loop und auf der Seite KI-Transparenz.
Wenn die Ablehnung der Person gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt, soll nach Art. 22 DSGVO keine ausschließlich automatisierte Entscheidung erfolgen. Wir bauen Agenten so, dass sie vorbereiten und ein Mensch entscheidet.
Nur wenn er ihn tatsächlich beurteilen kann: mit Information, Zeit und Befugnis zur Abweichung. Ein bloßes Abnicken kann dem Zweck der Vorschrift nicht genügen. Im Zweifel holen Sie rechtlichen Rat ein.
Solche, in denen eine Person durch das Ergebnis Rechte verliert oder spürbar belastet wird, etwa Ablehnungen, Kündigungen, Sperrungen. Dort gehört die Entscheidung in die Hand eines Menschen.
Ein Entwurf, den ein Mensch prüft und verantwortet, ist keine ausschließlich automatisierte Entscheidung. Entscheidend ist, dass die Person die Entscheidung wirklich trifft.
Mit Protokollen: Wer hat wann freigegeben, was wurde geändert, mit welcher Begründung? Stichproben zeigen, dass die Prüfung tatsächlich stattfindet.
Die Zusammenfassungen sind sinngemäß; maßgeblich sind die verlinkten Originaltexte. Das ist ein allgemeiner Überblick zu Ihrem Umfeld, keine Rechtsberatung und keine Aussage zu Ihrem Einzelfall.
Autor: Melvin Mümken, Gründer & Technischer Leiter. Stand: 22.10.2026. Die Hinweise sind ein allgemeiner Überblick und keine Rechtsberatung.