Vier Fälle, in denen
Verwaltung Menschen zerstört hat.
Dieses Annex trägt zusammen, was passiert ist, wenn automatisierte Verwaltung ohne Grundrechtsbindung, ohne wirksame Kontrolle und ohne Haftung eingesetzt wurde. Die vier Fälle sind dokumentiert, mit Aktenzeichen, Untersuchungsberichten und Zahlen: SyRI in den Niederlanden, die Toeslagenaffaire, Robodebt in Australien und das AMAS-Verfahren in Österreich. Sie sind keine Warnung vor Digitalisierung. Sie sind die Begründung dafür, warum dieser Korpus Haftung, Charta und Drei-Zonen-Modell vor die Technik stellt.
§ V.0 · VorbemerkungDer rechtliche Rahmen.
Digitale Verwaltung ist kein rechtsfreier Raum. Sie ist ein Raum, in dem bestehendes Recht schwer durchsetzbar war — bis Gerichte damit angefangen haben.
| Norm | Gewährleistung | Bedeutung für automatisierte Verwaltung |
|---|---|---|
| Art. 8 EMRK | Achtung des Privat- und Familienlebens | Eingriffe brauchen gesetzliche Grundlage, legitimes Ziel und Verhältnismäßigkeit — Prüfmaßstab im SyRI-Urteil |
| Art. 6 EMRK | Faires Verfahren | Waffengleichheit auch gegenüber einem System, dessen Funktionsweise die Betroffene nicht kennt |
| Art. 7, 8 GRC | Privatleben, Datenschutz | eigenständiges Grundrecht auf Datenschutz im Unionsrecht |
| Art. 21 GRC | Diskriminierungsverbot | erfasst mittelbare Diskriminierung durch Proxy-Merkmale |
| Art. 41 GRC | Recht auf gute Verwaltung | Anhörung, Akteneinsicht, Begründungspflicht — die Grundlage von Annex C R01 |
| Art. 47 GRC | Wirksamer Rechtsbehelf | ein Rechtsbehelf gegen eine unverständliche Entscheidung ist nicht wirksam |
| Art. 22 DSGVO | Schutz vor ausschließlich automatisierter Entscheidung | Kernnorm; Auslegung durch EuGH C-634/21 präzisiert (§ V.6) |
Hinzu kommt die internationale Ebene: Der damalige UN-Sonderberichterstatter für extreme Armut und Menschenrechte, Philip Alston, legte 2019 den Bericht A/74/493 über den „digital welfare state" vor. Kernaussage: Die Digitalisierung von Sozialleistungssystemen wird regelmäßig als Modernisierung dargestellt, dient faktisch aber häufig der Leistungskürzung, der Überwachung von Leistungsbeziehenden und der Sanktionierung — mit der Folge, dass gerade die verletzlichsten Gruppen die Kosten tragen.
Die vier folgenden Fälle sind keine Ausreißer. Sie sind das, was passiert, wenn die in dieser Tabelle stehenden Normen bei der Systemgestaltung nicht mitgedacht werden.
§ V.1 · Fall 1SyRI — Niederlande, 2020.
Ein Risikoerkennungssystem wird für unvereinbar mit Art. 8 EMRK erklärt
Was SyRI war. Das „Systeem Risico Indicatie" verknüpfte Daten aus verschiedenen staatlichen Registern, um Risikoprofile für Sozialleistungsbetrug zu erstellen. Eingesetzt wurde es schwerpunktmäßig in sozial benachteiligten Stadtvierteln.
Was das Gericht entschied. Die Rechtbank Den Haag erklärte die SyRI-Gesetzgebung wegen Verstoßes gegen Art. 8 Abs. 2 EMRK für unverbindlich. Tragend war das Verhältnismäßigkeitsargument: Der Gesetzgeber hatte kein angemessenes Gleichgewicht zwischen dem legitimen Ziel der Betrugsbekämpfung und dem Eingriff in das Privatleben hergestellt. Besonderes Gewicht hatte die fehlende Transparenz — weder die Betroffenen noch die Öffentlichkeit konnten nachvollziehen, welche Indikatoren wie gewichtet wurden.
Warum das bedeutsam ist. Es war eine der ersten gerichtlichen Entscheidungen weltweit, die ein staatliches Risikoerkennungssystem im Sozialbereich unmittelbar an der Menschenrechtskonvention scheitern ließ. Der Maßstab war nicht Datenschutzrecht im engeren Sinn, sondern das Grundrecht auf Achtung des Privatlebens.
§ V.2 · Fall 2Toeslagenaffaire — der Referenzfall.
„Ongekend onrecht" — beispielloses Unrecht
Was geschah. Die niederländische Finanzverwaltung stufte über Jahre Eltern, die Kinderbetreuungsbeihilfe bezogen, als Betrüger ein und forderte die gesamten ausgezahlten Beträge zurück — häufig fünfstellige Summen, ohne Ratenmöglichkeit, gestützt auf formale Fehler oder gar nicht belegte Verdachtsmomente. Ab April 2013 war ein selbstlernendes Risikoklassifizierungsmodell im Einsatz. Zu dessen Indikatoren gehörte das Merkmal „Nederlanderschap Ja/Nee" — die Staatsangehörigkeit.
Die Zahlen. Der parlamentarische Untersuchungsbericht spricht von einem schwerwiegenden Verstoß gegen die Grundprinzipien des Rechtsstaats. Die am häufigsten zitierte Größenordnung des Kernskandals beträgt rund 26.000 zu Unrecht beschuldigte Eltern im Zeitraum 2005 bis 2019. Die später eingerichtete Wiedergutmachungsoperation arbeitet mit anderer Abgrenzung und registrierte über 69.000 mögliche Betroffene, von denen über 40.300 anerkannt wurden.
Die Kinder. Das niederländische Statistikamt CBS zählte für den Zeitraum 2015 bis Juni 2022 2.090 Kinder aus betroffenen Familien, die aus dem Elternhaus genommen wurden; davon waren Ende Juni 2022 noch 645 nicht zurückgekehrt. Das Justizministerium nannte eine höhere Zahl von 3.058. Das CBS weist ausdrücklich darauf hin, dass daraus keine nachgewiesene Kausalität zum Skandal folgt.
Die datenschutzrechtliche Aufarbeitung. Die Autoriteit Persoonsgegevens verhängte am 7. Dezember 2021 eine Geldbuße von 2,75 Mio. Euro wegen rechtswidriger und diskriminierender Verarbeitung der (doppelten) Staatsangehörigkeit — im Mai 2018 waren noch rund 1,4 Mio. Menschen mit doppelter Staatsangehörigkeit erfasst. Am 12. April 2022 folgte eine Geldbuße von 3,7 Mio. Euro wegen der sogenannten FSV-Schwarzliste mit rund 270.000 erfassten Personen.
Die politische Folge. Das dritte Kabinett Rutte trat am 15. Januar 2021 zurück. Untersuchungen durch PwC und das College voor de Rechten van de Mens führten zur Feststellung institutionellen Rassismus in der betroffenen Verwaltungseinheit.
§ V.3 · Fall 3Robodebt — Australien.
„Crude and cruel" — ein rechtswidriges Verfahren über Jahre
Was geschah. Die australische Sozialverwaltung ermittelte Rückforderungen gegen Leistungsbeziehende, indem sie Jahreseinkommensdaten der Steuerverwaltung rechnerisch auf Zwei-Wochen-Zeiträume herunterbrach („income averaging") und daraus Überzahlungen ableitete. Das Verfahren unterstellte gleichmäßige Einkommensverteilung über das Jahr — eine Annahme, die gerade bei unregelmäßig Beschäftigten regelmäßig falsch ist. Die Beweislast wurde den Betroffenen auferlegt.
Was die Untersuchungskommission feststellte. Das Schema wurde als grob und grausam bezeichnet und als rechtswidrig eingestuft. Der Bericht umfasst drei Bände mit über 990 Seiten und 57 Empfehlungen; er enthielt zudem Empfehlungen zur Prüfung individueller Verantwortlichkeit. Ein zivilrechtlicher Vergleich belief sich auf rund 1,8 Mrd. australische Dollar.
Der methodische Kern. Robodebt war kein KI-System. Es war eine simple arithmetische Annahme, die in großem Maßstab angewandt wurde, ohne dass jemand die Annahme geprüft hat. Das ist bedeutsam, weil die öffentliche Debatte Risiken automatisierter Verwaltung fast ausschließlich bei komplexen Verfahren verortet. Der Schaden entstand hier durch eine Formel, die jede Sachbearbeiterin hätte nachrechnen können — wenn jemand sie gefragt hätte.
§ V.4 · Fall 4AMAS — Österreich.
Der Algorithmus des Arbeitsmarktservice
Was geplant war. Das Arbeitsmarktservice entwickelte ein statistisches Modell (AMAS), das Arbeitsuchende nach ihren prognostizierten Integrationschancen in Gruppen einteilen sollte. Die Zuordnung sollte die Zuteilung von Fördermaßnahmen steuern.
Der Verfahrensgang. Die Datenschutzbehörde untersagte den Einsatz im August 2020 und stufte das Vorgehen als eingriffsintensives Profiling ohne ausreichende Rechtsgrundlage ein. Das Arbeitsmarktservice beschritt den Rechtsweg. Mit Erkenntnis vom 1. September 2025 hob das Bundesverwaltungsgericht den Bescheid der Datenschutzbehörde auf. Maßgeblich war die Einschätzung, dass die menschliche Letztentscheidung gewahrt bleibe und damit keine ausschließlich automatisierte Entscheidung im Sinne von Art. 22 DSGVO vorliege.
Warum der Fall trotzdem abgeschlossen ist. Nach der Löschung der Daten im Jahr 2020 wurde das Projekt nicht weitergeführt; nach Angaben der AMS-Führung ist eine Wiederaufnahme nicht vorgesehen. Der Rechtsstreit wurde gewonnen, das Vorhaben blieb eingestellt.
Der ungelöste Kern. Kritik richtete sich auf die Frage, was menschliche Letztentscheidung in der Praxis bedeutet, wenn für eine Beratung nur wenige Minuten zur Verfügung stehen. Wenn die Zeit fehlt, um eine Einstufung zu prüfen, wird sie faktisch übernommen — auch wenn rechtlich eine Person entscheidet. Genau an dieser Stelle verläuft die Grenze zwischen formaler und wirksamer Kontrolle.
§ V.5 · BeweislastPost Office Horizon.
Der Fall, der zeigt, was passiert, wenn ein System als zuverlässig gilt und Menschen als unzuverlässig.
Im britischen Post-Office-Horizon-Komplex wurden über Jahre Betreiberinnen und Betreiber von Postfilialen wegen Fehlbeträgen belangt, die tatsächlich auf Fehler des eingesetzten IT-Systems zurückgingen. Es kam zu strafrechtlichen Verurteilungen, Existenzvernichtungen und Todesfällen. Die öffentliche Untersuchung dauert an.
Der für diesen Korpus entscheidende Mechanismus ist nicht der Softwarefehler, sondern die Beweislastverteilung: Es galt die Annahme, das System arbeite korrekt; wer das Gegenteil behauptete, musste es beweisen — gegen ein System, dessen Innenleben er nicht einsehen konnte. Diese Konstellation ist strukturell identisch mit der in Annex K § K.8 beschriebenen: Eine einzelne Betroffene kann einen systemischen Fehler praktisch nie nachweisen, weil ihr dafür Zugang, Mittel und Vergleichsfälle fehlen.
Daraus folgt die Schwellenregel aus Annex K: Treten gleichartige Fehler in einer bestimmten Anzahl von Fällen auf, kehrt sich die Beweislast um. Nicht die Betroffene muss den Systemfehler beweisen, sondern die Behörde die korrekte Funktion.
§ V.6 · RechtsprechungArt. 22 DSGVO und der SCHUFA-Fall.
Mit Urteil vom 7. Dezember 2023 in der Rechtssache C-634/21 (ECLI:EU:C:2023:957) entschied der Gerichtshof der Europäischen Union, dass bereits die automatisierte Erstellung eines Wahrscheinlichkeitswerts eine automatisierte Entscheidung im Einzelfall nach Art. 22 Abs. 1 DSGVO darstellen kann — dann nämlich, wenn dieser Wert maßgeblich darüber bestimmt, wie ein Dritter entscheidet.
Die Bedeutung für die Verwaltung liegt auf der Hand. Die verbreitete Konstruktion lautet: Das System schlägt vor, ein Mensch entscheidet, also greift Art. 22 nicht. Der Gerichtshof stellt darauf ab, ob der maschinell erzeugte Wert die Entscheidung faktisch determiniert. Wo die Übernahmequote bei nahezu hundert Prozent liegt und für eine abweichende Entscheidung weder Zeit noch Begründungsmöglichkeit besteht, ist die menschliche Beteiligung formal.
Verbunden mit dem AMAS-Befund aus § V.4 ergibt sich eine praktikable Prüfregel für den Korpus:
| Prüffrage | Erforderlicher Nachweis |
|---|---|
| Wie oft weicht die Entscheidung vom Vorschlag ab? | Abweichungsquote wird erhoben und veröffentlicht |
| Wie viel Zeit steht für die Prüfung zur Verfügung? | bemessene Bearbeitungszeit je Fall, dokumentiert |
| Kann die entscheidende Person die Grundlagen einsehen? | vollständige Anzeige der Entscheidungsgrundlagen |
| Ist Abweichen ohne Nachteil möglich? | keine Kennzahl, die Abweichung sanktioniert |
Liegt eine dieser Bedingungen nicht vor, ist die Entscheidung im Sinne der Rechtsprechung als automatisiert zu behandeln — mit allen Folgen aus Art. 22 DSGVO.
§ V.7 · AI ActHochrisiko und Folgenabschätzung.
Die KI-Verordnung (EU) 2024/1689 stuft Systeme, die über den Zugang zu wesentlichen öffentlichen Leistungen entscheiden, in Anhang III als Hochrisiko-Systeme ein. Das betrifft unmittelbar Sozialleistungen, aber auch Bereiche wie Justiz und Migration.
Für öffentliche Stellen ist Art. 27 von besonderer Bedeutung: Er verlangt eine Grundrechte-Folgenabschätzung vor dem Einsatz. Diese tritt neben die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO. In der Literatur wird darauf hingewiesen, dass sich die Anwendungsbereiche weitgehend überschneiden — bei der überwiegenden Mehrzahl der Hochrisiko-Konstellationen greift zugleich die Datenschutz-Folgenabschätzung.
Für den Korpus ergibt sich daraus eine praktische Empfehlung: Beide Prüfungen sollten in einem gemeinsamen Verfahren durchgeführt werden, mit einem Dokument, das beide Anforderungen erfüllt. Getrennte Verfahren erzeugen doppelten Aufwand bei gleichem Erkenntnisgewinn — und liefern den Vorwand, beide als Formalie zu behandeln.
Die Verbindung zum Drei-Zonen-Modell ist direkt: Ein System in Zone Grün — Maschine entscheidet allein — ist bei existenzrelevanten Leistungen mit der Hochrisiko-Einstufung praktisch nicht vereinbar. Zone Grün bleibt deshalb auf unbestrittene Klarfälle ohne Ermessensspielraum beschränkt.
§ V.8 · ExklusionWer beim Digitalisieren hinausfällt.
Digitale Verwaltung erzeugt eine eigene Form des Ausschlusses, die in Erfolgsstatistiken nicht auftaucht: Wer einen Antrag nicht stellen kann, erscheint nicht als abgelehnt, sondern gar nicht.
Der Rechtsrahmen dazu ist vorhanden. Die Richtlinie (EU) 2016/2102 verpflichtet zur Barrierefreiheit öffentlicher Websites und Anwendungen; der European Accessibility Act greift seit Juni 2025 auch für zahlreiche private Dienste. Die Verwaltungslastforschung (Annex W) liefert die Begründung, warum Barrieren sozial ungleich wirken.
Für den Korpus folgen daraus drei Anforderungen, die über die formale Barrierefreiheitserklärung hinausgehen:
- Der Offline-Pfad ist gleichwertig, nicht nachrangig (Annex C R09). Gleichwertig heißt: gleiche Bearbeitungsdauer, gleiche Rechtswirkung, keine zusätzlichen Nachweispflichten.
- Abbruchquoten werden erhoben. Wo Menschen ein Verfahren beginnen und nicht abschließen, liegt ein Gestaltungsfehler nahe, kein Nutzungsfehler.
- Die Nichtinanspruchnahme wird gemessen — also die Differenz zwischen anspruchsberechtigten und tatsächlich beziehenden Personen. Sie ist die aussagekräftigste Kennzahl für die soziale Wirkung eines Verfahrens und wird in Annex W ausgeführt.
§ V.9 · SchutzregelnZwölf Regeln aus den Fällen.
| Nr. | Regel | Herkunft |
|---|---|---|
| V1 | Keine Herkunfts-, Nationalitäts- oder Wohnortmerkmale als Risikoindikator | Toeslagen |
| V2 | Offenlegung aller Indikatoren und ihrer Gewichtung | SyRI |
| V3 | Menschliche Entscheidung nur mit bemessener Prüfzeit | AMAS |
| V4 | Abweichungsquote von der Systemempfehlung erheben und veröffentlichen | SCHUFA, AMAS |
| V5 | Beweislastumkehr ab Schwellenwert gleichartiger Fehler | Horizon, Robodebt |
| V6 | Rechenannahmen offenlegen und vorab extern prüfen lassen | Robodebt |
| V7 | Abbruchschwelle im Pilotbetrieb, vorab festgelegt | Robodebt |
| V8 | Grundrechte- und Datenschutz-Folgenabschätzung in einem Verfahren | AI Act Art. 27, DSGVO Art. 35 |
| V9 | Offline-Pfad gleichwertig, nicht nachrangig | Alston, Exklusionsforschung |
| V10 | Abbruchquoten und Nichtinanspruchnahme als Pflichtkennzahlen | Verwaltungslastforschung |
| V11 | Persönliche Verantwortlichkeit der Leitungsebene bei fortgesetztem Systemversagen | Toeslagen, Robodebt |
| V12 | Zone Grün nur für unbestrittene Klarfälle ohne Ermessen | alle vier Fälle |
Diese zwölf Regeln sind in Annex A, C, H, J und K einzuarbeiten. Sie sind sämtlich aus dokumentierten Schadensfällen abgeleitet, nicht aus theoretischer Vorsorge.
§ V.10 · GrenzenWas dieses Annex nicht leistet.
Grenze 1 — Zahlen mit unterschiedlicher Abgrenzung
Bei der Toeslagenaffaire kursieren mehrere Größenordnungen, weil Kernskandal und Wiedergutmachungsoperation unterschiedlich abgrenzen. Dieses Annex nennt beide und ihre jeweilige Grundlage. Wer eine einzelne Zahl zitiert, sollte die Abgrenzung mitnennen.
Grenze 2 — keine nachgewiesene Kausalität bei Fremdunterbringungen
Die Zahlen zu aus dem Elternhaus genommenen Kindern stehen im zeitlichen und sachlichen Zusammenhang mit dem Skandal. Das Statistikamt weist ausdrücklich darauf hin, dass daraus keine nachgewiesene Ursächlichkeit folgt. Dieses Annex übernimmt diesen Vorbehalt.
Grenze 3 — laufende Verfahren
Der Post-Office-Horizon-Komplex ist nicht abgeschlossen. Aussagen dazu sind vorläufig.
Grenze 4 — keine Rechtsberatung
Dieses Annex ist eine wissenschaftliche Aufarbeitung, keine Rechtsauskunft. Die Darstellung von Entscheidungen ersetzt weder deren Lektüre noch anwaltliche Beratung im Einzelfall.
Grenze 5 — AMAS-Bewertung ist umstritten
Die hier formulierte Kritik an der Wirksamkeit menschlicher Letztentscheidung bei knapper Beratungszeit ist eine begründete Position, keine gerichtliche Feststellung. Das Bundesverwaltungsgericht hat anders entschieden. Der Korpus hält die Kritik für tragfähig, benennt aber, dass die Rechtslage derzeit anders lautet.
Grenze 6 — Auswahl der Fälle
Vier Fälle aus drei Ländern sind keine repräsentative Stichprobe. Sie wurden wegen ihrer Dokumentationsdichte ausgewählt — gerade weil sie untersucht wurden, sind sie belegbar. Fälle ohne Untersuchung fehlen in jeder solchen Aufstellung, und es ist anzunehmen, dass es sie gibt.
Diese vier Fälle sind dokumentiert, weil jemand sie untersucht hat. Die eigentliche Frage ist, wie viele vergleichbare Vorgänge nie untersucht wurden — und was daraus für die Notwendigkeit unabhängiger Kontrolle folgt.