Evaluationsrahmen — Messen, Prüfen, Kontrollieren

TEIL A — DEUTSCH

A1. Grundsatz

Ein Regime ist wirksam, wenn der Zustand der Ressource ohne das Regime schlechter wäre. Alles andere — verabschiedete Ziele, aufgebaute Sekretariate, gestiegene Berichtszahlen — ist Aktivitätsnachweis, nicht Wirkungsnachweis.

A2. Vier Prüfebenen

Ebene	Frage	Typischer Fehler
Ergebnis (Outcome)	Hat sich der Zustand geändert?	Trend wird als Wirkung gelesen
Wirkung (Impact)	Hat sich der Zustand wegen des Instruments geändert?	fehlendes Kontrafaktual
Verteilung	Bei wem trat Nutzen, bei wem Last auf?	Aggregat verdeckt Verschiebung
Zurechnung	Wer ist verantwortlich, wenn nichts geschah?	Ziel ohne Adressat

A3. Kontrafaktuale in absteigender Belastbarkeit

1. Randomisierte Zuweisung (in der Umweltpolitik selten möglich).
2. Differenz-von-Differenzen mit vergleichbarer Kontrollregion.
3. Synthetische Kontrollgruppe aus gewichteten Vergleichsräumen.
4. Regressions-Diskontinuität an Schwellenwerten (Flächengröße, Anlagengröße).
5. Prozessbasierte Modellierung mit ausgewiesener Modellunsicherheit.
6. Vorher-Nachher ohne Kontrolle — nur als Hinweis, nie als Nachweis.

Jede Wirkungsaussage im Werk nennt die verwendete Stufe.

A4. Indikatorprüfung (fünf Fragen je Kennzahl)

1. Zieldeckung: misst der Indikator die Zielgröße oder ein Surrogat? (Beispiel: Schutzgebietsfläche misst nicht Schutzwirkung; gemeldete Fläche misst nicht Managementqualität.)
2. Manipulationsanfälligkeit: kann das Ergebnis durch Basisjahrwahl, Definitionswechsel, Schwellenwertsprung oder Bilanzgrenzenverschiebung verbessert werden, ohne dass sich physisch etwas ändert?
3. Erhebungsunabhängigkeit: erhebt der Verfügungsträger seine eigene Kennzahl?
4. Abdeckung und Aktualität: welcher Anteil, welcher Stand, welche Lücken?
5. Vergleichbarkeit: bleibt die Zeitreihe nach Methodenwechseln lesbar?

A5. Typische Fehlerquellen in Ressourcenbilanzen

• Leckage: Reduktion innen, Verlagerung nach außen; erkennbar nur im Doppelrahmen.
• Basisjahrarbitrage: Wahl eines emissions- oder entnahmestarken Startjahrs.
• Zusätzlichkeitslücke: Gutgeschrieben wird, was ohnehin geschehen wäre.
• Dauerhaftigkeitslücke: Senken werden als permanent verbucht, obwohl Brand, Käfer, Dürre oder Nutzungsänderung sie in Jahren freisetzen können.
• Doppelzählung: dieselbe Einheit in zwei Registern.
• Aggregationsfehler: nicht substituierbare Größen werden zu einem Index verrechnet, der Verluste in einem Bereich durch Gewinne in einem anderen verschwinden lässt.
• Überlebensverzerrung in Fallstudien: berichtet wird über gelungene Projekte.
• Modellautorität: Ergebnis hängt an Werteschaltern, wird aber als naturwissenschaftlicher Befund präsentiert.

A6. Prüf- und Kontrollarchitektur

• Erste Ebene: Selbstbericht mit offener Rohdatenpflicht.
• Zweite Ebene: unabhängige Stichprobenverifikation, risikobasiert gezogen, Ergebnis öffentlich.
• Dritte Ebene: Gegenprüfung durch Betroffene und Dritte (Zugang zu Daten und Rechtsweg; Aarhus/Escazú-Logik).
• Vierte Ebene: automatische Rechtsfolge bei Schwellenüberschreitung.
• Querschnitt: Rückschrittserkennung — Absenkungen von Zielwert, Nachweistiefe oder Prüfquote werden protokolliert und öffentlich ausgewiesen.

A7. Mindestberichtssatz (Vorschlag)

Für jede Ebene und Periode: physische Bilanz je Konto mit Bandbreite · produktions- und konsumbasierte Kennzahl · ρ/δ-Matrix mit Änderungen · Deckelauslastung · Fristenstatus aus dem Register · Liste der Zielverfehlungen mit Rechtsfolge und tatsächlich erfolgter Durchsetzung · Liste der Absenkungen · Datenlückenverzeichnis. Kürzer geht, aber dann ist Wirksamkeit nicht prüfbar.

---

PART B — ENGLISH

B1. Principle

A regime is effective if the state of the resource would be worse without it. Adopted targets, established secretariats and rising report counts evidence activity, not effect.

B2. Four audit levels

Outcome (did the state change?) · impact (did it change because of the instrument?) · distribution (who gained, who bore the load?) · attribution (who is responsible if nothing happened?). Typical failures: reading a trend as an effect; missing counterfactual; aggregates hiding displacement; targets without addressee.

B3. Counterfactuals, in descending strength

Randomised assignment · difference-in-differences · synthetic control · regression discontinuity at thresholds · process-based modelling with stated uncertainty · before/after without a control — an indication only, never proof. Every effect claim in the work names the level used.

B4. Indicator audit

Target coverage (indicator or surrogate?) · manipulability (base-year choice, definition change, threshold jump, boundary shift) · independence of collection · coverage and currency · comparability across methodological breaks.

B5. Common errors in resource accounts

Leakage · base-year arbitrage · additionality gap · permanence gap (sinks booked as permanent though fire, drought, pests or land-use change can release them) · double counting · aggregation of non-substitutable quantities into a single index · survivorship bias in case studies · model authority (results driven by value switches but presented as physical findings).

B6. Audit architecture

Self-reporting with open raw data · independent risk-based sample verification, published · counter-verification by affected parties and third parties with data access and legal remedy · automatic legal consequence at thresholds · and a cross-cutting backsliding detector logging any reduction in target level, evidentiary depth or inspection rate.

B7. Minimum reporting set

Physical balance per account with ranges · production- and consumption-based figures · ρ/δ matrix with changes · cap utilisation · deadline status · list of missed targets with legal consequence and enforcement actually carried out · list of reductions in stringency · register of data gaps.