{"syx":"1.0","werk":"iteratio-simulata","kennung":"FORSCH-PROV0459","titel":["Iteratio Simulata – Performative Iteration in Sprachmodell-Ausgaben","Iteratio Simulata – Performative iteration in language model outputs"],"stand":"2026-10-14","bearbeitung":"Thomas Schüller","stufe":"1","glieder":[{"id":"F1","art":"F","stufe":"","de":"Wie lässt sich die Lücke zwischen der Form und der Substanz einer Multi-Agent-Debatte in einem Single-Agent-Output systematisch erkennen, und welche minimalen Vorab-Registrierungen verringern sie vor der Generierung?","en":"How can the gap between the form and the substance of a multi-agent debate in a single-agent output be identified systematically, and which minimal pre-registration mechanisms reduce it before generation?","attr":{}},{"id":"F2","art":"F","stufe":"","de":"Gibt es im Forschungsumfeld einen Prüfkanal für den einzelnen, nicht instrumentierten Modelllauf, von dem nur der Text bleibt?","en":"Does the research field offer a test channel for the single, non-instrumented model run of which only the text remains?","attr":{}},{"id":"G1","art":"G","stufe":"","de":"Single-Agent-Outputs großer Sprachmodelle, die verteilte Prüfrollen rhetorisch imitieren","en":"Single-agent outputs of large language models that rhetorically imitate distributed review roles","attr":{"ebene":"Textoberfläche einzelner Ausgaben, ohne Modellzugang"}},{"id":"G2","art":"G","stufe":"","de":"Anlassfall: Brainstorm eines Sprachmodells zu zellfreier Biokatalyse über sieben Nutzerturns, eingeleitet durch einen Masterprompt mit mindestens 15 geforderten Iterationen","en":"Triggering case: a language model brainstorm on cell-free biocatalysis over seven user turns, opened by a master prompt demanding at least 15 iterations","attr":{"ebene":"Einzelfall","zeit":"Mai 2026"}},{"id":"G3","art":"G","stufe":"","de":"Forschungsumfeld des Verfahrensnachweises in LLM-gestützter Wissensarbeit (Feldkarte, vier Erhebungsstränge)","en":"Research field of procedure evidence in LLM-assisted knowledge work (field map, four survey strands)","attr":{"ebene":"Fachliteratur und Systemarchitekturen","zeit":"bis Oktober 2026"}},{"id":"B1","art":"B","stufe":"","de":"Iteratio Simulata := strukturelle Lücke zwischen behaupteter und textuell nachweisbarer Prozessstruktur in einem Single-Agent-Output, der eine Multi-Agent-Debatte imitiert","en":"Iteratio Simulata := structural gap between claimed and textually demonstrable process structure in a single-agent output imitating a multi-agent debate","attr":{"fach":"llm-evaluation","bruecke":"wissenschaftsphilosophie=Cargo-Cult-Science (Form ohne Substanz)"}},{"id":"B2","art":"B","stufe":"","de":"Tatsächliche Iteration := nachvollziehbare, nicht-triviale Transformation zwischen zwei Zuständen: Elimination mit Grund, Modifikation mit Angabe, Hinzufügen mit Quelle oder Anwendung eines vorher festgelegten Kriteriums","en":"Actual iteration := traceable, non-trivial transformation between two states: elimination with reason, modification with statement, addition with source or application of a criterion fixed beforehand","attr":{"fach":"methodologie"}},{"id":"B3","art":"B","stufe":"","de":"Unfaithful chain-of-thought := Begründungsspur, die den tatsächlichen Entscheidungsprozess nicht abbildet; Aussage über Modellinterna","en":"Unfaithful chain-of-thought := reasoning trace that does not reflect the actual decision process; a statement about model internals","attr":{"fach":"ml-interpretierbarkeit"}},{"id":"B4","art":"B","stufe":"","de":"Potemkin understanding := Kluft zwischen Erklären und Anwenden eines Konzepts bei hoher Benchmark-Leistung","en":"Potemkin understanding := gap between explaining and applying a concept despite high benchmark performance","attr":{"fach":"llm-evaluation"}},{"id":"B5","art":"B","stufe":"","de":"Eliminationsbehauptung ohne Eliminationsspur (M1) := der Output behauptet verworfene Kandidaten, nennt aber weder sie noch Verwerfungsgründe","en":"Elimination claim without elimination trace (M1) := the output claims rejected candidates but names neither them nor reasons for rejection","attr":{"fach":"llm-evaluation"}},{"id":"B6","art":"B","stufe":"","de":"Kriterien nach der Bewertung (M2) := Bewertungskriterien erscheinen erst, nachdem die Selektion gefallen ist","en":"Criteria after evaluation (M2) := evaluation criteria appear only after the selection has been made","attr":{"fach":"llm-evaluation","bruecke":"wissenschaftsmethodik=HARKing (Hypothesizing After the Results are Known)"}},{"id":"B7","art":"B","stufe":"","de":"Konkretisierungs-Asymmetrie (M5) := Zahlen, Preise und Zeitlinien werden über die Iterationen konkreter, während die Belegtiefe konstant niedrig bleibt","en":"Concretisation asymmetry (M5) := figures, prices and timelines become more concrete over the iterations while evidential depth stays constantly low","attr":{"fach":"llm-evaluation"}},{"id":"B8","art":"B","stufe":"","de":"Vorab-Registrierung := Kandidatenmenge und Kriterien werden vor der Selektion festgelegt und kryptographisch gehasht; spätere Änderungen werden markiert","en":"Pre-registration := candidate set and criteria are fixed and cryptographically hashed before selection; later changes are marked","attr":{"fach":"methodologie","bruecke":"metawissenschaft=Präregistrierung aus der Replikationskrise"}},{"id":"A1","art":"A","stufe":"","de":"Die Marker sind gewichtete Indikatoren auf einem Kontinuum zwischen vollständiger Iteration und vollständiger Performativität, keine binäre Entscheidung","en":"The markers are weighted indicators on a continuum between full iteration and full performativity, not a binary decision","attr":{}},{"id":"S1","art":"S","stufe":"G3","de":"Große Sprachmodelle korrigieren ihre Argumentation ohne externes Feedback nicht zuverlässig","en":"Large language models do not reliably correct their reasoning without external feedback","attr":{"belege":"Q1"}},{"id":"S2","art":"S","stufe":"G3","de":"Debatten zwischen Agenten können die Genauigkeit über die Zeit senken; Modelle wechseln häufig von korrekten zu inkorrekten Antworten, weil sie Zustimmung über Widerspruch stellen","en":"Debates between agents can lower accuracy over time; models often switch from correct to incorrect answers because they favour agreement over disagreement","attr":{"belege":"Q2"}},{"id":"S3","art":"S","stufe":"G3","de":"Im Anlassfall sind keine 15 Iterationen erkennbar: verworfene Kandidaten werden nicht benannt, die Kriterien erscheinen nach der Auswahl, und die Top-Konzepte sind seit zehn bis fünfzehn Jahren in der Literatur etabliert","en":"In the triggering case no 15 iterations are discernible: rejected candidates are not named, the criteria appear after the selection, and the top concepts have been established in the literature for ten to fifteen years","attr":{"belege":"Q6"}},{"id":"S4","art":"S","stufe":"G3","de":"Bei der Selbstanwendung waren von achtzehn Referenzangaben fünf fehlerhaft, zwei davon mit erfundener Autorenschaft; alle arXiv-Nummern waren korrekt, fehlerhaft waren nur die Metadaten","en":"In the self-application five of eighteen references were faulty, two of them with invented authorship; all arXiv numbers were correct, only the metadata were faulty","attr":{"belege":"Q7"}},{"id":"S5","art":"S","stufe":"G3","de":"Die erste Werkzeugfassung bewertete einen sorgfältig gearbeiteten Text auf M1 und M2 mit dem Maximalwert; die Fehlerrichtung war dem Zweck entgegengesetzt","en":"The first tool version scored a carefully written text with the maximum on M1 and M2; the direction of error ran counter to the purpose","attr":{"belege":"Q7"}},{"id":"S6","art":"S","stufe":"G2","de":"Nach Korrektur erhält der saubere Testtext 0,00 und der Anlassfall 0,80; an zwei Fällen gemessen, ist das kein belastbarer Kennwert, sondern zeigt nur, dass die Marker trennen","en":"After correction the clean test text scores 0.00 and the triggering case 0.80; measured on two cases this is not a robust metric but only shows that the markers separate","attr":{"belege":"Q7"}},{"id":"S7","art":"S","stufe":"G2","de":"Die Übereinstimmung der inneren Festlegung eines Modells mit der Darstellung in der Begründungsspur liegt bei 61,9 Prozent der Schritte über neun Modelle und sieben Benchmarks","en":"Agreement between a model's internal commitment and its presentation in the reasoning trace is 61.9 per cent of steps across nine models and seven benchmarks","attr":{"belege":"Q8"}},{"id":"S8","art":"S","stufe":"G3","de":"Iterative Selbstverbesserung kann unter bestimmten Bedingungen messbar funktionieren; nicht jede behauptete Iteration ist simuliert","en":"Iterative self-improvement can work measurably under certain conditions; not every claimed iteration is simulated","attr":{"belege":"Q9"}},{"id":"H1","art":"H","stufe":"G2","de":"M5 ist der praktisch wirksamste Marker; er trifft auch dort, wo methodische Sorgfalt in anderen Dimensionen vorhanden ist","en":"M5 is the most effective marker in practice; it applies even where methodological care is present in other dimensions","attr":{"belege":"S4","pruefung":"P1"}},{"id":"P1","art":"P","stufe":"","de":"Fällt, wenn M5 in einem Testkorpus mit unabhängiger menschlicher Vorklassifikation nicht häufiger trifft als die übrigen Marker","en":"Fails if M5 does not apply more often than the other markers in a test corpus with independent human pre-classification","attr":{}},{"id":"H2","art":"H","stufe":"G1","de":"Ein leichtgewichtiger Mechanismus (Hash der Eingangsbedingungen, Audit am Ende) genügt, um Performativität deutlich zu verringern","en":"A lightweight mechanism (hash of input conditions, audit at the end) suffices to reduce performativity markedly","attr":{"pruefung":"P2"}},{"id":"P2","art":"P","stufe":"","de":"Fällt, wenn Ausgaben mit Vorab-Registrierung keine deutlich niedrigeren Markerwerte zeigen als vergleichbare Ausgaben ohne","en":"Fails if outputs with pre-registration show no markedly lower marker scores than comparable outputs without","attr":{}},{"id":"H3","art":"H","stufe":"G1","de":"Für eine Vorab-Erklärung des Verfahrens bei KI-gestützter Textarbeit gibt es keinen wissenschaftlichen oder normativen Gebrauch","en":"There is no scientific or normative use of a prior declaration of procedure for AI-assisted text work","attr":{"pruefung":"P3"}},{"id":"P3","art":"P","stufe":"","de":"Fällt, wenn eine weitere Suche ein solches Instrument für das Manuskript selbst findet, nicht nur auf der Begutachtungsseite","en":"Fails if a further search finds such an instrument for the manuscript itself, not only on the reviewing side","attr":{}},{"id":"Q1","art":"Q","stufe":"T2","de":"Huang u. a.: Selbstkorrektur von Sprachmodellen ohne externes Feedback, ICLR 2024","en":"Huang et al.: self-correction of language models without external feedback, ICLR 2024","attr":{"nachweis":"Huang u. a. 2024"}},{"id":"Q2","art":"Q","stufe":"T3","de":"Wynn, Satija und Hadfield: Talk Isn't Always Cheap, Preprint","en":"Wynn, Satija and Hadfield: Talk Isn't Always Cheap, preprint","attr":{"nachweis":"Wynn, Satija & Hadfield 2025","ort":"https://doi.org/10.48550/arXiv.2509.05396"}},{"id":"Q3","art":"Q","stufe":"T2","de":"Afzal u. a.: Beyond “Not Novel Enough”, EACL 2026; Methodenbasis für M3","en":"Afzal et al.: Beyond “Not Novel Enough”, EACL 2026; method basis for M3","attr":{"nachweis":"Afzal u. a. 2026"}},{"id":"Q4","art":"Q","stufe":"T2","de":"Turpin u. a.: unfaithful chain-of-thought, NeurIPS 2023","en":"Turpin et al.: unfaithful chain-of-thought, NeurIPS 2023","attr":{"nachweis":"Turpin u. a. 2023"}},{"id":"Q5","art":"Q","stufe":"T2","de":"Mancoridis u. a.: potemkin understanding, ICML 2025","en":"Mancoridis et al.: potemkin understanding, ICML 2025","attr":{"nachweis":"Mancoridis u. a. 2025"}},{"id":"Q6","art":"Q","stufe":"T5","de":"Archivierter Wortlaut des Anlassfalls","en":"Archived full text of the triggering case","attr":{"nachweis":"Anhang A der Working Note"}},{"id":"Q7","art":"Q","stufe":"T5","de":"Selbstanwendung, Referenzprüfung und Gegentests des Werkzeugs","en":"Self-application, reference check and counter-tests of the tool","attr":{"nachweis":"Abschnitt 9 der Working Note"}},{"id":"Q8","art":"Q","stufe":"T3","de":"Li u. a.: When Reasoning Traces Become Performative, Preprint","en":"Li et al.: When Reasoning Traces Become Performative, preprint","attr":{"nachweis":"Li u. a. 2026","ort":"https://arxiv.org/abs/2605.11746"}},{"id":"Q9","art":"Q","stufe":"T2","de":"Madaan u. a.: Self-Refine, NeurIPS 2023","en":"Madaan et al.: Self-Refine, NeurIPS 2023","attr":{"nachweis":"Madaan u. a. 2023"}},{"id":"M1","art":"M","stufe":"","de":"Werkzeugbasierte sozio-technische Forschung: Begriffsklärung, Fallanalyse, Operationalisierung, Werkzeugentwicklung, Rückkopplung; Abgrenzung gegen vier Nachbardiskurse","en":"Tool-based socio-technical research: conceptual clarification, case analysis, operationalisation, tool development, feedback; demarcation from four neighbouring discourses","attr":{}},{"id":"M2","art":"M","stufe":"","de":"Selbstanwendung der Marker auf die eigene Note; Referenzen an der Primärseite geprüft; Marker an Negativfällen validiert, bevor Positivfälle zählen","en":"Self-application of the markers to the note itself; references checked at the primary page; markers validated on negative cases before positive cases count","attr":{}},{"id":"L1","art":"L","stufe":"","de":"Begriffsbildende Working Note an einem Einzelfall, keine quantitativ-empirische Studie; der Generalisierungsanspruch ist eingegrenzt","en":"Concept-forming working note on a single case, not a quantitative-empirical study; the claim to generalisation is limited","attr":{}},{"id":"L2","art":"L","stufe":"","de":"Die Abgrenzung zu legitimen rhetorischen Strategien wie Vereinfachung im Lehrtext ist nicht trivial; Nicht-Verbalisierung eines genutzten Hinweises belegt für sich keine Untreue der Spur","en":"Demarcation from legitimate rhetorical strategies such as simplification in teaching texts is not trivial; non-verbalisation of a used hint does not by itself prove unfaithfulness of the trace","attr":{}},{"id":"L3","art":"L","stufe":"","de":"Die Vorab-Registrierung ist kein vollständiger Schutz; Literatursondierung und Feldkarte sind keine systematische Übersichtsarbeit","en":"Pre-registration is not complete protection; the literature probe and field map are not a systematic review","attr":{}},{"id":"O1","art":"O","stufe":"","de":"Mindestens drei weitere Fallstudien und ein Testkorpus aus mindestens zwanzig Texten, je zur Hälfte performativ und sorgfältig, aus verschiedenen Modellen und Domänen","en":"At least three further case studies and a test corpus of at least twenty texts, half performative and half careful, from different models and domains","attr":{}},{"id":"O2","art":"O","stufe":"","de":"Ob das Phänomen modellabhängig oder modellübergreifend auftritt; Vergleichsfälle aus weiteren Modellen sind nötig","en":"Whether the phenomenon is model-dependent or occurs across models; comparison cases from further models are needed","attr":{}},{"id":"O3","art":"O","stufe":"","de":"Die Markerliste M1–M5 ist nicht abgeschlossen, etwa für dialogische Eskalation vom Brainstorm zum Geschäftsplan ohne Validierungsbruch","en":"The marker list M1–M5 is not closed, for instance for dialogic escalation from brainstorm to business plan without a validation break","attr":{}}],"verknuepfungen":[{"von":"S1","art":"stuetzt","nach":"B1"},{"von":"S7","art":"stuetzt","nach":"B1"},{"von":"S4","art":"stuetzt","nach":"H1"},{"von":"S8","art":"praezisiert","nach":"B1"},{"von":"B8","art":"uebertraegt","nach":"G1","grenze":"L3"},{"von":"B5","art":"verweist","nach":"werkzeug:iterationspruefer"},{"von":"M1","art":"verweist","nach":"werkzeug:prism"}],"pruefung":{"fehler":[],"hinweise":[],"gueltig":true},"zahlen":{"F":2,"G":3,"B":8,"A":1,"H":3,"S":8,"Q":9,"M":2,"X":0,"P":3,"L":3,"O":3}}