Werkseite · Syntagma Forschung
DataTrust · Validierung der Bewertungslogik
Prüfung eines Filters für Trainingsdaten nach der Methodik von Mohammed et al. (2025) · Bericht v0.3 · 2026-07-08 · CC BY 4.0 · Kennung in Klärung Validation of a pre-training data filter following Mohammed et al. (2025) · report v0.3
Thomas Schüller · Syntagma Forschung, Wien · ORCID 0009-0003-9799-6747
Worum es geht · What this is
DataTrust bewertet Trainingsdaten vor dem Training eines Modells: Datensätze werden je Zielzweck behalten, gewichtet oder verworfen. Der Bericht prüft, ob das Gewicht in der Praxis hilft. Datensätze werden gezielt verunreinigt (fehlende Werte, falsche Etiketten, Schreibvarianten, Rauschen, Dubletten, Klassenungleichgewicht; 5 bis 50 %); ein festes Modell wird mit und ohne Filter trainiert und auf sauberen Testdaten gemessen (F1, MCC).
Training data are polluted in six controlled ways; a fixed model is trained with and without the filter and scored on clean test data.
Ergebnis in Kürze · Result in brief
| Verunreinigung · pollution | Ø F1-Gewinn · avg F1 lift | Einordnung · assessment |
|---|---|---|
| Schreibvarianten · inconsistent representation | +1,6 Prozentpunkte | bestätigt · confirmed |
| fehlende Werte · completeness | +1,4 Prozentpunkte | bestätigt · confirmed |
| Rauschen in Merkmalen · feature noise | +0,5 Prozentpunkte | bestätigt, gering · modest |
| Dubletten · duplicates | ±0 | erwartet klein · expected small |
| falsche Etiketten · label noise | ±0 | nicht gelöst, Ziel für v0.4 · not solved |
Einschränkungen: Der Datensatz ist eine synthetische Nachbildung des Adult-Census-Datensatzes (3000 Datensätze), eine Prüfung an einem zweiten, echten Datensatz steht aus. Der Bericht ist deutsch; die Tabellen sind ohne Sprachkenntnis lesbar.
Limitations: synthetic replica of the Adult census data; a second, real dataset is pending. Report in German.
Unterlagen · Documents
| Datei · File | Inhalt · Content |
|---|---|
| Validierungsbericht | Verfahren, Ergebnisse je Stufe, Grenzen, Plan für v0.4 |
| Ergebnisse (JSON) | alle 30 Messpunkte und Ausgangswerte · all data points |
| Benchmark-Skript (ZIP) | Python-Skript des Versuchs; braucht das DataTrust-Kernpaket, das nicht veröffentlicht ist · needs the unpublished core package |
Die Software selbst (Kern, Schnittstelle, Kommandozeile, Oberfläche) ist ein Werkzeug im gewerblichen Strang und hier nicht enthalten. Militärische, rüstungs- und waffentechnische Nutzung ist im Werkzeug fest gesperrt.
Verwandt: Werkseite