experiment(people): k-fold cross-validation of person assignment #1078

Merged
chris merged 1 commit from experiment/assignment-cross-validation into main 2026-10-09 06:16:02 +02:00
Owner

Zweck

Read-only Experiment (KEIN App-Code): misst an der Live-Face-Library, wie oft ein gehaltenes Gesicht / eine gehaltene Gruppe der richtigen benannten Person zugeordnet würde — unter exakter Produktions-Semantik. Ziel: Tuning-Grundlage für σ / Z / Band („wo können wir tweaken").

Semantik-Spiegel (Produktions-Parität, verifiziert gegen origin/main)

Baustein Produktion Experiment
Centroid _unit_centroid (re-normalisierter Mittelwert) zeilenidentisch gespiegelt, Paritätstest gegen Original
Distanz 1 - dot auf Unit-Vektoren, float64 identisch
Ziel-Wahl (ADR 0106) min d_pess = d + Z·σ·√(1/n_source + 1/n_target), σ=0.14, Z=1.645 identisch, Margin-Paritätstest gegen _target_distance_margin
Gate/Payload RAW-Distanz des Winners Band-Klassifikation immer gegen RAW des Winners
Settings discovery_domains people aus DB gelesen: clustering=semisupervised-v2, clustering_max=0.450, suggest_max=0.500, min_distance=0.300

CV-Protokoll: stratifizierte Folds (je Person round-robin, ±1), Centroids je Fold nur aus Faces außerhalb des Folds (leak-frei); Gruppenmodi m∈{1,2,3,5} = m seeded zufällige Faces derselben Person als movable centroid (n_source=m); wahre Person ohne Train-Centroid → target-unavailable (separat, aus Denominatoren).

Kategorien je Gruppe & Regel: correct-suggest (richig on top, d≤Band), WRONG-SUGGEST (falsch on top, d≤Band — die UI würde sie zeigen), missed (richtig on top, d>Band), no-suggest (falsch on top, d>Band), target-unavailable.

Erster Live-Lauf (k=5, seed=42, Owner 38a79de6…, read-only)

Daten: 2796 Faces / 36 benannte Personen, Space arcface-r50/w600k-v1/512 (dominant, 0 Faces verworfen), quality_score für alle Faces vorhanden.

m=1 (Einzelface), evaluated 2790, target-unavailable 6 (die sechs 1-Face-Personen: Franzi, Opa, Hecky, Kerstin, Sylvie, Kerstin D — strukturell ohne Centroid im leak-freien CV)

Metrik raw pess
top-1 korrekt 2401 (86.1%) 2409 (86.3%)
top-3 korrekt 2516 (90.2%) 2539 (91.0%)
correct-suggest (Band 0.50) 1938 1940
WRONG-SUGGEST (Band 0.50) 253 (9.1%) 243 (8.7%)
davon Anteil aller Vorschläge 11.5% 11.1%
missed (richtig top, d>Band) 463 469

Nach Personen-Größe (top-1 | WRONG-SUGG, raw): 2–5 Faces: 23/2 von 25 (92% | 8%) · 6–20: 83/16 von 105 (79% | 15.2%) · 21–100: 146/18 von 168 (86.9% | 10.7%) · >100: 2149/217 von 2492 (86.2% | 8.7%).

Nach Quality (WRONG-SUGG): Q1 (schlechteste Quintile): 18.2% (top-1 nur 72.1%) vs Q2–Q5: 4.8–9.5% — Quality ist der stärkste Einzelfaktor.

Gruppen: m=2 → top-1 94.7%, WRONG-SUGG 5.3% (5/94); m=3 → 98.5%, 1.5% (1/66); m=5 → 100%, 0/47. Mehr Evidenz pro Karte drückt den Fehler fast auf null.

Top-Verwechslungen (m=1, alle falschen top-1; „im Band" = vorschlagsfähig)

wahr → als raw (Count/im Band) pess (Count/im Band)
Christian → Nathalie 51 / 37 46 / 38
Christian → Jesper 40 / 29 39 / 30
Rikke → Petra 26 / 14 26 / 14
Christian → Laura 24 / 16 28 / 17
Christian → Jutta 19 / 15 19 / 15

Hub-Score (als falscher top-1, pess): Nathalie 73 · Jesper 61 · Petra 39 · Laura 37 · Jutta 34 · Yannic 34. Christian (1142 Faces) ist fast ausschließlich die OPUFER-Seite (breiter Centroid frisst Fremdgesichter nicht, verliert aber eigene an kleine Hubs); die Täter sind kleine Karten (Nathalie 9, Laura 4, Maria 2, Jutta 12 Faces) — exakt das Winner's-Curse-Bild, gegen das d_pess gebaut wurde.

Distanzverteilung (raw d top-1, m=1, pess)

richtiger top-1: p25=0.332, p50=0.409, p75=0.476 · falscher top-1: p25=0.425, p50=0.477, p75=0.514 — die Verteilungen überlappen stark; das Band allein kann Fehler nicht trennen (darum geht es beim Ranking).

Sweep-Highlights (m=1, evaluated 2790, gleiche Folds)

Band WRONG-SUGG raw WRONG-SUGG pess (σ=0.14) correct-suggest Kommentar
0.40 63 (2.3%) 59 (2.1%) 1119 −46% Fehler vs 0.50, aber −42% Abdeckung
0.45 135 (4.8%) 132 (4.7%) 1606 −47% Fehler, −17% Abdeckung
0.50 (live) 253 (9.1%) 243 (8.7%) 1940 Status quo
0.55 338 (12.1%) 332 (11.9%) 2246 +32% Fehler, +16% Abdeckung
  • σ/Z haben erstaunlich wenig Hebel auf wrong-suggest (243→237 von Band 0.50 über den ganzen σ×Z-Grid; raw konstant 253): die Ranking-Fehler passieren, weil die wahre Person selbst weit weg ist (schlechtes Face / breiter Centroid), nicht weil ein kleiner Nachbar knapp gewinnt.
  • pess-Ranking verbessert top-1 (+8 Faces) und senkt wrong-suggest (−10) leicht UND kostenlos — Behalten und ggf. Z=2.0 statt 1.645 erwägen (243→243 bei 0.50, aber top-1 2409→2411).
  • Der große Hebel ist das Band bzw. Quality: Band 0.45 halbiert wrong-suggest fast (−47%) bei −17% Vorschlägen; alternativ Band 0.50 + Quality-Gate: Q1-Gesichter (18.2% Fehlerquote) unter das suggest-Band zu hängen (z. B. Q1 → nur Band 0.40) würde ~60–100 der 253 wrong-suggests treffen bei geringem Abdeckungsverlust — Q1 ist 556/2790 = 20% der Faces, aber 40% der wrong-suggests.
  • Gruppengröße bestätigt: m≥3 macht wrong-suggest praktisch unmöglich (1/66, 0/47) — Single-Face-Suggestions bleiben der Risikofall (dort greift bereits der Weak-Consensus-Gate).

Bedienung

cd workers/people
PYTHONPATH=src python3 -m pytest -q tests/test_assignment_cv.py                       # 19 Tests
PYTHONPATH=src python3 experiments/assignment_cv/run_cv.py                            # live, read-only
PYTHONPATH=src python3 experiments/assignment_cv/run_cv.py --dump /tmp/cv.jsonl       # Cache schreiben
PYTHONPATH=src python3 experiments/assignment_cv/run_cv.py --load /tmp/cv.jsonl \
    --sweep sigma=0.10,0.14,0.18 z=1.0,1.645,2.0 band=0.40,0.45,0.50,0.55 \
    --out report.json --markdown report.md
# Flags: --k --seed --group-sizes --sigma --z --band --owner --db-cmd --no-quality

Struktur/README-Stil folgt experiments/linkage_comparison/ (EXPERIMENT-Code, ehrliche Grenzen: Near-Duplicate-Leakage zwischen Folds → absolute Werte optimistisch, Sweep-Vergleiche gültig; kein Clustering-Szenario; nur benannte Personen konsistent mit PR #1077). Cache-Dateien (Embeddings!) nicht committen.

Checks

  • Nur Neu-Dateien unter workers/people/experiments/assignment_cv/ + tests/test_assignment_cv.py — kein Produktionscode, keine Migration
  • Read-only zur DB (nur SELECT via psql one-shot; --db-cmd-Override)
  • 19 neue Tests grün; komplette Worker-Suite 282 passed (keine neuen Dependencies)
  • Deterministisch (Seed 42 default): identischer Lauf → identisches report.json (Test)
  • KNOWN_ISSUES: kein Eintrag nötig (Experiment, kein Produktfehler)
## Zweck Read-only Experiment (KEIN App-Code): misst an der Live-Face-Library, wie oft ein gehaltenes Gesicht / eine gehaltene Gruppe der **richtigen benannten Person** zugeordnet würde — unter exakter Produktions-Semantik. Ziel: Tuning-Grundlage für σ / Z / Band („wo können wir tweaken"). ## Semantik-Spiegel (Produktions-Parität, verifiziert gegen origin/main) | Baustein | Produktion | Experiment | |---|---|---| | Centroid | `_unit_centroid` (re-normalisierter Mittelwert) | zeilenidentisch gespiegelt, Paritätstest gegen Original | | Distanz | `1 - dot` auf Unit-Vektoren, float64 | identisch | | Ziel-Wahl (ADR 0106) | min `d_pess = d + Z·σ·√(1/n_source + 1/n_target)`, σ=0.14, Z=1.645 | identisch, Margin-Paritätstest gegen `_target_distance_margin` | | Gate/Payload | **RAW**-Distanz des Winners | Band-Klassifikation immer gegen RAW des Winners | | Settings | `discovery_domains` people | aus DB gelesen: clustering=semisupervised-v2, clustering_max=0.450, suggest_max=0.500, min_distance=0.300 | CV-Protokoll: stratifizierte Folds (je Person round-robin, ±1), Centroids je Fold **nur** aus Faces außerhalb des Folds (leak-frei); Gruppenmodi m∈{1,2,3,5} = m seeded zufällige Faces derselben Person als movable centroid (n_source=m); wahre Person ohne Train-Centroid → `target-unavailable` (separat, aus Denominatoren). Kategorien je Gruppe & Regel: `correct-suggest` (richig on top, d≤Band), **`WRONG-SUGGEST` (falsch on top, d≤Band — die UI würde sie zeigen)**, `missed` (richtig on top, d>Band), `no-suggest` (falsch on top, d>Band), `target-unavailable`. ## Erster Live-Lauf (k=5, seed=42, Owner 38a79de6…, read-only) Daten: 2796 Faces / 36 benannte Personen, Space arcface-r50/w600k-v1/512 (dominant, 0 Faces verworfen), quality_score für alle Faces vorhanden. ### m=1 (Einzelface), evaluated 2790, target-unavailable 6 (die sechs 1-Face-Personen: Franzi, Opa, Hecky, Kerstin, Sylvie, Kerstin D — strukturell ohne Centroid im leak-freien CV) | Metrik | raw | pess | |---|---|---| | top-1 korrekt | 2401 (86.1%) | 2409 (86.3%) | | top-3 korrekt | 2516 (90.2%) | 2539 (91.0%) | | correct-suggest (Band 0.50) | 1938 | 1940 | | **WRONG-SUGGEST (Band 0.50)** | **253 (9.1%)** | **243 (8.7%)** | | davon Anteil aller Vorschläge | 11.5% | 11.1% | | missed (richtig top, d>Band) | 463 | 469 | Nach Personen-Größe (top-1 | WRONG-SUGG, raw): 2–5 Faces: 23/2 von 25 (92% | 8%) · 6–20: 83/16 von 105 (79% | 15.2%) · 21–100: 146/18 von 168 (86.9% | 10.7%) · >100: 2149/217 von 2492 (86.2% | 8.7%). Nach Quality (WRONG-SUGG): **Q1 (schlechteste Quintile): 18.2%** (top-1 nur 72.1%) vs Q2–Q5: 4.8–9.5% — Quality ist der stärkste Einzelfaktor. Gruppen: m=2 → top-1 94.7%, WRONG-SUGG 5.3% (5/94); m=3 → 98.5%, 1.5% (1/66); m=5 → 100%, 0/47. Mehr Evidenz pro Karte drückt den Fehler fast auf null. ### Top-Verwechslungen (m=1, alle falschen top-1; „im Band" = vorschlagsfähig) | wahr → als | raw (Count/im Band) | pess (Count/im Band) | |---|---|---| | Christian → Nathalie | 51 / 37 | 46 / 38 | | Christian → Jesper | 40 / 29 | 39 / 30 | | Rikke → Petra | 26 / 14 | 26 / 14 | | Christian → Laura | 24 / 16 | 28 / 17 | | Christian → Jutta | 19 / 15 | 19 / 15 | Hub-Score (als falscher top-1, pess): Nathalie 73 · Jesper 61 · Petra 39 · Laura 37 · Jutta 34 · Yannic 34. Christian (1142 Faces) ist fast ausschließlich die OPUFER-Seite (breiter Centroid frisst Fremdgesichter nicht, verliert aber eigene an kleine Hubs); die Täter sind kleine Karten (Nathalie 9, Laura 4, Maria 2, Jutta 12 Faces) — exakt das Winner's-Curse-Bild, gegen das d_pess gebaut wurde. ### Distanzverteilung (raw d top-1, m=1, pess) richtiger top-1: p25=0.332, p50=0.409, p75=0.476 · falscher top-1: p25=0.425, p50=0.477, p75=0.514 — die Verteilungen überlappen stark; **das Band allein kann Fehler nicht trennen** (darum geht es beim Ranking). ### Sweep-Highlights (m=1, evaluated 2790, gleiche Folds) | Band | WRONG-SUGG raw | WRONG-SUGG pess (σ=0.14) | correct-suggest | Kommentar | |---|---|---|---|---| | 0.40 | 63 (2.3%) | 59 (2.1%) | 1119 | −46% Fehler vs 0.50, aber −42% Abdeckung | | 0.45 | 135 (4.8%) | 132 (4.7%) | 1606 | −47% Fehler, −17% Abdeckung | | 0.50 (live) | 253 (9.1%) | 243 (8.7%) | 1940 | Status quo | | 0.55 | 338 (12.1%) | 332 (11.9%) | 2246 | +32% Fehler, +16% Abdeckung | * σ/Z haben **erstaunlich wenig Hebel** auf wrong-suggest (243→237 von Band 0.50 über den ganzen σ×Z-Grid; raw konstant 253): die Ranking-Fehler passieren, weil die wahre Person selbst weit weg ist (schlechtes Face / breiter Centroid), nicht weil ein kleiner Nachbar knapp gewinnt. * pess-Ranking verbessert top-1 (+8 Faces) und senkt wrong-suggest (−10) leicht UND kostenlos — Behalten und ggf. Z=2.0 statt 1.645 erwägen (243→243 bei 0.50, aber top-1 2409→2411). * **Der große Hebel ist das Band bzw. Quality:** Band 0.45 halbiert wrong-suggest fast (−47%) bei −17% Vorschlägen; alternativ Band 0.50 + Quality-Gate: Q1-Gesichter (18.2% Fehlerquote) unter das suggest-Band zu hängen (z. B. Q1 → nur Band 0.40) würde ~60–100 der 253 wrong-suggests treffen bei geringem Abdeckungsverlust — Q1 ist 556/2790 = 20% der Faces, aber 40% der wrong-suggests. * Gruppengröße bestätigt: m≥3 macht wrong-suggest praktisch unmöglich (1/66, 0/47) — Single-Face-Suggestions bleiben der Risikofall (dort greift bereits der Weak-Consensus-Gate). ## Bedienung ```bash cd workers/people PYTHONPATH=src python3 -m pytest -q tests/test_assignment_cv.py # 19 Tests PYTHONPATH=src python3 experiments/assignment_cv/run_cv.py # live, read-only PYTHONPATH=src python3 experiments/assignment_cv/run_cv.py --dump /tmp/cv.jsonl # Cache schreiben PYTHONPATH=src python3 experiments/assignment_cv/run_cv.py --load /tmp/cv.jsonl \ --sweep sigma=0.10,0.14,0.18 z=1.0,1.645,2.0 band=0.40,0.45,0.50,0.55 \ --out report.json --markdown report.md # Flags: --k --seed --group-sizes --sigma --z --band --owner --db-cmd --no-quality ``` Struktur/README-Stil folgt `experiments/linkage_comparison/` (EXPERIMENT-Code, ehrliche Grenzen: Near-Duplicate-Leakage zwischen Folds → absolute Werte optimistisch, Sweep-Vergleiche gültig; kein Clustering-Szenario; nur benannte Personen konsistent mit PR #1077). Cache-Dateien (Embeddings!) nicht committen. ## Checks - [x] Nur Neu-Dateien unter `workers/people/experiments/assignment_cv/` + `tests/test_assignment_cv.py` — kein Produktionscode, keine Migration - [x] Read-only zur DB (nur SELECT via psql one-shot; `--db-cmd`-Override) - [x] 19 neue Tests grün; komplette Worker-Suite 282 passed (keine neuen Dependencies) - [x] Deterministisch (Seed 42 default): identischer Lauf → identisches report.json (Test) - [x] KNOWN_ISSUES: kein Eintrag nötig (Experiment, kein Produktfehler)
experiment(people): k-fold cross-validation harness of person assignment
All checks were successful
Wiki Sync / Sync wiki from docs (push) Has been skipped
Build and Deploy / Detect changed services and test scopes (push) Successful in 2s
Build and Deploy / Run scoped PR tests (push) Has been skipped
Build and Deploy / Android unit tests and debug APK (push) Has been skipped
Build and Deploy / Smoke API and media worker (push) Has been skipped
Build and Deploy / Smoke web (push) Has been skipped
Build and Deploy / Smoke ML worker (push) Has been skipped
Build and Deploy / Smoke people worker (push) Has been skipped
Build and Deploy / Build postgres image (push) Has been skipped
Build and Deploy / Build plants worker image (push) Has been skipped
Build and Deploy / Build converter worker image (push) Has been skipped
Build and Deploy / Deploy postgres (push) Has been skipped
Build and Deploy / Build API image (push) Has been skipped
Build and Deploy / Build media worker image (push) Has been skipped
Build and Deploy / Build ML worker image (push) Has been skipped
Build and Deploy / Build people worker image (push) Has been skipped
Build and Deploy / Build web image (push) Has been skipped
Build and Deploy / Deploy API (push) Has been skipped
Build and Deploy / Deploy web (push) Has been skipped
Build and Deploy / Deploy media worker (push) Has been skipped
Build and Deploy / Deploy ML worker (push) Has been skipped
Build and Deploy / Deploy plants worker (push) Has been skipped
Build and Deploy / Deploy people worker (push) Has been skipped
Build and Deploy / Deploy converter worker (push) Has been skipped
Build and Deploy / Clean Docker build artifacts (push) Has been skipped
88ea0c62fc
Read-only offline experiment mirroring semisupervised-v2 assignment
semantics (unit centroids, 1-dot cosine, ADR 0106 pessimistic target
ranking with n_source/n_target margin, raw distance of the winner
gated by the band). Stratified k-fold CV over the live accepted-face
library measures top-1/top-3, the wrong-suggest pain metric, size and
quality buckets, confusion/hub tables and sweeps sigma/z/band on the
same folds. JSONL dump/load cache for DB-free reproducibility; no
production code touched; no new dependency.
chris merged commit b68beeb89d into main 2026-10-09 06:16:02 +02:00
Sign in to join this conversation.
No reviewers
No labels
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
chris/memories!1078
No description provided.