experiment(people): k-fold cross-validation of person assignment #1078
Loading…
Reference in a new issue
No description provided.
Delete branch "experiment/assignment-cross-validation"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Zweck
Read-only Experiment (KEIN App-Code): misst an der Live-Face-Library, wie oft ein gehaltenes Gesicht / eine gehaltene Gruppe der richtigen benannten Person zugeordnet würde — unter exakter Produktions-Semantik. Ziel: Tuning-Grundlage für σ / Z / Band („wo können wir tweaken").
Semantik-Spiegel (Produktions-Parität, verifiziert gegen origin/main)
_unit_centroid(re-normalisierter Mittelwert)1 - dotauf Unit-Vektoren, float64d_pess = d + Z·σ·√(1/n_source + 1/n_target), σ=0.14, Z=1.645_target_distance_margindiscovery_domainspeopleCV-Protokoll: stratifizierte Folds (je Person round-robin, ±1), Centroids je Fold nur aus Faces außerhalb des Folds (leak-frei); Gruppenmodi m∈{1,2,3,5} = m seeded zufällige Faces derselben Person als movable centroid (n_source=m); wahre Person ohne Train-Centroid →
target-unavailable(separat, aus Denominatoren).Kategorien je Gruppe & Regel:
correct-suggest(richig on top, d≤Band),WRONG-SUGGEST(falsch on top, d≤Band — die UI würde sie zeigen),missed(richtig on top, d>Band),no-suggest(falsch on top, d>Band),target-unavailable.Erster Live-Lauf (k=5, seed=42, Owner 38a79de6…, read-only)
Daten: 2796 Faces / 36 benannte Personen, Space arcface-r50/w600k-v1/512 (dominant, 0 Faces verworfen), quality_score für alle Faces vorhanden.
m=1 (Einzelface), evaluated 2790, target-unavailable 6 (die sechs 1-Face-Personen: Franzi, Opa, Hecky, Kerstin, Sylvie, Kerstin D — strukturell ohne Centroid im leak-freien CV)
Nach Personen-Größe (top-1 | WRONG-SUGG, raw): 2–5 Faces: 23/2 von 25 (92% | 8%) · 6–20: 83/16 von 105 (79% | 15.2%) · 21–100: 146/18 von 168 (86.9% | 10.7%) · >100: 2149/217 von 2492 (86.2% | 8.7%).
Nach Quality (WRONG-SUGG): Q1 (schlechteste Quintile): 18.2% (top-1 nur 72.1%) vs Q2–Q5: 4.8–9.5% — Quality ist der stärkste Einzelfaktor.
Gruppen: m=2 → top-1 94.7%, WRONG-SUGG 5.3% (5/94); m=3 → 98.5%, 1.5% (1/66); m=5 → 100%, 0/47. Mehr Evidenz pro Karte drückt den Fehler fast auf null.
Top-Verwechslungen (m=1, alle falschen top-1; „im Band" = vorschlagsfähig)
Hub-Score (als falscher top-1, pess): Nathalie 73 · Jesper 61 · Petra 39 · Laura 37 · Jutta 34 · Yannic 34. Christian (1142 Faces) ist fast ausschließlich die OPUFER-Seite (breiter Centroid frisst Fremdgesichter nicht, verliert aber eigene an kleine Hubs); die Täter sind kleine Karten (Nathalie 9, Laura 4, Maria 2, Jutta 12 Faces) — exakt das Winner's-Curse-Bild, gegen das d_pess gebaut wurde.
Distanzverteilung (raw d top-1, m=1, pess)
richtiger top-1: p25=0.332, p50=0.409, p75=0.476 · falscher top-1: p25=0.425, p50=0.477, p75=0.514 — die Verteilungen überlappen stark; das Band allein kann Fehler nicht trennen (darum geht es beim Ranking).
Sweep-Highlights (m=1, evaluated 2790, gleiche Folds)
Bedienung
Struktur/README-Stil folgt
experiments/linkage_comparison/(EXPERIMENT-Code, ehrliche Grenzen: Near-Duplicate-Leakage zwischen Folds → absolute Werte optimistisch, Sweep-Vergleiche gültig; kein Clustering-Szenario; nur benannte Personen konsistent mit PR #1077). Cache-Dateien (Embeddings!) nicht committen.Checks
workers/people/experiments/assignment_cv/+tests/test_assignment_cv.py— kein Produktionscode, keine Migration--db-cmd-Override)