experiment(people): measure multi-medoid per-person representation in CV #1080
Loading…
Reference in a new issue
No description provided.
Delete branch "experiment/cv-multi-medoid"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Fragestellung
ADR 0101 entschied sich (bewusst, Einfachheit) gegen mehrere Repräsentanten pro Person: eine Person = ein Mittelwert-Centroid. Neue Live-Daten zeigen seither Single-Centroid-Zerfall:
Bevor der Owner die ADR-Entscheidung revidiert, will er Zahlen: Bringt Multi-Medoid pro Person (Sub-Zerlegung der Train-Faces in Cluster, Repräsentant pro Cluster) messbar weniger falsche Vorschläge bei akzeptablem top-1 — und um welchen Preis (Band-Kalibrierung, Repräsentanten-Explosion)?
KEIN Produktionscode, KEIN App-Change — reines Experiment auf dem bestehenden CV-Harness (
workers/people/experiments/assignment_cv/), read-only zur Live-DB. Keine Migration, kein ADR (folgt erst, wenn der Owner auf Basis dieser Zahlen entscheidet).Design
Erweiterung des CV-Harness um die Regeln
medoidundmedoid-pessneben unverändertemraw/pess:--medoid-threshold, Default 0.50) in Gruppen zerlegen. Repräsentant pro Gruppe: Medoid (Face mit kleinster Distanzsumme zur Gruppe — die Owner-Idee) oder Mittelwert-Centroid (--medoid-representative centroid, Kontrollvariante).medoidrankt auf der Raw-Min-Distanz;medoid-pessaddiert die ADR-0106-Margin pro Repräsentant mitn_target = Größe der gematchten Gruppe— bewusst konservativer als die Personengesamtgröße der Baseline (die Margin muss die Unsicherheit des tatsächlich gematchten Modus abbilden; Gruppe < Person ⇒ größere Margin). Band-Check immer auf der Raw-Distanz des Gewinners (Produktions-Semantik gespiegelt).run_cv-Verhalten und Output byte-identisch (Regression gegen eine Referenz-Fixture, die auf unverändertem origin/main generiert wurde; zusätzlich Regressionstest: threshold→∞ + centroid-Modus reproduziert raw/pess exakt).38a79de6…, k=5, seed=42, Gruppe 2796 Faces / 36 Personen, Space arcface-r50/w600k-v1/512d, Band 0.50 (livesuggest_max_distance). Baseline-Zahlen exakt reproduziert (raw top-1 2401, WRONG-SUGG 253 / pess 243).Live-Ergebnisse (read-only)
Kernvergleich m=1 (Band 0.50, evaluated 2790)
→ −64% falsche Vorschläge bei +10.4 pp top-1 und +681 mehr korrekten Vorschlägen (Vorschläge total +519: 2619−1938 = +681 korrekt, −162 falsch) — der Medoid gewinnt auf allen drei Achsen gleichzeitig, kein Precision/Recall-Trade-off im gewohnten Sinne.
Größere Gruppen (m=2/3/5): medoid bleibt gleichauf oder besser (m=2: WS 5/94 vs 5/94 raw; m=3: 4/66 vs 1/66; m=5: 2/47 vs 0/47 — raw/pess bleiben bei großen Gruppen minimal vorn, beide bereits nahe Null).
Threshold-Sweep (medoid, Band 0.50, m=1)
Zwei Befunde:
Christian-Verwechslungen (m=1, alle falschen top-1 / davon im Band)
Die Hub-Verwechslungen gegen die kleinen Karten kollabieren: Christian → Nathalie/Jesper sinken von 51/40 auf unter 3 (aus den Top-10 raus). Neue Struktur der Fehler: Christian wird selbst zum Hub (12 als falscher top-1-Typ bei medoid, 19 bei medoid-pess, bei raw: 0/N/A), restliche WS sind über mehr Paare verteilt (max 8 statt 51).
Repräsentanten-Anzahl pro Person (threshold 0.50, Median über Folds)
Verteilung: 12 Personen mit 1 Repräsentant, 24/36 mit >1; Länge steigt grob sublinear mit Personengröße. Nathalie (9 Faces) bleibt mit 3 Repräsentanten klein — die kleinen Karten ändern sich kaum, nur die Riesen bekommen Struktur. Operative Kosten: ~300 Repräsentanten-Vektoren gesamt (bei 0.40: ~700) statt 36 Centroids — für den Worker-Trivial-last, aber ein Designparameter, den eine ADR-Revision festlegen müsste.
Band-Shift-Diskussion (ehrlich geprüft)
MIN-über-Repräsentanten verkleinert Distanzen systematisch (Distanzverteilung m=1, korrekter top-1: p50 0.409 raw → 0.325 medoid). Ein fester Band 0.50 bedeutet also für medoid ein weiteres Band im Distanzraum. Die Frage: verschiebt das die Kalibrierung (Vorschlagsquote vs Fehlerquote)?
Bei gleicher Vorschlagsquote wie [email protected] (Band ~0.40–0.45 statt 0.50): medoid bleibt bei 1.6–2.9% WRONG-SUGG-Quote gegenüber 9.1% raw — der Fehleranteil ist 3.1–5.7× niedriger (2.9% bei Band 0.45 = 3.1×; 1.6% bei Band 0.40 = 5.7×). Andersrum: [email protected] liefert 24% mehr Vorschläge als [email protected] bei einem Drittel der Fehlerrate. Die Band-Verschiebung existiert (Band müsste für gleiche Abdeckung von 0.50 auf ~0.40–0.45 sinken), kehrt den Vorteil aber nicht um — die Trennung richtig/falsch verbessert sich substanziell, nicht nur die Skalierung der Distanzen.
Randnotiz: Ranking/top-1 ist bandunabhängig (Top-1 2692 bei allen Bändern) — das Band steuert nur Vorschläge, nie die Zuordnung.
Testbefund
PYTHONPATH=workers/people/src python3 -m pytest workers/people/tests -q→ 297 passed (282 bestehende + 15 neue):n_target=Gruppengröße: konstruierte Geometrie (p1 mit Modus A 2 Faces / Modus B 20 Faces), in der medoid-pess wegen der kleineren Margin von B den Repräsentanten innerhalb der Person wechselt — der Recorded Raw-Distanz ist der des pessimistisch gewählten Repräsentanten (ADR-0106-Spiegel).source_centroids,n_source, True-Indizes bitgleich).run_experimentohne neue Flags reproduziert die auf origin/main generierte Referenz-Fixture exakt (Rates bis 1e-9, Counts exakt).Keine DB in Tests; Fixture ist synthetisch (2D-Kreisgeometrie).
Grenzen (unverändert vom Harness, ehrlich)