mirror of
http://100.103.83.12:3003/fegger/pv-agent.git
synced 2026-09-17 16:06:23 +00:00
docs: record final ollama evaluation
This commit is contained in:
@@ -242,6 +242,19 @@ Privacy-Grenze für Lohndaten).
|
||||
Indizes/Reports und `.env` bleiben unversioniert; keine Integration in die
|
||||
Produktionskonfiguration.
|
||||
|
||||
- **Finaler Ollama-54-Eval (2026-09-16):** Nach Rückkehr zum Ziel-Stack
|
||||
`qwen3.8:27b` + `bge-m3`, Report `data/eval-qwen38-final-54.json`
|
||||
(lokal/gitignored). Retrieval: Hit-Rate 0,9792, Recall@8 **0,9479**,
|
||||
MRR 0,6378. Antworten: Zitier-Präzision **100 %**, Verweigerung korrekt
|
||||
**100 %**, erwartete Quelle 95,83 %, mean **38,8 s**, p95 67,2 s,
|
||||
2 Regenerierungen. q-029 sowie q-124–127 bestanden; damit beide Haupt-Gates
|
||||
erstmals im finalen 54er-Set vollständig erfüllt. Zwei Quellentreue-
|
||||
Abweichungen ohne Grounding-Verstoß: q-127 zitiert alternative Reisekosten-
|
||||
Quellen (`lb-rei-01/03`, `wk-rei-01` plus KVs) statt erwarteter
|
||||
`lb-rei-09`; q-025 zitiert Betriebsübergangs-/Insolvenzquellen statt der
|
||||
bisherigen Expected-ID. Optional später Goldset-Expected-IDs fachlich
|
||||
rekalibrieren, aber kein Release-Blocker.
|
||||
|
||||
## Open issues / blockers
|
||||
|
||||
- **Push**: Remote localhost:3003 aus der Sandbox nicht erreichbar — User
|
||||
|
||||
Reference in New Issue
Block a user