mirror of
http://100.103.83.12:3003/fegger/pv-agent.git
synced 2026-09-17 16:56:44 +00:00
docs: record final ollama evaluation
This commit is contained in:
@@ -242,6 +242,19 @@ Privacy-Grenze für Lohndaten).
|
|||||||
Indizes/Reports und `.env` bleiben unversioniert; keine Integration in die
|
Indizes/Reports und `.env` bleiben unversioniert; keine Integration in die
|
||||||
Produktionskonfiguration.
|
Produktionskonfiguration.
|
||||||
|
|
||||||
|
- **Finaler Ollama-54-Eval (2026-09-16):** Nach Rückkehr zum Ziel-Stack
|
||||||
|
`qwen3.8:27b` + `bge-m3`, Report `data/eval-qwen38-final-54.json`
|
||||||
|
(lokal/gitignored). Retrieval: Hit-Rate 0,9792, Recall@8 **0,9479**,
|
||||||
|
MRR 0,6378. Antworten: Zitier-Präzision **100 %**, Verweigerung korrekt
|
||||||
|
**100 %**, erwartete Quelle 95,83 %, mean **38,8 s**, p95 67,2 s,
|
||||||
|
2 Regenerierungen. q-029 sowie q-124–127 bestanden; damit beide Haupt-Gates
|
||||||
|
erstmals im finalen 54er-Set vollständig erfüllt. Zwei Quellentreue-
|
||||||
|
Abweichungen ohne Grounding-Verstoß: q-127 zitiert alternative Reisekosten-
|
||||||
|
Quellen (`lb-rei-01/03`, `wk-rei-01` plus KVs) statt erwarteter
|
||||||
|
`lb-rei-09`; q-025 zitiert Betriebsübergangs-/Insolvenzquellen statt der
|
||||||
|
bisherigen Expected-ID. Optional später Goldset-Expected-IDs fachlich
|
||||||
|
rekalibrieren, aber kein Release-Blocker.
|
||||||
|
|
||||||
## Open issues / blockers
|
## Open issues / blockers
|
||||||
|
|
||||||
- **Push**: Remote localhost:3003 aus der Sandbox nicht erreichbar — User
|
- **Push**: Remote localhost:3003 aus der Sandbox nicht erreichbar — User
|
||||||
|
|||||||
Reference in New Issue
Block a user