From f525fb486216f3dc130e32e02c70cf65dfc1e76e Mon Sep 17 00:00:00 2001 From: Florian Egger Date: Tue, 15 Sep 2026 16:42:49 +0200 Subject: [PATCH] docs: record rechtsprechung eval baseline --- .agents/MEMORY.md | 6 +++++- agent/README.md | 14 ++++++++------ planung.md | 5 ++++- 3 files changed, 17 insertions(+), 8 deletions(-) diff --git a/.agents/MEMORY.md b/.agents/MEMORY.md index 9a38f5c..3d5a283 100644 --- a/.agents/MEMORY.md +++ b/.agents/MEMORY.md @@ -110,7 +110,11 @@ Lizenzfreigabe der quellentreuen Rechtsprechungs-Volltexte und danach M4 neuen Fälle gefunden. Gezielte Antwortläufe q-120–123: alle zitiergültig, nicht verweigert, keine Regenerierung; Systemprompt verlangt für als nicht amtlich markierte Quellen die gleiche Einschränkung in der Antwort - (q-123 verifiziert). Offline-Tests: 65 grün. **Nicht als generelle + (q-123 verifiziert). Voller Antwortmodus-Eval (50 Fragen): **100 % + Zitier-Präzision**, **100 % Verweigerung korrekt**, erwartete Quelle + 93,3 %, mean 39,4 s / p95 82,2 s, 5 Regenerierungen; Report + `data/eval-qwen38-rj.json` (lokal/unversioniert). Offline-Tests: 65 + grün. **Nicht als generelle Commit-Freigabe lesen:** Die gelieferten OGH/VwGH/VfGH-Dateien nennen überwiegend RIS-OGD, der User sprach jedoch von Lexis/opendataloader; die Publikations-/Lizenzfreigabe der quellentreuen Volltexte ist vor diff --git a/agent/README.md b/agent/README.md index 79b60f9..d609f91 100644 --- a/agent/README.md +++ b/agent/README.md @@ -186,12 +186,14 @@ Normauszüge und 5 als nichtamtlich markierte EuGH-Textwiedergaben im neuen `rj-rjs-*`-ID-Raum. Der Reindex erzeugte **16.480 Chunks** (1.496 neue `bge-m3`-Embeddings, 75 s). Retrieval mit dem erweiterten 50-Fragen-Goldset: Hit-Rate **0,956** · Recall@8 **0,922** · MRR 0,661; das Recall-Gate >0,9 -bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Vier -gezielte Antwortläufe (q-120–123) sind zitiergültig, ohne Verweigerung und -ohne Regenerierung; der volle Antwortmodus-Eval für den erweiterten Korpus -steht noch aus. EuGH-Texte sind im Kontext und in der Quelle explizit als -nichtamtliche lexetius-Wiedergabe gekennzeichnet; der Systemprompt verlangt -nun dieselbe Einschränkung auch in der Antwort. +bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Der +vollständige Antwortmodus-Eval (50 Fragen) erreicht **100 % Zitier-Präzision** +und **100 % korrekte Verweigerungen**, bei 93,3 % erwarteter Quelle, mean +39,4 s / p95 82,2 s und fünf Regenerierungen. Report: +`data/eval-qwen38-rj.json` (lokal, unversioniert). EuGH-Texte sind im Kontext +und in der Quelle explizit als nichtamtliche lexetius-Wiedergabe +gekennzeichnet; der Systemprompt verlangt nun dieselbe Einschränkung auch in +der Antwort. ## Dateien diff --git a/planung.md b/planung.md index a95c6b8..5eaa9a7 100644 --- a/planung.md +++ b/planung.md @@ -335,7 +335,10 @@ tests/ # pytest: Ingest-, Retrieval-, Grounding-Unit-Tests gefunden. Die gezielten Antwortläufe q-120–123 sind alle zitiergültig, nicht verweigert und ohne Regenerierung; EuGH q-123 weist nach einer Prompt-Regel explizit auf die nichtamtliche Wiedergabe hin. Voller - Antwortmodus-Eval steht aus. Vor einem Commit der + Antwortmodus-Eval (50 Fragen): **100 % Zitier-Präzision**, **100 % + Verweigerung korrekt**, erwartete Quelle 93,3 %, Latenz mean 39,4 s / + p95 82,2 s, fünf Regenerierungen; Report `data/eval-qwen38-rj.json` + (lokal, unversioniert). Vor einem Commit der quellentreuen Volltexte ist die Publikations-/Lizenzfreigabe bewusst zu bestätigen; sie folgt nicht automatisch aus der Regel zu amtlichen Gesetzestexten.