docs: record rechtsprechung eval baseline

This commit is contained in:
2026-09-15 16:42:49 +02:00
parent a11f2740f7
commit f525fb4862
3 changed files with 17 additions and 8 deletions
+5 -1
View File
@@ -110,7 +110,11 @@ Lizenzfreigabe der quellentreuen Rechtsprechungs-Volltexte und danach M4
neuen Fälle gefunden. Gezielte Antwortläufe q-120123: alle zitiergültig, neuen Fälle gefunden. Gezielte Antwortläufe q-120123: alle zitiergültig,
nicht verweigert, keine Regenerierung; Systemprompt verlangt für als nicht verweigert, keine Regenerierung; Systemprompt verlangt für als
nicht amtlich markierte Quellen die gleiche Einschränkung in der Antwort nicht amtlich markierte Quellen die gleiche Einschränkung in der Antwort
(q-123 verifiziert). Offline-Tests: 65 grün. **Nicht als generelle (q-123 verifiziert). Voller Antwortmodus-Eval (50 Fragen): **100 %
Zitier-Präzision**, **100 % Verweigerung korrekt**, erwartete Quelle
93,3 %, mean 39,4 s / p95 82,2 s, 5 Regenerierungen; Report
`data/eval-qwen38-rj.json` (lokal/unversioniert). Offline-Tests: 65
grün. **Nicht als generelle
Commit-Freigabe lesen:** Die gelieferten OGH/VwGH/VfGH-Dateien nennen Commit-Freigabe lesen:** Die gelieferten OGH/VwGH/VfGH-Dateien nennen
überwiegend RIS-OGD, der User sprach jedoch von Lexis/opendataloader; überwiegend RIS-OGD, der User sprach jedoch von Lexis/opendataloader;
die Publikations-/Lizenzfreigabe der quellentreuen Volltexte ist vor die Publikations-/Lizenzfreigabe der quellentreuen Volltexte ist vor
+8 -6
View File
@@ -186,12 +186,14 @@ Normauszüge und 5 als nichtamtlich markierte EuGH-Textwiedergaben im neuen
`rj-rjs-*`-ID-Raum. Der Reindex erzeugte **16.480 Chunks** (1.496 neue `rj-rjs-*`-ID-Raum. Der Reindex erzeugte **16.480 Chunks** (1.496 neue
`bge-m3`-Embeddings, 75 s). Retrieval mit dem erweiterten 50-Fragen-Goldset: `bge-m3`-Embeddings, 75 s). Retrieval mit dem erweiterten 50-Fragen-Goldset:
Hit-Rate **0,956** · Recall@8 **0,922** · MRR 0,661; das Recall-Gate >0,9 Hit-Rate **0,956** · Recall@8 **0,922** · MRR 0,661; das Recall-Gate >0,9
bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Vier bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Der
gezielte Antwortläufe (q-120123) sind zitiergültig, ohne Verweigerung und vollständige Antwortmodus-Eval (50 Fragen) erreicht **100 % Zitier-Präzision**
ohne Regenerierung; der volle Antwortmodus-Eval für den erweiterten Korpus und **100 % korrekte Verweigerungen**, bei 93,3 % erwarteter Quelle, mean
steht noch aus. EuGH-Texte sind im Kontext und in der Quelle explizit als 39,4 s / p95 82,2 s und fünf Regenerierungen. Report:
nichtamtliche lexetius-Wiedergabe gekennzeichnet; der Systemprompt verlangt `data/eval-qwen38-rj.json` (lokal, unversioniert). EuGH-Texte sind im Kontext
nun dieselbe Einschränkung auch in der Antwort. und in der Quelle explizit als nichtamtliche lexetius-Wiedergabe
gekennzeichnet; der Systemprompt verlangt nun dieselbe Einschränkung auch in
der Antwort.
## Dateien ## Dateien
+4 -1
View File
@@ -335,7 +335,10 @@ tests/ # pytest: Ingest-, Retrieval-, Grounding-Unit-Tests
gefunden. Die gezielten Antwortläufe q-120123 sind alle zitiergültig, gefunden. Die gezielten Antwortläufe q-120123 sind alle zitiergültig,
nicht verweigert und ohne Regenerierung; EuGH q-123 weist nach einer nicht verweigert und ohne Regenerierung; EuGH q-123 weist nach einer
Prompt-Regel explizit auf die nichtamtliche Wiedergabe hin. Voller Prompt-Regel explizit auf die nichtamtliche Wiedergabe hin. Voller
Antwortmodus-Eval steht aus. Vor einem Commit der Antwortmodus-Eval (50 Fragen): **100 % Zitier-Präzision**, **100 %
Verweigerung korrekt**, erwartete Quelle 93,3 %, Latenz mean 39,4 s /
p95 82,2 s, fünf Regenerierungen; Report `data/eval-qwen38-rj.json`
(lokal, unversioniert). Vor einem Commit der
quellentreuen Volltexte ist die Publikations-/Lizenzfreigabe bewusst zu quellentreuen Volltexte ist die Publikations-/Lizenzfreigabe bewusst zu
bestätigen; sie folgt nicht automatisch aus der Regel zu amtlichen bestätigen; sie folgt nicht automatisch aus der Regel zu amtlichen
Gesetzestexten. Gesetzestexten.