docs: record rechtsprechung eval baseline
This commit is contained in:
+5
-1
@@ -110,7 +110,11 @@ Lizenzfreigabe der quellentreuen Rechtsprechungs-Volltexte und danach M4
|
||||
neuen Fälle gefunden. Gezielte Antwortläufe q-120–123: alle zitiergültig,
|
||||
nicht verweigert, keine Regenerierung; Systemprompt verlangt für als
|
||||
nicht amtlich markierte Quellen die gleiche Einschränkung in der Antwort
|
||||
(q-123 verifiziert). Offline-Tests: 65 grün. **Nicht als generelle
|
||||
(q-123 verifiziert). Voller Antwortmodus-Eval (50 Fragen): **100 %
|
||||
Zitier-Präzision**, **100 % Verweigerung korrekt**, erwartete Quelle
|
||||
93,3 %, mean 39,4 s / p95 82,2 s, 5 Regenerierungen; Report
|
||||
`data/eval-qwen38-rj.json` (lokal/unversioniert). Offline-Tests: 65
|
||||
grün. **Nicht als generelle
|
||||
Commit-Freigabe lesen:** Die gelieferten OGH/VwGH/VfGH-Dateien nennen
|
||||
überwiegend RIS-OGD, der User sprach jedoch von Lexis/opendataloader;
|
||||
die Publikations-/Lizenzfreigabe der quellentreuen Volltexte ist vor
|
||||
|
||||
+8
-6
@@ -186,12 +186,14 @@ Normauszüge und 5 als nichtamtlich markierte EuGH-Textwiedergaben im neuen
|
||||
`rj-rjs-*`-ID-Raum. Der Reindex erzeugte **16.480 Chunks** (1.496 neue
|
||||
`bge-m3`-Embeddings, 75 s). Retrieval mit dem erweiterten 50-Fragen-Goldset:
|
||||
Hit-Rate **0,956** · Recall@8 **0,922** · MRR 0,661; das Recall-Gate >0,9
|
||||
bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Vier
|
||||
gezielte Antwortläufe (q-120–123) sind zitiergültig, ohne Verweigerung und
|
||||
ohne Regenerierung; der volle Antwortmodus-Eval für den erweiterten Korpus
|
||||
steht noch aus. EuGH-Texte sind im Kontext und in der Quelle explizit als
|
||||
nichtamtliche lexetius-Wiedergabe gekennzeichnet; der Systemprompt verlangt
|
||||
nun dieselbe Einschränkung auch in der Antwort.
|
||||
bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Der
|
||||
vollständige Antwortmodus-Eval (50 Fragen) erreicht **100 % Zitier-Präzision**
|
||||
und **100 % korrekte Verweigerungen**, bei 93,3 % erwarteter Quelle, mean
|
||||
39,4 s / p95 82,2 s und fünf Regenerierungen. Report:
|
||||
`data/eval-qwen38-rj.json` (lokal, unversioniert). EuGH-Texte sind im Kontext
|
||||
und in der Quelle explizit als nichtamtliche lexetius-Wiedergabe
|
||||
gekennzeichnet; der Systemprompt verlangt nun dieselbe Einschränkung auch in
|
||||
der Antwort.
|
||||
|
||||
## Dateien
|
||||
|
||||
|
||||
+4
-1
@@ -335,7 +335,10 @@ tests/ # pytest: Ingest-, Retrieval-, Grounding-Unit-Tests
|
||||
gefunden. Die gezielten Antwortläufe q-120–123 sind alle zitiergültig,
|
||||
nicht verweigert und ohne Regenerierung; EuGH q-123 weist nach einer
|
||||
Prompt-Regel explizit auf die nichtamtliche Wiedergabe hin. Voller
|
||||
Antwortmodus-Eval steht aus. Vor einem Commit der
|
||||
Antwortmodus-Eval (50 Fragen): **100 % Zitier-Präzision**, **100 %
|
||||
Verweigerung korrekt**, erwartete Quelle 93,3 %, Latenz mean 39,4 s /
|
||||
p95 82,2 s, fünf Regenerierungen; Report `data/eval-qwen38-rj.json`
|
||||
(lokal, unversioniert). Vor einem Commit der
|
||||
quellentreuen Volltexte ist die Publikations-/Lizenzfreigabe bewusst zu
|
||||
bestätigen; sie folgt nicht automatisch aus der Regel zu amtlichen
|
||||
Gesetzestexten.
|
||||
|
||||
Reference in New Issue
Block a user