docs: record rechtsprechung eval baseline
This commit is contained in:
+5
-1
@@ -110,7 +110,11 @@ Lizenzfreigabe der quellentreuen Rechtsprechungs-Volltexte und danach M4
|
|||||||
neuen Fälle gefunden. Gezielte Antwortläufe q-120–123: alle zitiergültig,
|
neuen Fälle gefunden. Gezielte Antwortläufe q-120–123: alle zitiergültig,
|
||||||
nicht verweigert, keine Regenerierung; Systemprompt verlangt für als
|
nicht verweigert, keine Regenerierung; Systemprompt verlangt für als
|
||||||
nicht amtlich markierte Quellen die gleiche Einschränkung in der Antwort
|
nicht amtlich markierte Quellen die gleiche Einschränkung in der Antwort
|
||||||
(q-123 verifiziert). Offline-Tests: 65 grün. **Nicht als generelle
|
(q-123 verifiziert). Voller Antwortmodus-Eval (50 Fragen): **100 %
|
||||||
|
Zitier-Präzision**, **100 % Verweigerung korrekt**, erwartete Quelle
|
||||||
|
93,3 %, mean 39,4 s / p95 82,2 s, 5 Regenerierungen; Report
|
||||||
|
`data/eval-qwen38-rj.json` (lokal/unversioniert). Offline-Tests: 65
|
||||||
|
grün. **Nicht als generelle
|
||||||
Commit-Freigabe lesen:** Die gelieferten OGH/VwGH/VfGH-Dateien nennen
|
Commit-Freigabe lesen:** Die gelieferten OGH/VwGH/VfGH-Dateien nennen
|
||||||
überwiegend RIS-OGD, der User sprach jedoch von Lexis/opendataloader;
|
überwiegend RIS-OGD, der User sprach jedoch von Lexis/opendataloader;
|
||||||
die Publikations-/Lizenzfreigabe der quellentreuen Volltexte ist vor
|
die Publikations-/Lizenzfreigabe der quellentreuen Volltexte ist vor
|
||||||
|
|||||||
+8
-6
@@ -186,12 +186,14 @@ Normauszüge und 5 als nichtamtlich markierte EuGH-Textwiedergaben im neuen
|
|||||||
`rj-rjs-*`-ID-Raum. Der Reindex erzeugte **16.480 Chunks** (1.496 neue
|
`rj-rjs-*`-ID-Raum. Der Reindex erzeugte **16.480 Chunks** (1.496 neue
|
||||||
`bge-m3`-Embeddings, 75 s). Retrieval mit dem erweiterten 50-Fragen-Goldset:
|
`bge-m3`-Embeddings, 75 s). Retrieval mit dem erweiterten 50-Fragen-Goldset:
|
||||||
Hit-Rate **0,956** · Recall@8 **0,922** · MRR 0,661; das Recall-Gate >0,9
|
Hit-Rate **0,956** · Recall@8 **0,922** · MRR 0,661; das Recall-Gate >0,9
|
||||||
bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Vier
|
bleibt erfüllt, alle vier neuen Rechtsprechungsfälle werden gefunden. Der
|
||||||
gezielte Antwortläufe (q-120–123) sind zitiergültig, ohne Verweigerung und
|
vollständige Antwortmodus-Eval (50 Fragen) erreicht **100 % Zitier-Präzision**
|
||||||
ohne Regenerierung; der volle Antwortmodus-Eval für den erweiterten Korpus
|
und **100 % korrekte Verweigerungen**, bei 93,3 % erwarteter Quelle, mean
|
||||||
steht noch aus. EuGH-Texte sind im Kontext und in der Quelle explizit als
|
39,4 s / p95 82,2 s und fünf Regenerierungen. Report:
|
||||||
nichtamtliche lexetius-Wiedergabe gekennzeichnet; der Systemprompt verlangt
|
`data/eval-qwen38-rj.json` (lokal, unversioniert). EuGH-Texte sind im Kontext
|
||||||
nun dieselbe Einschränkung auch in der Antwort.
|
und in der Quelle explizit als nichtamtliche lexetius-Wiedergabe
|
||||||
|
gekennzeichnet; der Systemprompt verlangt nun dieselbe Einschränkung auch in
|
||||||
|
der Antwort.
|
||||||
|
|
||||||
## Dateien
|
## Dateien
|
||||||
|
|
||||||
|
|||||||
+4
-1
@@ -335,7 +335,10 @@ tests/ # pytest: Ingest-, Retrieval-, Grounding-Unit-Tests
|
|||||||
gefunden. Die gezielten Antwortläufe q-120–123 sind alle zitiergültig,
|
gefunden. Die gezielten Antwortläufe q-120–123 sind alle zitiergültig,
|
||||||
nicht verweigert und ohne Regenerierung; EuGH q-123 weist nach einer
|
nicht verweigert und ohne Regenerierung; EuGH q-123 weist nach einer
|
||||||
Prompt-Regel explizit auf die nichtamtliche Wiedergabe hin. Voller
|
Prompt-Regel explizit auf die nichtamtliche Wiedergabe hin. Voller
|
||||||
Antwortmodus-Eval steht aus. Vor einem Commit der
|
Antwortmodus-Eval (50 Fragen): **100 % Zitier-Präzision**, **100 %
|
||||||
|
Verweigerung korrekt**, erwartete Quelle 93,3 %, Latenz mean 39,4 s /
|
||||||
|
p95 82,2 s, fünf Regenerierungen; Report `data/eval-qwen38-rj.json`
|
||||||
|
(lokal, unversioniert). Vor einem Commit der
|
||||||
quellentreuen Volltexte ist die Publikations-/Lizenzfreigabe bewusst zu
|
quellentreuen Volltexte ist die Publikations-/Lizenzfreigabe bewusst zu
|
||||||
bestätigen; sie folgt nicht automatisch aus der Regel zu amtlichen
|
bestätigen; sie folgt nicht automatisch aus der Regel zu amtlichen
|
||||||
Gesetzestexten.
|
Gesetzestexten.
|
||||||
|
|||||||
Reference in New Issue
Block a user