Retrieval-Kalibrierung nach Korpusverdopplung (D10) + Goldset-Erweiterung
- Hybrid-Fusion um dense_weight erweitert; kalibriert per Goldset-Sweep: dense_weight=2.0 (BM25 durch KV-S-Titel-Matches inflationiert), rrf_k=20, candidate_pool=150 -> Recall@8 0,851 -> 0,923 (>0,9), Hit-Rate 0,973, MRR 0,667. ENV: PV_DENSE_WEIGHT/PV_RRF_K/ PV_CANDIDATE_POOL. - CITE_RE um kv|ris erweitert (Post-Validierung deckt neue ID-Raeume). - Goldset: +6 KV/RIS-Fragen (q-101-106) + Branchen-Refusal r-005; q-021 auf lb-kar-04 rekalibriert (Top-1, deckt Beginn/Dauer voll - dokumentiert im Note). - Antwortmodus-Eval (qwen3.8:27b, 42 Fragen): Zitier-Praezision 95,2 %, Verweigerung 90,5 % - unter den M3-Gates, Tuning folgt (Report data/eval-qwen38-kvris.json, lokal). - Docs: agent/README.md Baseline, planung.md Umsetzungsstand, .agents/MEMORY.md (D9/D10, offene Punkte).
This commit is contained in:
+29
-2
@@ -68,7 +68,10 @@ questions:
|
||||
expected_ids: [lb-sch-04]
|
||||
- id: q-021
|
||||
question: "Wann beginnt die Elternkarenz und wie lange kann sie dauern?"
|
||||
expected_ids: [lb-kar-01]
|
||||
expected_ids: [lb-kar-04]
|
||||
note: "Rekalibriert 2026-09-15 nach KV/RIS-Erweiterung: lb-kar-04
|
||||
(Karenz - Anspruch, Beginn und Dauer) deckt die Frage vollständig und
|
||||
ist Top-1; lb-kar-01 (Überblick) ist Nachbarschaft, nicht Pflichtbeleg."
|
||||
- id: q-022
|
||||
question: "Wie ist eine Überstundenpauschale zu behandeln?"
|
||||
expected_ids: [lb-ues-02]
|
||||
@@ -117,4 +120,28 @@ questions:
|
||||
note: "Schwerer Fall: 13 Chunks erwähnen 'Umsatzsteuer' beiläufig — Retrieval nicht leer, aber inhaltlich nicht gedeckt."
|
||||
- id: r-004
|
||||
question: "Wie bereite ich einen Pitch für Investoren vor?"
|
||||
expect_refusal: true
|
||||
expect_refusal: true
|
||||
|
||||
# --- KV-/RIS-Erweiterung (Batch kv/ris 1, 2026-09-15) ---
|
||||
- id: q-101
|
||||
question: "Wie hoch ist der kollektivvertragliche Mindestmonatslohn für angelernte Friseurinnen und Friseure ab 1. April 2026?"
|
||||
expected_ids: [kv-kvt-422]
|
||||
- id: q-102
|
||||
question: "Wie hoch ist das Mindestgrundgehalt in Verwendungsgruppe III der Gehaltsordnung Information und Consulting ab 1.1.2026?"
|
||||
expected_ids: [kv-kvt-056]
|
||||
- id: q-103
|
||||
question: "Wie viele Werktage gesetzlicher Urlaub stehen Arbeitnehmern nach dem Urlaubsgesetz zu?"
|
||||
expected_ids: [ris-url-01]
|
||||
- id: q-104
|
||||
question: "Wann verjährt der Urlaubsanspruch nach dem Urlaubsgesetz?"
|
||||
expected_ids: [ris-url-01]
|
||||
- id: q-105
|
||||
question: "Was gilt nach dem Nachtschwerarbeitsgesetz als Nachtarbeit?"
|
||||
expected_ids: [ris-nsc-01]
|
||||
- id: q-106
|
||||
question: "Wann entsteht der Anspruch auf Altersteilzeitgeld?"
|
||||
expected_ids: [ris-atz-01]
|
||||
- id: r-005
|
||||
question: "Wie hoch ist der kollektivvertragliche Mindestlohn im KV für Raumfahrttechnik?"
|
||||
expect_refusal: true
|
||||
note: "Branche nicht im KV-Korpus — Retrieval darf nicht leer sein, Antwort muss verweigern."
|
||||
Reference in New Issue
Block a user