feat(agent): tune retrieval for decision support
This commit is contained in:
+31
-4
@@ -5,10 +5,12 @@ Rollender Übergabe-Log für agent-Threads. Workflow: `.agents/SKILL.md`
|
||||
|
||||
## Current focus
|
||||
|
||||
Rechtsprechungs-Intake (D15) ist technisch abgeschlossen und reindexiert.
|
||||
Offen: Antwortmodus-Eval für den erweiterten Korpus, bewusste Publikations-/
|
||||
Lizenzfreigabe der quellentreuen Rechtsprechungs-Volltexte und danach M4
|
||||
(Odoo-Integration inkl. separat zu planender Privacy-Grenze für Lohndaten).
|
||||
Retrieval-/Antwort-Tuning für komplexe Gestaltungsfragen läuft (D16).
|
||||
Goldset q-124–126 und deterministischer Decision-Support-Pfad sind umgesetzt;
|
||||
offen ist der vollständige 53-Fragen-Antwortmodus-Eval. Danach folgen die
|
||||
bewusste Publikations-/Lizenzfreigabe der quellentreuen Rechtsprechungs-
|
||||
Volltexte und M4 (API-first Odoo-Integration inkl. separat zu planender
|
||||
Privacy-Grenze für Lohndaten).
|
||||
|
||||
## Completed (2026-09-14)
|
||||
|
||||
@@ -121,6 +123,31 @@ Lizenzfreigabe der quellentreuen Rechtsprechungs-Volltexte und danach M4
|
||||
Commit ausdrücklich zu prüfen. EuGH-Wiedergaben sind als nichtamtlich
|
||||
markiert und verweisen auf EUR-Lex.
|
||||
|
||||
## Completed (2026-09-16)
|
||||
|
||||
- **D16 (Gestaltungsfragen / Retrieval-Tuning):** Goldset um q-124–126
|
||||
erweitert (500-Euro-Zusatzzahlung, Alternativen, Mitarbeiterprämie 2026).
|
||||
`agent/query_planner.py` erkennt Decision-Support deterministisch und zerlegt
|
||||
in drei gesetzlich gescopte Queries: Mitarbeiterprämie samt §-49-Konflikt,
|
||||
Zukunftssicherung sowie Sach-/zweckgebundene Leistungen. Decision-Support
|
||||
läuft als `specific`, nicht als Survey/Map-Reduce. `Retriever.search()` nutzt
|
||||
denselben Plan im Offline-Eval; `search_multi()` behält Scope/Jahr auch bei
|
||||
einer einzelnen Query. Ergebnis (53 Goldsetfragen / 48 Retrieval-Fälle):
|
||||
q-124/q-125/q-126 jeweils Recall@8 **1,00**, gesamt Recall@8 **0,9271**
|
||||
(Gate >0,9), Hit-Rate 0,9583, MRR 0,6158. Bekannte Altfehler q-015/q-113
|
||||
bleiben unverändert.
|
||||
- **Decision-Support-Grounding:** Systemprompt trennt Barzahlung von
|
||||
zweckgebundenen Leistungen, verbietet pauschale Sieger ohne Kontext,
|
||||
verlangt vergleichbare Abgabendimensionen und genau eine Rückfrage. Der
|
||||
bekannte Konflikt Mitarbeiterprämie 2026 wird offen dargestellt:
|
||||
`wk-akt-04` nennt SV/BV/DB/DZ/KommSt-Pflicht, `lb-sva-03` ordnet die Prämie
|
||||
systematisch in den taxativen Katalog beitragsfreier Bezüge ein. Zusätzlich
|
||||
erzwingt ein semantischer Post-Validation-Gate ⚠ + beide IDs + korrekte
|
||||
Rollen und verhindert interne Regelverweise bzw. Quellenpriorisierung.
|
||||
Gezielte Real-Läufe: q-124/q-125 nicht verweigert, zitiergültig; q-126 war
|
||||
bereits sauber. Tests **72 grün**; `git diff --check` sauber. Vollständiger
|
||||
Antwortmodus-Eval steht noch aus.
|
||||
|
||||
## Open issues / blockers
|
||||
|
||||
- **Push**: Remote localhost:3003 aus der Sandbox nicht erreichbar — User
|
||||
|
||||
Reference in New Issue
Block a user