# Goldset für die Evaluation des PV RAG Agent. # expected_ids: verifiziert gegen wissensbasis/kb.json (Titel-Suche). # expect_refusal: Frage darf/darf nicht aus der Wissensbasis beantwortet # werden — Antwortmodus (eval --answers) muss verweigern. # q-002 ist der bekannte Korpuskonflikt (ATZ-Ersatzquote 28,5 vs. 27,5 %). questions: - id: q-001 question: "Was ist Altersteilzeit und wie funktioniert der Lohnausgleich?" expected_ids: [lb-atz-07, lb-atz-04] - id: q-002 question: "Wie hoch ist die AMS-Ersatzquote bei geblockter Altersteilzeit?" expected_ids: [lb-atz-07, lb-atz-09, lb-atz-12] note: "Korpuskonflikt — beide Werte mit ⚠ nennen." - id: q-003 question: "Für welche Arbeitnehmer ist die Altersteilzeit förderbar?" expected_ids: [lb-atz-03] - id: q-004 question: "Wie viele Wochen gesetzlicher Urlaub stehen einem Arbeitnehmer zu?" expected_ids: [lb-url-05] - id: q-005 question: "Wie wird das Urlaubsentgelt beim Wechsel zwischen Teilzeit und Vollzeit berechnet?" expected_ids: [lb-url-13] - id: q-006 question: "Wie lange dauert die Entgeltfortzahlung im Krankenstand?" expected_ids: [lb-krs-08] - id: q-007 question: "Welche Fristen gelten für die Auflösung in der Probezeit?" expected_ids: [lb-bnd-37] - id: q-008 question: "Welche Verfügungsmöglichkeiten gibt es bei der Abfertigung neu?" expected_ids: [lb-end-03] - id: q-009 question: "Welche Bezugsbestandteile sind beitragsfrei nach § 49 Abs. 3 ASVG?" expected_ids: [lb-sva-03, lb-sva-04] - id: q-010 question: "Wie hoch sind die Sozialversicherungs-Beitragssätze für Dienstnehmer?" expected_ids: [lb-sva-06] - id: q-011 question: "Was gilt als Nachtschwerarbeit und welche Folgen hat das?" expected_ids: [lb-nsc-01] - id: q-012 question: "Wie sind Mitarbeiterrabatte abgabenrechtlich zu behandeln?" expected_ids: [lb-sac-02] - id: q-013 question: "Wie wird die Privatnutzung eines Dienstwagens besteuert?" expected_ids: [lb-sac-03] - id: q-014 question: "Unter welchen Voraussetzungen gibt es Pendlerförderung?" expected_ids: [lb-pen-01] - id: q-015 question: "Wie werden Tagesgelder bei Dienstreisen abgerechnet?" expected_ids: [lb-rei-09] - id: q-016 question: "Wie läuft eine GPLB ab?" expected_ids: [lb-gpl-01] - id: q-017 question: "Was ist bei der Entsendung von Arbeitnehmern ins Ausland zu beachten?" expected_ids: [lb-grz-06, lb-grz-07] - id: q-018 question: "Wie funktioniert die betriebliche Vorsorgekasse mit Beitragszahlung?" expected_ids: [lb-vor-02, lb-vor-03] - id: q-019 question: "Welche Pflichten gelten bei der Einstellung von Lehrlingen?" expected_ids: [lb-leh-03] - id: q-020 question: "Welche Beschäftigungsverbote gelten für Schwangere?" expected_ids: [lb-sch-04] - id: q-021 question: "Wann beginnt die Elternkarenz und wie lange kann sie dauern?" expected_ids: [lb-kar-04] note: "Rekalibriert 2026-09-15 nach KV/RIS-Erweiterung: lb-kar-04 (Karenz - Anspruch, Beginn und Dauer) deckt die Frage vollständig und ist Top-1; lb-kar-01 (Überblick) ist Nachbarschaft, nicht Pflichtbeleg." - id: q-022 question: "Wie ist eine Überstundenpauschale zu behandeln?" expected_ids: [lb-ues-02] - id: q-023 question: "Was muss ein Dienstzeugnis enthalten?" expected_ids: [lb-bso-04] - id: q-024 question: "Was ist bei Kurzarbeit arbeitsrechtlich zu beachten?" expected_ids: [lb-azm-04, lb-azm-05, lb-azm-06] - id: q-025 question: "Was passiert mit den Ansprüchen der Arbeitnehmer beim Betriebsübergang?" expected_ids: [lb-ins-01] - id: q-026 question: "Wie sind Nachzahlungen abzurechnen?" expected_ids: [lb-naz-01] - id: q-027 question: "Was ist beim Einlangen einer Lohnpfändung zu beachten?" expected_ids: [lb-pfa-01, lb-pfa-02] - id: q-028 question: "Wird die Sonderzahlung bei Eintritt oder Austritt aliquotiert?" expected_ids: [lb-son-01] - id: q-029 question: "Welche Neuerungen behandelt WIKU Personal aktuell 2026?" expected_ids: [wk-akt-01] - id: q-030 question: "Wer zahlt das Wochengeld und wie wird es berechnet?" expected_ids: [lb-msf-03] - id: q-031 question: "Was regelt das Mindestlohngesetz und für wen gilt es?" expected_ids: [lb-ent-09] note: "Falsche Prämisse — ideale Antwort korrigiert: kein gesetzlich betraglich festgelegtes Mindestentgelt; Untergrenze via KV/Satzung/ Mindestlohntarif (BEA) belegt aus lb-ent-09." tags: [premise-correction] # --- Verweigerungsfälle (Antwortmodus) --- - id: r-001 question: "Wie hoch ist der aktuelle EUR-USD-Wechselkurs?" expect_refusal: true - id: r-002 question: "Wer war Bundeskanzler Österreichs im Jahr 2000?" expect_refusal: true - id: r-003 question: "Bis wann muss die Umsatzsteuervoranmeldung abgegeben werden?" expect_refusal: true note: "Schwerer Fall: 13 Chunks erwähnen 'Umsatzsteuer' beiläufig — Retrieval nicht leer, aber inhaltlich nicht gedeckt." - id: r-004 question: "Wie bereite ich einen Pitch für Investoren vor?" expect_refusal: true # --- KV-/RIS-Erweiterung (Batch kv/ris 1, 2026-09-15) --- - id: q-101 question: "Wie hoch ist der kollektivvertragliche Mindestmonatslohn für angelernte Friseurinnen und Friseure ab 1. April 2026?" expected_ids: [kv-kvt-422] - id: q-102 question: "Wie hoch ist das Mindestgrundgehalt in Verwendungsgruppe III der Gehaltsordnung Information und Consulting ab 1.1.2026?" expected_ids: [kv-kvt-056] - id: q-103 question: "Wie viele Werktage gesetzlicher Urlaub stehen Arbeitnehmern nach dem Urlaubsgesetz zu?" expected_ids: [ris-url-01] - id: q-104 question: "Wann verjährt der Urlaubsanspruch nach dem Urlaubsgesetz?" expected_ids: [ris-url-01] - id: q-105 question: "Was gilt nach dem Nachtschwerarbeitsgesetz als Nachtarbeit?" expected_ids: [ris-nsc-01] - id: q-106 question: "Wann entsteht der Anspruch auf Altersteilzeitgeld?" expected_ids: [ris-atz-01] - id: r-005 question: "Wie hoch ist der kollektivvertragliche Mindestlohn im KV für Raumfahrttechnik?" expect_refusal: true note: "Branche nicht im KV-Korpus — Retrieval darf nicht leer sein, Antwort muss verweigern." # --- Komplexe Fragen (Stufe 1, M6: Multi-Query + Temporal-Intent) --- - id: q-110 question: "Wie hoch war der kollektivvertragliche Mindestmonatslohn für angelernte Friseurinnen und Friseure ab 1.4.2023?" expected_ids: [kv-kvt-014] note: "Temporal: historische KV-Fassung 2023 muss vor den 2025/2026er- Versionen liegen. (Eine 2024er-Lohnordnung existiert im Korpus nicht: kollektivvertrag-friseur-2024 ist der Mantelvertrag ohne Lohntabelle.)" - id: q-111 question: "Welche Lehrlingseinkommen galten im Friseurgewerbe ab 1.4.2025?" expected_ids: [kv-kvt-001] note: "Temporal: KV-Fassung 2025 (nicht 2026)." - id: q-112 question: "Was ist der Unterschied zwischen Abfertigung neu und Abfertigung alt?" expected_ids: [lb-end-02, lb-end-03] note: "Multi-Hop/Vergleich: beide Regime aus getrennten Eintraegen belegen." - id: q-113 question: "Wie viele Werktage gesetzlicher Urlaub stehen Arbeitnehmern zu und welche Rolle spielt dabei der Kollektivvertrag?" expected_ids: [ris-url-01, lb-url-05] note: "Multi-Source: Gesetz + Kuratierung; UrlG § 2 (1) erlaubt KV-Abweichungen (§ 2 Abs. 4)."