200 lines
9.8 KiB
YAML
200 lines
9.8 KiB
YAML
# Goldset für die Evaluation des PV RAG Agent.
|
|
# expected_ids: verifiziert gegen wissensbasis/kb.json (Titel-Suche).
|
|
# expect_refusal: Frage darf/darf nicht aus der Wissensbasis beantwortet
|
|
# werden — Antwortmodus (eval --answers) muss verweigern.
|
|
# q-002 ist der bekannte Korpuskonflikt (ATZ-Ersatzquote 28,5 vs. 27,5 %).
|
|
|
|
questions:
|
|
- id: q-001
|
|
question: "Was ist Altersteilzeit und wie funktioniert der Lohnausgleich?"
|
|
expected_ids: [lb-atz-07, lb-atz-04]
|
|
- id: q-002
|
|
question: "Wie hoch ist die AMS-Ersatzquote bei geblockter Altersteilzeit?"
|
|
expected_ids: [lb-atz-07, lb-atz-09, lb-atz-12]
|
|
note: "Korpuskonflikt — beide Werte mit ⚠ nennen."
|
|
- id: q-003
|
|
question: "Für welche Arbeitnehmer ist die Altersteilzeit förderbar?"
|
|
expected_ids: [lb-atz-03]
|
|
- id: q-004
|
|
question: "Wie viele Wochen gesetzlicher Urlaub stehen einem Arbeitnehmer zu?"
|
|
expected_ids: [lb-url-05]
|
|
- id: q-005
|
|
question: "Wie wird das Urlaubsentgelt beim Wechsel zwischen Teilzeit und Vollzeit berechnet?"
|
|
expected_ids: [lb-url-13]
|
|
- id: q-006
|
|
question: "Wie lange dauert die Entgeltfortzahlung im Krankenstand?"
|
|
expected_ids: [lb-krs-08]
|
|
- id: q-007
|
|
question: "Welche Fristen gelten für die Auflösung in der Probezeit?"
|
|
expected_ids: [lb-bnd-37]
|
|
- id: q-008
|
|
question: "Welche Verfügungsmöglichkeiten gibt es bei der Abfertigung neu?"
|
|
expected_ids: [lb-end-03]
|
|
- id: q-009
|
|
question: "Welche Bezugsbestandteile sind beitragsfrei nach § 49 Abs. 3 ASVG?"
|
|
expected_ids: [lb-sva-03, lb-sva-04]
|
|
- id: q-010
|
|
question: "Wie hoch sind die Sozialversicherungs-Beitragssätze für Dienstnehmer?"
|
|
expected_ids: [lb-sva-06]
|
|
- id: q-011
|
|
question: "Was gilt als Nachtschwerarbeit und welche Folgen hat das?"
|
|
expected_ids: [lb-nsc-01]
|
|
- id: q-012
|
|
question: "Wie sind Mitarbeiterrabatte abgabenrechtlich zu behandeln?"
|
|
expected_ids: [lb-sac-02]
|
|
- id: q-013
|
|
question: "Wie wird die Privatnutzung eines Dienstwagens besteuert?"
|
|
expected_ids: [lb-sac-03]
|
|
- id: q-014
|
|
question: "Unter welchen Voraussetzungen gibt es Pendlerförderung?"
|
|
expected_ids: [lb-pen-01]
|
|
- id: q-015
|
|
question: "Wie werden Tagesgelder bei Dienstreisen abgerechnet?"
|
|
expected_ids: [lb-rei-09]
|
|
- id: q-016
|
|
question: "Wie läuft eine GPLB ab?"
|
|
expected_ids: [lb-gpl-01]
|
|
- id: q-017
|
|
question: "Was ist bei der Entsendung von Arbeitnehmern ins Ausland zu beachten?"
|
|
expected_ids: [lb-grz-06, lb-grz-07]
|
|
- id: q-018
|
|
question: "Wie funktioniert die betriebliche Vorsorgekasse mit Beitragszahlung?"
|
|
expected_ids: [lb-vor-02, lb-vor-03]
|
|
- id: q-019
|
|
question: "Welche Pflichten gelten bei der Einstellung von Lehrlingen?"
|
|
expected_ids: [lb-leh-03]
|
|
- id: q-020
|
|
question: "Welche Beschäftigungsverbote gelten für Schwangere?"
|
|
expected_ids: [lb-sch-04]
|
|
- id: q-021
|
|
question: "Wann beginnt die Elternkarenz und wie lange kann sie dauern?"
|
|
expected_ids: [lb-kar-04]
|
|
note: "Rekalibriert 2026-09-15 nach KV/RIS-Erweiterung: lb-kar-04
|
|
(Karenz - Anspruch, Beginn und Dauer) deckt die Frage vollständig und
|
|
ist Top-1; lb-kar-01 (Überblick) ist Nachbarschaft, nicht Pflichtbeleg."
|
|
- id: q-022
|
|
question: "Wie ist eine Überstundenpauschale zu behandeln?"
|
|
expected_ids: [lb-ues-02]
|
|
- id: q-023
|
|
question: "Was muss ein Dienstzeugnis enthalten?"
|
|
expected_ids: [lb-bso-04]
|
|
- id: q-024
|
|
question: "Was ist bei Kurzarbeit arbeitsrechtlich zu beachten?"
|
|
expected_ids: [lb-azm-04, lb-azm-05, lb-azm-06]
|
|
- id: q-025
|
|
question: "Was passiert mit den Ansprüchen der Arbeitnehmer beim Betriebsübergang?"
|
|
expected_ids: [lb-ins-01]
|
|
- id: q-026
|
|
question: "Wie sind Nachzahlungen abzurechnen?"
|
|
expected_ids: [lb-naz-01]
|
|
- id: q-027
|
|
question: "Was ist beim Einlangen einer Lohnpfändung zu beachten?"
|
|
expected_ids: [lb-pfa-01, lb-pfa-02]
|
|
- id: q-028
|
|
question: "Wird die Sonderzahlung bei Eintritt oder Austritt aliquotiert?"
|
|
expected_ids: [lb-son-01]
|
|
- id: q-029
|
|
question: "Welche Neuerungen behandelt WIKU Personal aktuell 2026?"
|
|
expected_ids: [wk-akt-01]
|
|
- id: q-030
|
|
question: "Wer zahlt das Wochengeld und wie wird es berechnet?"
|
|
expected_ids: [lb-msf-03]
|
|
- id: q-031
|
|
question: "Was regelt das Mindestlohngesetz und für wen gilt es?"
|
|
expected_ids: [lb-ent-09]
|
|
note: "Falsche Prämisse — ideale Antwort korrigiert: kein gesetzlich
|
|
betraglich festgelegtes Mindestentgelt; Untergrenze via KV/Satzung/
|
|
Mindestlohntarif (BEA) belegt aus lb-ent-09."
|
|
tags: [premise-correction]
|
|
|
|
# --- Verweigerungsfälle (Antwortmodus) ---
|
|
- id: r-001
|
|
question: "Wie hoch ist der aktuelle EUR-USD-Wechselkurs?"
|
|
expect_refusal: true
|
|
- id: r-002
|
|
question: "Wer war Bundeskanzler Österreichs im Jahr 2000?"
|
|
expect_refusal: true
|
|
- id: r-003
|
|
question: "Bis wann muss die Umsatzsteuervoranmeldung abgegeben werden?"
|
|
expect_refusal: true
|
|
note: "Schwerer Fall: 13 Chunks erwähnen 'Umsatzsteuer' beiläufig — Retrieval nicht leer, aber inhaltlich nicht gedeckt."
|
|
- id: r-004
|
|
question: "Wie bereite ich einen Pitch für Investoren vor?"
|
|
expect_refusal: true
|
|
|
|
# --- KV-/RIS-Erweiterung (Batch kv/ris 1, 2026-09-15) ---
|
|
- id: q-101
|
|
question: "Wie hoch ist der kollektivvertragliche Mindestmonatslohn für angelernte Friseurinnen und Friseure ab 1. April 2026?"
|
|
expected_ids: [kv-kvt-422]
|
|
- id: q-102
|
|
question: "Wie hoch ist das Mindestgrundgehalt in Verwendungsgruppe III der Gehaltsordnung Information und Consulting ab 1.1.2026?"
|
|
expected_ids: [kv-kvt-056]
|
|
- id: q-103
|
|
question: "Wie viele Werktage gesetzlicher Urlaub stehen Arbeitnehmern nach dem Urlaubsgesetz zu?"
|
|
expected_ids: [ris-url-01]
|
|
- id: q-104
|
|
question: "Wann verjährt der Urlaubsanspruch nach dem Urlaubsgesetz?"
|
|
expected_ids: [ris-url-01]
|
|
- id: q-105
|
|
question: "Was gilt nach dem Nachtschwerarbeitsgesetz als Nachtarbeit?"
|
|
expected_ids: [ris-nsc-01]
|
|
- id: q-106
|
|
question: "Wann entsteht der Anspruch auf Altersteilzeitgeld?"
|
|
expected_ids: [ris-atz-01]
|
|
- id: r-005
|
|
question: "Wie hoch ist der kollektivvertragliche Mindestlohn im KV für Raumfahrttechnik?"
|
|
expect_refusal: true
|
|
note: "Branche nicht im KV-Korpus — Retrieval darf nicht leer sein, Antwort muss verweigern."
|
|
|
|
# --- Rechtsprechung / Normauszüge (Batch rj 1, 2026-09-15) ---
|
|
- id: q-120
|
|
question: "Rechtfertigt eine schriftliche Rüge eines Hauptbuchhalters den vorzeitigen Austritt?"
|
|
expected_ids: [rj-rjs-020]
|
|
note: "OGH-Rechtssatz; nur die konkret dokumentierte Rüge und Verschuldensabwägung behaupten."
|
|
- id: q-121
|
|
question: "Was entschied der Verfassungsgerichtshof zur Strafbestimmung des AVRAG bei nicht bereitgestellten Lohnunterlagen?"
|
|
expected_ids: [rj-rjs-006]
|
|
- id: q-122
|
|
question: "Wann ist das fortlaufende Gehalt nach § 15 AngG zu zahlen?"
|
|
expected_ids: [rj-rjs-333]
|
|
- id: q-123
|
|
question: "Welche Bedeutung hat nach EuGH C-29/91 der Übergang von Tätigkeiten nach einer Subventionsverlagerung?"
|
|
expected_ids: [rj-rjs-002]
|
|
note: "Nur als nichtamtliche lexetius-Textwiedergabe im Korpus; Antwort muss den Stand 1992-05 führen."
|
|
|
|
# --- Gestaltungsfragen / Entscheidungsunterstützung ---
|
|
- id: q-124
|
|
question: "Ich will meinem Mitarbeiter 500 Euro zusätzlich auszahlen. Was ist die günstigste Lösung?"
|
|
expected_ids: [wk-akt-04, lb-sva-03]
|
|
note: "Offene Gestaltungsfrage: Zeitraum, Branche/KV, gewünschte Barzahlung und persönliche Voraussetzungen fehlen. Für 2026 ist die Mitarbeiterprämie ein direkter Kandidat; Konflikt zur SV-Behandlung zwischen wk-akt-04 (pflichtig) und lb-sva-03 (beitragsfrei) ausdrücklich mit beiden IDs darstellen und gezielt rückfragen. Keine pauschale Empfehlung."
|
|
tags: [decision-support, clarification, conflict]
|
|
- id: q-125
|
|
question: "Welche abgabenbegünstigten Möglichkeiten gibt es 2026 statt einer normalen zusätzlichen Barprämie von 500 Euro?"
|
|
expected_ids: [wk-akt-04, lb-vor-11, lb-ges-01, lb-sva-04]
|
|
note: "Vergleichs-/Survey-Frage: Mitarbeiterprämie, Zukunftssicherung, Sachzuwendungen und Mahlzeiten-/Kinderbetreuungsleistungen unterscheiden; Voraussetzungen und fehlenden Arbeitnehmerkontext nennen. Nicht behaupten, alle Alternativen seien frei als Bargeld auszahlbar."
|
|
tags: [decision-support, survey]
|
|
- id: q-126
|
|
question: "Kann ich 2026 jedem Mitarbeiter einfach 500 Euro steuerfrei als Mitarbeiterprämie auszahlen?"
|
|
expected_ids: [wk-akt-04]
|
|
note: "Prämisse korrigieren: keine voraussetzungslose Auszahlung; lohngestaltende Grundlage, Zeitraum, Zusätzlichkeit und Abgaben außerhalb der Lohnsteuer anhand der Quelle erklären."
|
|
tags: [decision-support, premise-correction]
|
|
|
|
# --- Komplexe Fragen (Stufe 1, M6: Multi-Query + Temporal-Intent) ---
|
|
- id: q-110
|
|
question: "Wie hoch war der kollektivvertragliche Mindestmonatslohn für angelernte Friseurinnen und Friseure ab 1.4.2023?"
|
|
expected_ids: [kv-kvt-014]
|
|
note: "Temporal: historische KV-Fassung 2023 muss vor den 2025/2026er-
|
|
Versionen liegen. (Eine 2024er-Lohnordnung existiert im Korpus nicht:
|
|
kollektivvertrag-friseur-2024 ist der Mantelvertrag ohne Lohntabelle.)"
|
|
- id: q-111
|
|
question: "Welche Lehrlingseinkommen galten im Friseurgewerbe ab 1.4.2025?"
|
|
expected_ids: [kv-kvt-001]
|
|
note: "Temporal: KV-Fassung 2025 (nicht 2026)."
|
|
- id: q-112
|
|
question: "Was ist der Unterschied zwischen Abfertigung neu und Abfertigung alt?"
|
|
expected_ids: [lb-end-02, lb-end-03]
|
|
note: "Multi-Hop/Vergleich: beide Regime aus getrennten Eintraegen belegen."
|
|
- id: q-113
|
|
question: "Wie viele Werktage gesetzlicher Urlaub stehen Arbeitnehmern zu und welche Rolle spielt dabei der Kollektivvertrag?"
|
|
expected_ids: [ris-url-01, lb-url-05]
|
|
note: "Multi-Source: Gesetz + Kuratierung; UrlG § 2 (1) erlaubt KV-Abweichungen (§ 2 Abs. 4)." |