# =============================================================================
# ALLGEMEINES WISSEN (tool-uebergreifend, scope: allgemein)
# Bewusst getrennt von tools.yaml, da es nicht zu einem einzelnen Tool gehoert.
# =============================================================================
# Hinweise:
#   incremental: true  -> nur NEUE Inhalte holen (vorhandene nicht ueberschreiben)
#   max_pdfs           -> Batchgroesse PRO LAUF (grosse Sammlungen ueber mehrere
#                         Laeufe vervollstaendigen)
#   keep_raw           -> Default false (kein Roh-PDF im Repo). Nur aktivieren, wenn
#                         das Original-PDF aus Compliance-/Audit-Gruenden gespeichert werden muss
#                         (landet dann unter staging/raw/<domaene>/).
# =============================================================================
general:
  # Kundeninfos: Detailseiten aus der (gz-)Sitemap, neueste zuerst
  - url: "https://www.dbinfrago.com/web/aktuelles/kund-inneninformationen/kund-inneninformationen"
    strategy: sitemap
    scope: allgemein
    domain: kundeninfo
    trusted: true
    tags: ["kundeninfo"]
    options:
      sitemap_url: "https://www.dbinfrago.com/service-sitemap-sdfkhsdjhfgjhsdfjkz834iuhiu-sitemap_index.xml"
      url_pattern: "kund-inneninformationen/[^/]+-\\d{6,}$"
      # kein limit -> ALLE Treffer des Patterns (aktuell ~1200), inkrementell
      incremental: true
      redact: false        # Kundeninfos sind oeffentlich -> keine Redaction
      selector: "main"

  # Schienennetz-Seiten (oeffentlich) aus der Sitemap, Pattern /web/schienennetz/
  - url: "https://www.dbinfrago.com/web/schienennetz"
    strategy: sitemap
    scope: allgemein
    domain: web
    trusted: true
    tags: ["web", "schienennetz"]
    options:
      sitemap_url: "https://www.dbinfrago.com/service-sitemap-sdfkhsdjhfgjhsdfjkz834iuhiu-sitemap_index.xml"
      url_pattern: "/web/schienennetz/"
      # kein limit -> ALLE Treffer (aktuell ~230), inkrementell
      incremental: true
      redact: false        # oeffentliche Webseite -> keine Redaction
      selector: "main"

  # ---------------------------------------------------------------------------
  # INB 2026 (Fahrplanjahr 2026): Hauptdokument + alle Anlagen (37 PDFs)
  # Eine vollstaendige Markdown-Datei pro PDF (kein Splitting), keine Redaction.
  # ---------------------------------------------------------------------------
  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/nutzungsbedingungen/INB/Infrastrukturnutzungsbedingungen-der-DB-InfraGO-AG-INB-2026-13131402"
    strategy: pdf
    scope: allgemein
    domain: regulierung
    trusted: true
    tags: ["inb", "inb-2026", "regulierung", "recht"]
    options:
      max_pdfs: 50
      incremental: true
      redact: false
      parser: pymupdf        # strukturiertes Markdown inkl. Tabellen
      chunk: headings        # zusaetzlich Chunks erzeugen (output/chunks/), Voll-MD bleibt

  # ---------------------------------------------------------------------------
  # INB 2027 (Fahrplanjahr 2027)
  # ---------------------------------------------------------------------------
  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/nutzungsbedingungen/INB/Infrastrukturnutzungsbedingungen-der-DB-InfraGO-AG-INB-2027-13700012"
    strategy: pdf
    scope: allgemein
    domain: regulierung
    trusted: true
    tags: ["inb", "inb-2027", "regulierung", "recht"]
    options:
      max_pdfs: 50
      incremental: true
      redact: false
      parser: pymupdf        # strukturiertes Markdown inkl. Tabellen
      chunk: headings        # zusaetzlich Chunks erzeugen (output/chunks/), Voll-MD bleibt

  # ---------------------------------------------------------------------------
  # Netzzugangsrelevantes Regelwerk 2026 (39 PDFs) - nur Markdown (kein Roh-PDF)
  # ---------------------------------------------------------------------------
  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/regelwerke/regelwerke_netzzugangsrelevant/netzzugangsrelevantes_regelwerk-2026-13175436"
    strategy: pdf
    scope: allgemein
    domain: regelwerk
    trusted: true
    tags: ["regelwerk", "netzzugang", "2026"]
    options:
      max_pdfs: 25          # Batch pro Lauf; incremental vervollstaendigt den Rest
      incremental: true
      redact: false

  # ---------------------------------------------------------------------------
  # Betrieblich-technisches Regelwerk (198 PDFs) - nur Markdown, Batchweise
  # ---------------------------------------------------------------------------
  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/regelwerke/betrieblich-technisch_regelwerke/betrieblich_technisches_regelwerk-13174542"
    strategy: pdf
    scope: allgemein
    domain: regelwerk
    trusted: true
    tags: ["regelwerk", "betrieblich-technisch"]
    options:
      max_pdfs: 250         # einmal komplett ziehen (198 gesamt); danach inkrementell
      incremental: true
      redact: false