104 lines
5.0 KiB
YAML
104 lines
5.0 KiB
YAML
# =============================================================================
|
|
# ALLGEMEINES WISSEN (tool-uebergreifend, scope: allgemein)
|
|
# Bewusst getrennt von tools.yaml, da es nicht zu einem einzelnen Tool gehoert.
|
|
# =============================================================================
|
|
# Hinweise:
|
|
# incremental: true -> nur NEUE Inhalte holen (vorhandene nicht ueberschreiben)
|
|
# max_pdfs -> Batchgroesse PRO LAUF (grosse Sammlungen ueber mehrere
|
|
# Laeufe vervollstaendigen)
|
|
# keep_raw -> Default false (kein Roh-PDF im Repo). Nur aktivieren, wenn
|
|
# das Original-PDF aus Compliance-/Audit-Gruenden gespeichert werden muss
|
|
# (landet dann unter staging/raw/<domaene>/).
|
|
# =============================================================================
|
|
general:
|
|
# Kundeninfos: Detailseiten aus der (gz-)Sitemap, neueste zuerst
|
|
- url: "https://www.dbinfrago.com/web/aktuelles/kund-inneninformationen/kund-inneninformationen"
|
|
strategy: sitemap
|
|
scope: allgemein
|
|
domain: kundeninfo
|
|
trusted: true
|
|
tags: ["kundeninfo"]
|
|
options:
|
|
sitemap_url: "https://www.dbinfrago.com/service-sitemap-sdfkhsdjhfgjhsdfjkz834iuhiu-sitemap_index.xml"
|
|
url_pattern: "kund-inneninformationen/[^/]+-\\d{6,}$"
|
|
# kein limit -> ALLE Treffer des Patterns (aktuell ~1200), inkrementell
|
|
incremental: true
|
|
redact: false # Kundeninfos sind oeffentlich -> keine Redaction
|
|
selector: "main"
|
|
|
|
# Schienennetz-Seiten (oeffentlich) aus der Sitemap, Pattern /web/schienennetz/
|
|
- url: "https://www.dbinfrago.com/web/schienennetz"
|
|
strategy: sitemap
|
|
scope: allgemein
|
|
domain: web
|
|
trusted: true
|
|
tags: ["web", "schienennetz"]
|
|
options:
|
|
sitemap_url: "https://www.dbinfrago.com/service-sitemap-sdfkhsdjhfgjhsdfjkz834iuhiu-sitemap_index.xml"
|
|
url_pattern: "/web/schienennetz/"
|
|
# kein limit -> ALLE Treffer (aktuell ~230), inkrementell
|
|
incremental: true
|
|
redact: false # oeffentliche Webseite -> keine Redaction
|
|
selector: "main"
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# INB 2026 (Fahrplanjahr 2026): Hauptdokument + alle Anlagen (37 PDFs)
|
|
# Eine vollstaendige Markdown-Datei pro PDF (kein Splitting), keine Redaction.
|
|
# ---------------------------------------------------------------------------
|
|
- url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/nutzungsbedingungen/INB/Infrastrukturnutzungsbedingungen-der-DB-InfraGO-AG-INB-2026-13131402"
|
|
strategy: pdf
|
|
scope: allgemein
|
|
domain: regulierung
|
|
trusted: true
|
|
tags: ["inb", "inb-2026", "regulierung", "recht"]
|
|
options:
|
|
max_pdfs: 50
|
|
incremental: true
|
|
redact: false
|
|
parser: pymupdf # strukturiertes Markdown inkl. Tabellen
|
|
chunk: headings # zusaetzlich Chunks erzeugen (output/chunks/), Voll-MD bleibt
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# INB 2027 (Fahrplanjahr 2027)
|
|
# ---------------------------------------------------------------------------
|
|
- url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/nutzungsbedingungen/INB/Infrastrukturnutzungsbedingungen-der-DB-InfraGO-AG-INB-2027-13700012"
|
|
strategy: pdf
|
|
scope: allgemein
|
|
domain: regulierung
|
|
trusted: true
|
|
tags: ["inb", "inb-2027", "regulierung", "recht"]
|
|
options:
|
|
max_pdfs: 50
|
|
incremental: true
|
|
redact: false
|
|
parser: pymupdf # strukturiertes Markdown inkl. Tabellen
|
|
chunk: headings # zusaetzlich Chunks erzeugen (output/chunks/), Voll-MD bleibt
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# Netzzugangsrelevantes Regelwerk 2026 (39 PDFs) - nur Markdown (kein Roh-PDF)
|
|
# ---------------------------------------------------------------------------
|
|
- url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/regelwerke/regelwerke_netzzugangsrelevant/netzzugangsrelevantes_regelwerk-2026-13175436"
|
|
strategy: pdf
|
|
scope: allgemein
|
|
domain: regelwerk
|
|
trusted: true
|
|
tags: ["regelwerk", "netzzugang", "2026"]
|
|
options:
|
|
max_pdfs: 25 # Batch pro Lauf; incremental vervollstaendigt den Rest
|
|
incremental: true
|
|
redact: false
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# Betrieblich-technisches Regelwerk (198 PDFs) - nur Markdown, Batchweise
|
|
# ---------------------------------------------------------------------------
|
|
- url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/regelwerke/betrieblich-technisch_regelwerke/betrieblich_technisches_regelwerk-13174542"
|
|
strategy: pdf
|
|
scope: allgemein
|
|
domain: regelwerk
|
|
trusted: true
|
|
tags: ["regelwerk", "betrieblich-technisch"]
|
|
options:
|
|
max_pdfs: 250 # einmal komplett ziehen (198 gesamt); danach inkrementell
|
|
incremental: true
|
|
redact: false
|