Merge commit 'cfaf67010017eab368216aded483a64126dbcb2e' as 'bahn/wissensdatenbank'

2026-06-30 21:19:25 +02:00
parent be3da80cdc cfaf670100
commit 7b6ba4a280
4724 changed files with 667022 additions and 0 deletions
@@ -0,0 +1,103 @@
+# =============================================================================
+# ALLGEMEINES WISSEN (tool-uebergreifend, scope: allgemein)
+# Bewusst getrennt von tools.yaml, da es nicht zu einem einzelnen Tool gehoert.
+# =============================================================================
+# Hinweise:
+#   incremental: true  -> nur NEUE Inhalte holen (vorhandene nicht ueberschreiben)
+#   max_pdfs           -> Batchgroesse PRO LAUF (grosse Sammlungen ueber mehrere
+#                         Laeufe vervollstaendigen)
+#   keep_raw           -> Default false (kein Roh-PDF im Repo). Nur aktivieren, wenn
+#                         das Original-PDF aus Compliance-/Audit-Gruenden gespeichert werden muss
+#                         (landet dann unter staging/raw/<domaene>/).
+# =============================================================================
+general:
+  # Kundeninfos: Detailseiten aus der (gz-)Sitemap, neueste zuerst
+  - url: "https://www.dbinfrago.com/web/aktuelles/kund-inneninformationen/kund-inneninformationen"
+    strategy: sitemap
+    scope: allgemein
+    domain: kundeninfo
+    trusted: true
+    tags: ["kundeninfo"]
+    options:
+      sitemap_url: "https://www.dbinfrago.com/service-sitemap-sdfkhsdjhfgjhsdfjkz834iuhiu-sitemap_index.xml"
+      url_pattern: "kund-inneninformationen/[^/]+-\\d{6,}$"
+      # kein limit -> ALLE Treffer des Patterns (aktuell ~1200), inkrementell
+      incremental: true
+      redact: false        # Kundeninfos sind oeffentlich -> keine Redaction
+      selector: "main"
+
+  # Schienennetz-Seiten (oeffentlich) aus der Sitemap, Pattern /web/schienennetz/
+  - url: "https://www.dbinfrago.com/web/schienennetz"
+    strategy: sitemap
+    scope: allgemein
+    domain: web
+    trusted: true
+    tags: ["web", "schienennetz"]
+    options:
+      sitemap_url: "https://www.dbinfrago.com/service-sitemap-sdfkhsdjhfgjhsdfjkz834iuhiu-sitemap_index.xml"
+      url_pattern: "/web/schienennetz/"
+      # kein limit -> ALLE Treffer (aktuell ~230), inkrementell
+      incremental: true
+      redact: false        # oeffentliche Webseite -> keine Redaction
+      selector: "main"
+
+  # ---------------------------------------------------------------------------
+  # INB 2026 (Fahrplanjahr 2026): Hauptdokument + alle Anlagen (37 PDFs)
+  # Eine vollstaendige Markdown-Datei pro PDF (kein Splitting), keine Redaction.
+  # ---------------------------------------------------------------------------
+  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/nutzungsbedingungen/INB/Infrastrukturnutzungsbedingungen-der-DB-InfraGO-AG-INB-2026-13131402"
+    strategy: pdf
+    scope: allgemein
+    domain: regulierung
+    trusted: true
+    tags: ["inb", "inb-2026", "regulierung", "recht"]
+    options:
+      max_pdfs: 50
+      incremental: true
+      redact: false
+      parser: pymupdf        # strukturiertes Markdown inkl. Tabellen
+      chunk: headings        # zusaetzlich Chunks erzeugen (output/chunks/), Voll-MD bleibt
+
+  # ---------------------------------------------------------------------------
+  # INB 2027 (Fahrplanjahr 2027)
+  # ---------------------------------------------------------------------------
+  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/nutzungsbedingungen/INB/Infrastrukturnutzungsbedingungen-der-DB-InfraGO-AG-INB-2027-13700012"
+    strategy: pdf
+    scope: allgemein
+    domain: regulierung
+    trusted: true
+    tags: ["inb", "inb-2027", "regulierung", "recht"]
+    options:
+      max_pdfs: 50
+      incremental: true
+      redact: false
+      parser: pymupdf        # strukturiertes Markdown inkl. Tabellen
+      chunk: headings        # zusaetzlich Chunks erzeugen (output/chunks/), Voll-MD bleibt
+
+  # ---------------------------------------------------------------------------
+  # Netzzugangsrelevantes Regelwerk 2026 (39 PDFs) - nur Markdown (kein Roh-PDF)
+  # ---------------------------------------------------------------------------
+  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/regelwerke/regelwerke_netzzugangsrelevant/netzzugangsrelevantes_regelwerk-2026-13175436"
+    strategy: pdf
+    scope: allgemein
+    domain: regelwerk
+    trusted: true
+    tags: ["regelwerk", "netzzugang", "2026"]
+    options:
+      max_pdfs: 25          # Batch pro Lauf; incremental vervollstaendigt den Rest
+      incremental: true
+      redact: false
+
+  # ---------------------------------------------------------------------------
+  # Betrieblich-technisches Regelwerk (198 PDFs) - nur Markdown, Batchweise
+  # ---------------------------------------------------------------------------
+  - url: "https://www.dbinfrago.com/web/schienennetz/netzzugang-und-regulierung/regelwerke/betrieblich-technisch_regelwerke/betrieblich_technisches_regelwerk-13174542"
+    strategy: pdf
+    scope: allgemein
+    domain: regelwerk
+    trusted: true
+    tags: ["regelwerk", "betrieblich-technisch"]
+    options:
+      max_pdfs: 250         # einmal komplett ziehen (198 gesamt); danach inkrementell
+      incremental: true
+      redact: false