Plugin neuheiten: Web-Quellen-Crawler (4 Adapter, Rate-Limit, Dedup-Gate, Sync-UI)

This commit is contained in:
Flo Hartmann
2026-08-23 00:41:02 +00:00
parent 8c9f542b8c
commit 3b0626c774
18 changed files with 2247 additions and 18 deletions

18
TODO.md
View File

@@ -3,12 +3,12 @@
> Live-Status, wird laufend aktualisiert.
- [x] Quellen-Adapter angelegt: basis.py, spielbox.py, brettspielbox.py, cliquenabend.py
- [ ] Adapter spiel-essen
- [ ] Vollständiges Crawling (Pagination/Quartale/A-Z)
- [ ] Rate-Limit (1 req/s pro Domain) + User-Agent + ETag/Last-Modified
- [ ] Dedup-Gate vor Übernahme in Neuheitenliste
- [ ] APScheduler-Job + Env-Schalter je Quelle (_AKTIV)
- [ ] KI-Hilfsstufe optional (Struktur-Erkennung + Feld-Extraktion, Fallback klassisch)
- [ ] Sync-Übersicht im UI (/neuheiten)
- [ ] Tests (gemocktes HTML)
- [ ] README.md aktualisieren
- [x] Adapter spiel-essen
- [x] Vollständiges Crawling (Pagination/Quartale/A-Z)
- [x] Rate-Limit (1 req/s pro Domain) + User-Agent + ETag/Last-Modified
- [x] Dedup-Gate vor Übernahme in Neuheitenliste
- [x] APScheduler-Job + Env-Schalter je Quelle (_AKTIV)
- [ ] KI-Hilfsstufe optional (Struktur-Erkennung + Feld-Extraktion, Fallback klassisch) → folgt als eigener Nachtrag
- [x] Sync-Übersicht im UI (/neuheiten)
- [x] Tests (gemocktes HTML)
- [x] README.md aktualisieren