gendesign/backend/app/workers
lekss361 b0ffca4c41 fix(scrapers): disable catalog-object SSR beat-cron — DOM.РФ WAF cooldown
DOM.РФ накатил WAF hard-ban на VPS IP после серии failed extras-сессий
(run 26/27/28 — суммарно ~15400+ requests с body '<!-- waf -->').

Catalog-object SSR (`tasks.scrape_kn_catalog_objects`) использует тот же
BrowserSession и navigates на /сервисы/каталог-новостроек/объект/{id} —
точно те же endpoints под WAF. Next beat-tick вт 26.05 04:00 UTC насыпет
300 failed SSR fetches и углубит WAF reputation penalty.

Commented out беспрепятственно (без infrastructure change). Возврат после
24-48h WAF cooldown + targeted test через admin/scrape.

Параллельные disable'ы через DB job_settings уже сделаны:
- scrape_kn (enabled=false)
- objective_sync (enabled=false)
2026-05-24 15:15:32 +03:00
..
tasks feat(22d): catalog scraper — skip-today filter + force flag (#348) 2026-05-17 23:15:22 +00:00
__init__.py init 2026-04-25 13:45:19 +03:00
beat_schedule.py fix(scrapers): disable catalog-object SSR beat-cron — DOM.РФ WAF cooldown 2026-05-24 15:15:32 +03:00
celery_app.py fix(22d): register scrape_kn_catalog_objects in celery include list (#339) 2026-05-17 21:54:13 +00:00
lifecycle.py refactor(workers): split celery_app.py god-object into 3 modules (#135) 2026-05-15 00:09:38 +03:00