fix(scrapers): disable catalog-object SSR beat-cron — DOM.РФ WAF cooldown #516

Merged

lekss361 merged 1 commit from fix/disable-catalog-ssr-waf-cooldown into main

2026-05-24 12:21:11 +00:00

Author	SHA1	Message	Date
lekss361	b0ffca4c41	fix(scrapers): disable catalog-object SSR beat-cron — DOM.РФ WAF cooldown DOM.РФ накатил WAF hard-ban на VPS IP после серии failed extras-сессий (run 26/27/28 — суммарно ~15400+ requests с body '<!-- waf -->'). Catalog-object SSR (`tasks.scrape_kn_catalog_objects`) использует тот же BrowserSession и navigates на /сервисы/каталог-новостроек/объект/{id} — точно те же endpoints под WAF. Next beat-tick вт 26.05 04:00 UTC насыпет 300 failed SSR fetches и углубит WAF reputation penalty. Commented out беспрепятственно (без infrastructure change). Возврат после 24-48h WAF cooldown + targeted test через admin/scrape. Параллельные disable'ы через DB job_settings уже сделаны: - scrape_kn (enabled=false) - objective_sync (enabled=false)	2026-05-24 15:15:32 +03:00

Author

SHA1

Message

Date

lekss361

b0ffca4c41

fix(scrapers): disable catalog-object SSR beat-cron — DOM.РФ WAF cooldown

DOM.РФ накатил WAF hard-ban на VPS IP после серии failed extras-сессий
(run 26/27/28 — суммарно ~15400+ requests с body '<!-- waf -->').

Catalog-object SSR (`tasks.scrape_kn_catalog_objects`) использует тот же
BrowserSession и navigates на /сервисы/каталог-новостроек/объект/{id} —
точно те же endpoints под WAF. Next beat-tick вт 26.05 04:00 UTC насыпет
300 failed SSR fetches и углубит WAF reputation penalty.

Commented out беспрепятственно (без infrastructure change). Возврат после
24-48h WAF cooldown + targeted test через admin/scrape.

Параллельные disable'ы через DB job_settings уже сделаны:
- scrape_kn (enabled=false)
- objective_sync (enabled=false)

2026-05-24 15:15:32 +03:00