fix(scrapers): disable catalog-object SSR beat-cron — DOM.РФ WAF cooldown

DOM.РФ накатил WAF hard-ban на VPS IP после серии failed extras-сессий
(run 26/27/28 — суммарно ~15400+ requests с body '<!-- waf -->').

Catalog-object SSR (`tasks.scrape_kn_catalog_objects`) использует тот же
BrowserSession и navigates на /сервисы/каталог-новостроек/объект/{id} —
точно те же endpoints под WAF. Next beat-tick вт 26.05 04:00 UTC насыпет
300 failed SSR fetches и углубит WAF reputation penalty.

Commented out беспрепятственно (без infrastructure change). Возврат после
24-48h WAF cooldown + targeted test через admin/scrape.

Параллельные disable'ы через DB job_settings уже сделаны:
- scrape_kn (enabled=false)
- objective_sync (enabled=false)
This commit is contained in:
lekss361 2026-05-24 15:15:32 +03:00
parent 3190bbec54
commit b0ffca4c41

View file

@ -240,12 +240,18 @@ def build_beat_schedule() -> dict:
# Catalog-object scrape — наполняет ~25 NULL колонок domrf_kn_objects из SSR-страниц.
# kn-API не отдаёт wall_type, energy_eff, ceiling_height_m, parking_* и т.д.
# Вторник 04:00 UTC. batch 300/run → 1532 объекта за ~5 недель полного обновления.
schedule["scrape-kn-catalog-objects-weekly"] = {
"task": "tasks.scrape_kn_catalog_objects.scrape_kn_catalog_objects",
"schedule": _parse_cron("0 4 * * 2"), # Tuesday 04:00 UTC
"kwargs": {"region_code": 66, "max_objects": 300},
"options": {"queue": "celery"},
}
#
# DISABLED 2026-05-24: DOM.РФ WAF дал hard-ban на VPS IP после серии failed
# extras-сессий (run 26/27/28). Catalog SSR использует тот же BrowserSession
# + те же /сервисы/* paths → следующий beat-tick (вт 26.05 04:00 UTC) насыпет
# 300 failed SSR fetches и углубит WAF reputation penalty. Возврат после
# cooldown 24-48h (проверить через targeted test).
# schedule["scrape-kn-catalog-objects-weekly"] = {
# "task": "tasks.scrape_kn_catalog_objects.scrape_kn_catalog_objects",
# "schedule": _parse_cron("0 4 * * 2"), # Tuesday 04:00 UTC
# "kwargs": {"region_code": 66, "max_objects": 300},
# "options": {"queue": "celery"},
# }
# NSPD quarter dump refresh — re-enabled 2026-05-17 после Sub-PR B (#260)
# переключения search_by_quarter на grid-walk. Foundation (#247) + integration