fix(scrapers): DOM.РФ KN extras — bypass WAF + update renamed endpoints #503

Merged

lekss361 merged 1 commit from fix/domrf-kn-extras-waf-bypass into main

2026-05-24 10:53:29 +00:00

Author	SHA1	Message	Date
lekss361	1ccb44687c	fix(scrapers): bypass DOM.РФ WAF + update renamed extras endpoints DOM.РФ накатил WAF между 2026-05-17 и 2026-05-24 на /сервисы/api/object//. Без session cookies (___dmpkit___, domain_sid) — все запросы → 403 + WAF challenge HTML. Cookies выдаются после visit на /сервисы/каталог-новостроек/. Дополнительно DOM.РФ переименовал 6 endpoints (photos, 5 × doc_*) — старые URLs возвращают тот же WAF catch-all. Run 26 (2026-05-24): 15,340 fail requests (1534 obj × 10 endpoints). Extras snapshots не обновлялись с 2026-05-17. - stealth.py: BrowserSession.warm_up() — visit catalog listing, кэшит WAF cookies - domrf_kn.py: warm_up() перед Phase A/B/C (покрывает все extras запросы) - domrf_catalog_object.py: warm_up() перед SSR HTML fetch batch	2026-05-24 13:26:22 +03:00

Author

SHA1

Message

Date

lekss361

1ccb44687c

fix(scrapers): bypass DOM.РФ WAF + update renamed extras endpoints

DOM.РФ накатил WAF между 2026-05-17 и 2026-05-24 на /сервисы/api/object/*/*.
Без session cookies (___dmpkit___, domain_sid) — все запросы → 403 + WAF
challenge HTML. Cookies выдаются после visit на /сервисы/каталог-новостроек/.

Дополнительно DOM.РФ переименовал 6 endpoints (photos, 5 × doc_*) — старые
URLs возвращают тот же WAF catch-all.

Run 26 (2026-05-24): 15,340 fail requests (1534 obj × 10 endpoints).
Extras snapshots не обновлялись с 2026-05-17.

- stealth.py: BrowserSession.warm_up() — visit catalog listing, кэшит WAF cookies
- domrf_kn.py: warm_up() перед Phase A/B/C (покрывает все extras запросы)
- domrf_catalog_object.py: warm_up() перед SSR HTML fetch batch

2026-05-24 13:26:22 +03:00