fix(scrapers): throttle + optional proxy levers for KN flats loader (#1945)
DOM.РФ WAF банит на full sweep (~17k req @ concurrency=8): сессия,
тронувшая gated /сервисы/api/object/* extras, получает 403 → cookies
сессии флагуются → последующие запросы (incl. flats) тоже 403.
Эмпирически (prod worker, throttle@concurrency=2, без прокси):
• flats-only, 100 объектов / 104 req — 0 WAF-бан;
• mixed flats+extras — extras 403 сразу, затем травит сессию (flats→403).
Значит throttle снижает rate, но НЕ устраняет session-poisoning от extras;
прокси (mobile-proxy, как в tradein) — следующий рычаг, off-by-default.
- config: scrape_kn_browser_concurrency=2, scrape_kn_request_jitter_{min,max}_ms,
scrape_kn_proxy_url=None (прокси опционален, дефолт — прямое подключение).
- stealth.BrowserSession: per-instance concurrency / jitter / proxy_url;
parse_proxy_url(http://user:pass@host:port → Playwright proxy-dict).
Модульный _BROWSER_CONCURRENCY=8 не тронут — catalog/nspd без изменений.
- domrf_kn.run_region_sweep + workers/tasks/scrape_kn: прокидывают новые
settings ТОЛЬКО в KN-sweep BrowserSession.
- tests: parse_proxy_url, threading concurrency/jitter/proxy, defaults unchanged.
Light1YT
4571938b56