906f89db98
fix(scrapers): don't leak proxy creds in parse_proxy_url ValueError ( #1945 )
...
CI / frontend-tests (pull_request) Has been skipped
CI / changes (pull_request) Successful in 6s
CI / openapi-codegen-check (pull_request) Successful in 1m52s
CI / backend-tests (pull_request) Successful in 14m11s
parse_proxy_url raised ValueError(f"...{proxy_url!r}") embedding the FULL proxy
URL incl. password. Это исключение всплывает в run_region_sweep try → пишется в
kn_scrape_runs.error (str(e)[:2000]) + log_progress + logger.exception→Sentry —
малформный proxy URL утёк бы пароль. Теперь сообщение содержит только scheme,
без сырого URL/creds. Happy-path лог уже server-only (host:port), creds не пишет.
test: ValueError-сообщение НЕ содержит пароль/юзера/сырой URL.
2026-06-28 17:42:33 +05:00
4571938b56
fix(scrapers): throttle + optional proxy levers for KN flats loader ( #1945 )
...
DOM.РФ WAF банит на full sweep (~17k req @ concurrency=8): сессия,
тронувшая gated /сервисы/api/object/* extras, получает 403 → cookies
сессии флагуются → последующие запросы (incl. flats) тоже 403.
Эмпирически (prod worker, throttle@concurrency=2, без прокси):
• flats-only, 100 объектов / 104 req — 0 WAF-бан;
• mixed flats+extras — extras 403 сразу, затем травит сессию (flats→403).
Значит throttle снижает rate, но НЕ устраняет session-poisoning от extras;
прокси (mobile-proxy, как в tradein) — следующий рычаг, off-by-default.
- config: scrape_kn_browser_concurrency=2, scrape_kn_request_jitter_{min,max}_ms,
scrape_kn_proxy_url=None (прокси опционален, дефолт — прямое подключение).
- stealth.BrowserSession: per-instance concurrency / jitter / proxy_url;
parse_proxy_url(http://user:pass@host:port → Playwright proxy-dict).
Модульный _BROWSER_CONCURRENCY=8 не тронут — catalog/nspd без изменений.
- domrf_kn.run_region_sweep + workers/tasks/scrape_kn: прокидывают новые
settings ТОЛЬКО в KN-sweep BrowserSession.
- tests: parse_proxy_url, threading concurrency/jitter/proxy, defaults unchanged.
2026-06-28 17:10:22 +05:00
