fix(scrapers): разблокировать domrf_kn flats — изоляция flats от poison-extras + throttle (#1945) #2050

Merged
bot-backend merged 3 commits from fix/kn-loader-throttle-proxy-1945 into main 2026-06-28 13:03:44 +00:00

3 commits

Author SHA1 Message Date
906f89db98 fix(scrapers): don't leak proxy creds in parse_proxy_url ValueError (#1945)
All checks were successful
CI / frontend-tests (pull_request) Has been skipped
CI / changes (pull_request) Successful in 6s
CI / openapi-codegen-check (pull_request) Successful in 1m52s
CI / backend-tests (pull_request) Successful in 14m11s
parse_proxy_url raised ValueError(f"...{proxy_url!r}") embedding the FULL proxy
URL incl. password. Это исключение всплывает в run_region_sweep try → пишется в
kn_scrape_runs.error (str(e)[:2000]) + log_progress + logger.exception→Sentry —
малформный proxy URL утёк бы пароль. Теперь сообщение содержит только scheme,
без сырого URL/creds. Happy-path лог уже server-only (host:port), creds не пишет.

test: ValueError-сообщение НЕ содержит пароль/юзера/сырой URL.
2026-06-28 17:42:33 +05:00
aafcb208e9 fix(scrapers): isolate flats from poison-extras to restore KN flats_count (#1945)
ГЛАВНЫЙ unblock. Эмпирически (prod worker):
  • flats endpoint /portal-kn/api/sales/portal/table @ concurrency=2 — 0 WAF-бан
    на 250 объектах / 251 req, 77163 flat-строк (vs текущие 9 во всём sweep);
  • extras /сервисы/api/object/{id}/* отдают 403 СРАЗУ (volume-independent, мертвы
    с 2026-06-03) И травят cookies сессии → последующие flats на ней тоже 403.
flats_count рухнул 3670→9 именно из-за shared-session отравления.

Fix: flats и extras больше НИКОГДА не делят сессию.
- run_region_sweep(extras_isolated=True, дефолт): warm flats-сессия тянет ТОЛЬКО
  flats (extras на ней не вызываются) → flats_count восстанавливается; extras
  уходят отдельным best-effort проходом _run_extras_pass с recycle BrowserSession
  на каждый WAF-403 (яд не накапливается, flats-сессия уже закрыта).
- _run_extras_pass: ранний обрыв после N подряд полностью-WAF объектов
  (_EXTRAS_ABORT_AFTER_CONSEC_WAF=5) — extras мертвы целиком, нет смысла жечь
  ~1500 релончей браузера. Любой сбой паса → log, run НЕ падает.
- extras_isolated=False → старое combined-поведение (poison-prone).
- config: scrape_kn_extras_isolated=True (ENV SCRAPE_KN_EXTRAS_ISOLATED);
  прокинут через оба worker call-site.
- рефактор: _process_flats_result / _process_extras_result / _extras_coros
  делят upsert-логику между combined-loop и isolated-pass.
- tests: _extras_coros без flats, _is_waf_poisoned, recycle-на-poison,
  early-abort на wholesale-WAF.

Сохраняет throttle + optional-proxy из предыдущего коммита.
2026-06-28 17:34:23 +05:00
4571938b56 fix(scrapers): throttle + optional proxy levers for KN flats loader (#1945)
DOM.РФ WAF банит на full sweep (~17k req @ concurrency=8): сессия,
тронувшая gated /сервисы/api/object/* extras, получает 403 → cookies
сессии флагуются → последующие запросы (incl. flats) тоже 403.

Эмпирически (prod worker, throttle@concurrency=2, без прокси):
  • flats-only, 100 объектов / 104 req — 0 WAF-бан;
  • mixed flats+extras — extras 403 сразу, затем травит сессию (flats→403).
Значит throttle снижает rate, но НЕ устраняет session-poisoning от extras;
прокси (mobile-proxy, как в tradein) — следующий рычаг, off-by-default.

- config: scrape_kn_browser_concurrency=2, scrape_kn_request_jitter_{min,max}_ms,
  scrape_kn_proxy_url=None (прокси опционален, дефолт — прямое подключение).
- stealth.BrowserSession: per-instance concurrency / jitter / proxy_url;
  parse_proxy_url(http://user:pass@host:port → Playwright proxy-dict).
  Модульный _BROWSER_CONCURRENCY=8 не тронут — catalog/nspd без изменений.
- domrf_kn.run_region_sweep + workers/tasks/scrape_kn: прокидывают новые
  settings ТОЛЬКО в KN-sweep BrowserSession.
- tests: parse_proxy_url, threading concurrency/jitter/proxy, defaults unchanged.
2026-06-28 17:10:22 +05:00