gendesign/tradein-mvp/packages/scraper-kit
bot-backend 39826058ea fix(tradein/scraper-kit): wire browser proxy-pool into yandex/cian SERP paths (#2160)
P4 (#2164) подключил раздачу прокси из пула (scrape_proxies) в camoufox-браузер
только для avito-путей. Yandex/Cian SERP-скраперы создавали BrowserFetcher сами в
__aenter__ без пула → весь их трафик шёл через env-прокси браузера (перегружен).

Прокидываем proxy_provider + use_pool=config.use_proxy_pool_browser в BrowserFetcher
внутри YandexRealtyScraper / CianScraper, а сам proxy_provider — через
run_yandex_city_sweep / run_yandex_full_load / run_cian_city_sweep / run_cian_full_load
и kit-scheduler (_job_yandex_city_sweep). Ship-dark сохранён: proxy_provider=None ИЛИ
флаг off → BrowserFetcher без пула = env-прокси, поведение байт-в-байт как раньше.

newbuilding.fetch_newbuilding НЕ трогали — config/proxy_provider до неё не доходят
(сигнатура без них, callers не передают), нужен отдельный рефактор.
2026-07-03 09:23:05 +03:00
..
src/scraper_kit fix(tradein/scraper-kit): wire browser proxy-pool into yandex/cian SERP paths (#2160) 2026-07-03 09:23:05 +03:00
pyproject.toml feat(scraper-kit): copy avito providers with protocol injection, strangler (#2133 avito) 2026-07-02 15:58:00 +00:00