fix(tradein/scraper-kit): wire browser proxy-pool into yandex/cian SERP + persist activation flags (#2160) #2268

Merged
lekss361 merged 4 commits from fix/tradein-pool-browser-yandex-cian into main 2026-07-03 06:36:59 +00:00

4 commits

Author SHA1 Message Date
bot-backend
78bfa9555b Merge remote-tracking branch 'forgejo/main' into fix/tradein-pool-browser-yandex-cian
All checks were successful
CI Trade-In / changes (pull_request) Successful in 19s
CI / changes (pull_request) Successful in 18s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / backend-tests (pull_request) Successful in 2m11s
2026-07-03 09:33:18 +03:00
bot-backend
ab335279dc fix(tradein/scraper-kit): pass proxy_provider through run_yandex_full_load (review)
Параметр добавлялся, но не доходил до YandexRealtyScraper — dead param
(review-замечание, live caller'а у функции в kit пока нет).
2026-07-03 09:33:08 +03:00
bot-backend
a9f65c95bd chore(tradein/deploy): persist kit-scheduler + proxy-pool flags in prod compose
Флаги жили в /tmp/kit-flip.yml override на проде — любой deploy пересоздал бы
scraper без них (откат на legacy scheduler). Переносим в docker-compose.prod.yml,
чтобы активация пережила deploy.
2026-07-03 09:24:23 +03:00
bot-backend
39826058ea fix(tradein/scraper-kit): wire browser proxy-pool into yandex/cian SERP paths (#2160)
P4 (#2164) подключил раздачу прокси из пула (scrape_proxies) в camoufox-браузер
только для avito-путей. Yandex/Cian SERP-скраперы создавали BrowserFetcher сами в
__aenter__ без пула → весь их трафик шёл через env-прокси браузера (перегружен).

Прокидываем proxy_provider + use_pool=config.use_proxy_pool_browser в BrowserFetcher
внутри YandexRealtyScraper / CianScraper, а сам proxy_provider — через
run_yandex_city_sweep / run_yandex_full_load / run_cian_city_sweep / run_cian_full_load
и kit-scheduler (_job_yandex_city_sweep). Ship-dark сохранён: proxy_provider=None ИЛИ
флаг off → BrowserFetcher без пула = env-прокси, поведение байт-в-байт как раньше.

newbuilding.fetch_newbuilding НЕ трогали — config/proxy_provider до неё не доходят
(сигнатура без них, callers не передают), нужен отдельный рефактор.
2026-07-03 09:23:05 +03:00