cian SERP + persist activation flags (#2160) #2268

Merged

lekss361 merged 4 commits from fix/tradein-pool-browser-yandex-cian into main

2026-07-03 06:36:59 +00:00

lekss361 commented

2026-07-03 06:33:47 +00:00

Owner

Summary

Wiring-gap P4: USE_PROXY_POOL_BROWSER был подключён только к avito-путям. YandexRealtyScraper и CianScraper создавали BrowserFetcher в __aenter__ без proxy_provider/use_pool → yandex/cian SERP шли через один env-прокси браузера (перегружен, cian runs #564/#574 = banned). Теперь пул прокинут: providers/yandex/serp.py, providers/cian/serp.py, pipeline.py (run_yandex_city_sweep / run_yandex_full_load / run_cian_city_sweep / run_cian_full_load), scheduler.py (_job_yandex_city_sweep).
Ship-dark сохранён: proxy_provider=None ИЛИ флаг off → поведение байт-в-байт прежнее (env-прокси). Новые параметры keyword-only с дефолтом None.
Флаги активации в prod compose: USE_KIT_SCHEDULER / USE_PROXY_POOL_CURL / USE_PROXY_POOL_BROWSER перенесены из /tmp/kit-flip.yml override (прод) в docker-compose.prod.yml — иначе первый же deploy откатил бы активацию на legacy scheduler.
cian/newbuilding.py НЕ тронут: fetch_newbuilding() не получает config/proxy_provider от callers — отдельный рефактор.

Test plan

Новый tests/test_kit_serp_proxy_pool.py (5 тестов: flag-on+provider / default-dark / provider+flag-off для обоих провайдеров)
Регресс: test_proxy_pool_curl_paths, test_scraper_adapters_contracts, test_yandex_city_sweep, test_scraper_kit_pipeline_parity2, test_kit_browser_fetcher_proxy_pool, test_cian_city_sweep, test_scheduler, test_cian_newbuilding — 130+ passed
Pre-push code-reviewer: MINOR (dead-param в run_yandex_full_load) — исправлено коммитом ab335279
Post-deploy: poke yandex/cian/avito sweep → lease в scrape_proxies, runs done, listings прирост

Refs #2126, #2160

## Summary - **Wiring-gap P4:** `USE_PROXY_POOL_BROWSER` был подключён только к avito-путям. `YandexRealtyScraper` и `CianScraper` создавали `BrowserFetcher` в `__aenter__` без `proxy_provider`/`use_pool` → yandex/cian SERP шли через один env-прокси браузера (перегружен, cian runs #564/#574 = `banned`). Теперь пул прокинут: `providers/yandex/serp.py`, `providers/cian/serp.py`, `pipeline.py` (run_yandex_city_sweep / run_yandex_full_load / run_cian_city_sweep / run_cian_full_load), `scheduler.py` (`_job_yandex_city_sweep`). - **Ship-dark сохранён:** `proxy_provider=None` ИЛИ флаг off → поведение байт-в-байт прежнее (env-прокси). Новые параметры keyword-only с дефолтом `None`. - **Флаги активации в prod compose:** `USE_KIT_SCHEDULER` / `USE_PROXY_POOL_CURL` / `USE_PROXY_POOL_BROWSER` перенесены из `/tmp/kit-flip.yml` override (прод) в `docker-compose.prod.yml` — иначе первый же deploy откатил бы активацию на legacy scheduler. - `cian/newbuilding.py` НЕ тронут: `fetch_newbuilding()` не получает config/proxy_provider от callers — отдельный рефактор. ## Test plan - [x] Новый `tests/test_kit_serp_proxy_pool.py` (5 тестов: flag-on+provider / default-dark / provider+flag-off для обоих провайдеров) - [x] Регресс: test_proxy_pool_curl_paths, test_scraper_adapters_contracts, test_yandex_city_sweep, test_scraper_kit_pipeline_parity2, test_kit_browser_fetcher_proxy_pool, test_cian_city_sweep, test_scheduler, test_cian_newbuilding — 130+ passed - [x] Pre-push code-reviewer: MINOR (dead-param в run_yandex_full_load) — исправлено коммитом ab335279 - [ ] Post-deploy: poke yandex/cian/avito sweep → lease в `scrape_proxies`, runs done, listings прирост Refs #2126, #2160

Rows
Columns