feat(scrapers): cian SERP на BrowserFetcher (camoufox), снят code-side rotate (#1806) #1810

Merged

lekss361 merged 1 commit from feat/cian-serp-browser into main

2026-06-19 17:52:00 +00:00

lekss361 commented

2026-06-19 17:45:51 +00:00

Owner

Closes #1806 (epic #883 Phase 2).

Что

cian.py: убран curl_cffi, __aenter__ → BrowserFetcher(source="cian") (+ __aexit__ закрывает). Warm-up GET удалён (camoufox держит сессию server-side).
_fetch_page_html + fetch_around → await self._browser.fetch(url). State-парсинг (_parse_serp_html/extract_state) без изменений (браузер отдаёт полный SSR).
_rotate_ip → no-op return False (прокси ротирует сам per-request). Captcha-ретрай в _walk_price_range → повторный fetch на свежем IP.

Тесты

85 passed (SERP/exhaustive/city-sweep/session) + 130 (расширенный). +5 транспорт-тестов. (1 fail test_cian_valuation::test_cache_hit — pre-existing на main, вне diff.)

На ревью

Нет curl_cffi-fallback (browser-only, зеркалит yandex_realty) — captcha-обработка через retry на свежем IP. Достаточно ли?
_rotate_ip no-op: проверить, что мокающие тесты не сломаны (worker: зелёные).
Pre-existing test_cian_valuation fail — отдельный issue, не блок этого PR.

Closes #1806 (epic #883 Phase 2). ## Что - `cian.py`: убран curl_cffi, `__aenter__` → `BrowserFetcher(source="cian")` (+ `__aexit__` закрывает). Warm-up GET удалён (camoufox держит сессию server-side). - `_fetch_page_html` + `fetch_around` → `await self._browser.fetch(url)`. State-парсинг (`_parse_serp_html`/`extract_state`) без изменений (браузер отдаёт полный SSR). - `_rotate_ip` → no-op `return False` (прокси ротирует сам per-request). Captcha-ретрай в `_walk_price_range` → повторный fetch на свежем IP. ## Тесты 85 passed (SERP/exhaustive/city-sweep/session) + 130 (расширенный). +5 транспорт-тестов. (1 fail `test_cian_valuation::test_cache_hit` — **pre-existing на main**, вне diff.) ## На ревью - Нет curl_cffi-fallback (browser-only, зеркалит yandex_realty) — captcha-обработка через retry на свежем IP. Достаточно ли? - `_rotate_ip` no-op: проверить, что мокающие тесты не сломаны (worker: зелёные). - Pre-existing `test_cian_valuation` fail — отдельный issue, не блок этого PR.

lekss361 added 1 commit 2026-06-19 17:45:52 +00:00