feat(scrapers): avito SERP дефолт на BrowserFetcher (camoufox), curl_cffi fallback (#1805) #1809

Merged

lekss361 merged 1 commit from feat/avito-serp-browser-default into main

2026-06-19 17:53:12 +00:00

lekss361 commented

2026-06-19 17:45:44 +00:00

Owner

Closes #1805 (epic #883 Phase 2).

Что

config.py: scraper_fetch_mode дефолт curl_cffi → browser.
avito.py: __aenter__ поднимает BrowserFetcher(source="avito") + curl_cffi как fallback. _fetch_serp_html → dispatcher (_browser/_cffi). Browser firewall → IP-ротация → исчерпана → 1 retry curl_cffi → AvitoBlockedError.
_is_firewall_page уже ловит бан в browser-HTML (text-маркеры). _rotate_ip не тронут (no-op без rotate_url).

Тесты

202 passed (SERP/pipeline/proxy/detail-backfill) + 98 (parse/houses/imv). ruff clean.

На ревью (важно)

Config-флип scraper_fetch_mode=browser глобальный → влияет НЕ только на SERP, но и на avito_detail_backfill (общий флаг). avito_detail уже умеет browser_mode, тесты зелёные — но подтвердить, что хотим browser-дефолт для ВСЕХ avito-путей сразу (а не только SERP).
Несоответствие: __aenter__ использует != "curl_cffi", pipeline == "browser" — расходятся только на невалидных значениях (в рантайме Literal, не достижимо).
Fallback гейтится на self._cffi is not None; в pipeline-режиме (shared browser, _cffi=None) fallback пропускается — поведение как раньше.

Closes #1805 (epic #883 Phase 2). ## Что - `config.py`: `scraper_fetch_mode` дефолт `curl_cffi` → **`browser`**. - `avito.py`: `__aenter__` поднимает `BrowserFetcher(source="avito")` + curl_cffi как fallback. `_fetch_serp_html` → dispatcher (`_browser`/`_cffi`). Browser firewall → IP-ротация → исчерпана → 1 retry curl_cffi → `AvitoBlockedError`. - `_is_firewall_page` уже ловит бан в browser-HTML (text-маркеры). `_rotate_ip` не тронут (no-op без rotate_url). ## Тесты 202 passed (SERP/pipeline/proxy/detail-backfill) + 98 (parse/houses/imv). ruff clean. ## На ревью (важно) - **Config-флип `scraper_fetch_mode=browser` глобальный** → влияет НЕ только на SERP, но и на `avito_detail_backfill` (общий флаг). avito_detail уже умеет browser_mode, тесты зелёные — но подтвердить, что хотим browser-дефолт для ВСЕХ avito-путей сразу (а не только SERP). - Несоответствие: `__aenter__` использует `!= "curl_cffi"`, pipeline `== "browser"` — расходятся только на невалидных значениях (в рантайме `Literal`, не достижимо). - Fallback гейтится на `self._cffi is not None`; в pipeline-режиме (shared browser, `_cffi=None`) fallback пропускается — поведение как раньше.

lekss361 added 1 commit 2026-06-19 17:45:44 +00:00