feat(browser): per-provider concurrency — параллель между поставщиками, ≤1 коннект на поставщика (#1793) #1794

Merged

lekss361 merged 2 commits from feat/browser-per-provider-concurrency into main

2026-06-19 16:02:14 +00:00

lekss361 commented

2026-06-19 15:54:02 +00:00

Owner

Closes #1793.

Что

Рефактор tradein-browser (browser/server.py) с единого глобального браузера на per-provider модель: параллелизм между поставщиками (avito/cian/yandex одновременно), но ≤1 одновременный fetch на поставщика.

Как

_provider_for_url(url) — host → provider (avito/cian/yandex/generic).
_provider_proxy(provider) — BROWSER_PROXY_* (primary, http) + legacy *_PROXY_URL fallback. BROWSER_PROXY_* перебивает socks5-legacy (playwright не умеет socks5+auth).
Глобальное состояние → per-provider словари: _browsers/_browser_cms/_page_counters/_locks/_retry_tasks, ленивое создание локов.
fetch_handler/login_handler резолвят provider (явный body["provider"] или host) → блокируют ТОЛЬКО лок этого поставщика.
Сохранены: recycle, crash-recovery, per-provider retry при недоступном прокси, санитизация кред в логах.
/health → {"status":"ok","browsers":{"avito":bool,"cian":bool,"yandex":bool,"generic":bool}}. Контракты /fetch//login неизменны.
Убран старый FEATURE_BROWSER_POOL_ENABLED + proxy-url-keyed pool (per-provider теперь безусловный).

Тесты

34 passed (concurrency: same-provider peak==1, cross-provider peak==3). Ruff clean.

На ревью

Регрессии vs убранного pool (_fetch_sem/_inflight/_launch_lock).
browser_fetcher.py шлёт {"url","source"} — сервер резолвит по host, source игнорится (значения совпадают). Контракт не сломан.
Память: 3-4 camoufox-инстанса (lazy) vs лимит 5ГБ — проверить на проде после деплоя.

Closes #1793. ## Что Рефактор `tradein-browser` (`browser/server.py`) с единого глобального браузера на **per-provider** модель: параллелизм между поставщиками (avito/cian/yandex одновременно), но **≤1 одновременный fetch на поставщика**. ## Как - `_provider_for_url(url)` — host → provider (avito/cian/yandex/generic). - `_provider_proxy(provider)` — `BROWSER_PROXY_*` (primary, http) + legacy `*_PROXY_URL` fallback. BROWSER_PROXY_* перебивает socks5-legacy (playwright не умеет socks5+auth). - Глобальное состояние → per-provider словари: `_browsers/_browser_cms/_page_counters/_locks/_retry_tasks`, ленивое создание локов. - `fetch_handler`/`login_handler` резолвят provider (явный `body["provider"]` или host) → блокируют ТОЛЬКО лок этого поставщика. - Сохранены: recycle, crash-recovery, per-provider retry при недоступном прокси, санитизация кред в логах. - `/health` → `{"status":"ok","browsers":{"avito":bool,"cian":bool,"yandex":bool,"generic":bool}}`. Контракты `/fetch`/`/login` неизменны. - Убран старый `FEATURE_BROWSER_POOL_ENABLED` + proxy-url-keyed pool (per-provider теперь безусловный). ## Тесты 34 passed (concurrency: same-provider peak==1, cross-provider peak==3). Ruff clean. ## На ревью - Регрессии vs убранного pool (`_fetch_sem`/`_inflight`/`_launch_lock`). - `browser_fetcher.py` шлёт `{"url","source"}` — сервер резолвит по host, `source` игнорится (значения совпадают). Контракт не сломан. - Память: 3-4 camoufox-инстанса (lazy) vs лимит 5ГБ — проверить на проде после деплоя.

lekss361 added 1 commit 2026-06-19 15:54:03 +00:00