[tradein][scrapers] Cian прокси деградировали — CIAN_PROXY_URL (socks5) таймаут + BROWSER_PROXY_CIAN 503 → detail-покрытие cian ≤3% #1801

New issue

Closed

opened 2026-06-19 16:59:05 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-06-19 16:59:05 +00:00

Owner

Проблема

Оба cian-прокси не работают, из-за чего detail-обогащение cian почти не доходит до парса (kitchen/description/ceiling/repairType все ≤3% покрытия, хотя пути парса верные — см. #1791).

Доказательства (2026-06-19)

CIAN_PROXY_URL (socks5, kf.mobileproxy.space): все запросы к ekb.cian.ru через него таймаутят (проверено 4×60s + 2×90s из контейнера tradein-scraper). Прямой curl_cffi без прокси на www.cian.ru проходит (625KB SSR).
BROWSER_PROXY_CIAN (http :2091): браузер-сервис /fetch для cian отдаёт 503 browser unavailable (proxy may be down) — camoufox-инстанс cian не поднимается (#1793 per-provider browser).
Контраст: avito/yandex per-provider browser работают (avito 872KB, yandex 4.27MB по /fetch).
Cian-листинги SERP всё ещё льются (16640 active) — SERP-парсер cian.py использует другой путь/работает на остатках; деградирует именно detail-энричмент.

Что сделать

Проверить здоровье cian mobileproxy-портов у провайдера (socks5 :2092 и http :2091 на kf.mobileproxy.space) — оплачен/жив ли, не сменились ли креды/порт.
Если порт сменился — обновить CIAN_PROXY_URL / BROWSER_PROXY_CIAN в прод .env.runtime.
После починки — прогнать cian detail-backfill, замерить рост покрытия ceiling/kitchen/description.

Усилие

S (диагностика прокси + env-обновление). Капабилити-гейтед: нужен доступ к панели mobileproxy + прод env → needs-human/resolver.

Cross-ref: #1791 (cian field mapping — путь парса починен, ждёт прокси), #1793 (per-provider browser), #886 (cian→camoufox блокирован этим прокси). Анализ: vault research/Avito_Scraper_Endpoint_Map_0619.md.

## Проблема Оба cian-прокси не работают, из-за чего detail-обогащение cian почти не доходит до парса (kitchen/description/ceiling/repairType все ≤3% покрытия, хотя пути парса верные — см. #1791). ## Доказательства (2026-06-19) - **`CIAN_PROXY_URL` (socks5, `kf.mobileproxy.space`)**: все запросы к `ekb.cian.ru` через него **таймаутят** (проверено 4×60s + 2×90s из контейнера tradein-scraper). Прямой curl_cffi без прокси на `www.cian.ru` проходит (625KB SSR). - **`BROWSER_PROXY_CIAN` (http :2091)**: браузер-сервис `/fetch` для cian отдаёт **503** `browser unavailable (proxy may be down)` — camoufox-инстанс cian не поднимается (#1793 per-provider browser). - Контраст: avito/yandex per-provider browser работают (avito 872KB, yandex 4.27MB по /fetch). - Cian-листинги SERP всё ещё льются (16640 active) — SERP-парсер `cian.py` использует другой путь/работает на остатках; деградирует именно detail-энричмент. ## Что сделать 1. Проверить здоровье cian mobileproxy-портов у провайдера (socks5 :2092 и http :2091 на `kf.mobileproxy.space`) — оплачен/жив ли, не сменились ли креды/порт. 2. Если порт сменился — обновить `CIAN_PROXY_URL` / `BROWSER_PROXY_CIAN` в прод `.env.runtime`. 3. После починки — прогнать cian detail-backfill, замерить рост покрытия ceiling/kitchen/description. ## Усилие S (диагностика прокси + env-обновление). Капабилити-гейтед: нужен доступ к панели mobileproxy + прод env → `needs-human`/resolver. **Cross-ref:** #1791 (cian field mapping — путь парса починен, ждёт прокси), #1793 (per-provider browser), #886 (cian→camoufox блокирован этим прокси). Анализ: vault `research/Avito_Scraper_Endpoint_Map_0619.md`.

lekss361 added the

labels 2026-06-19 16:59:19 +00:00

lekss361 commented

2026-06-19 17:15:26 +00:00

Author

Owner

✅ Резолвнуто (2026-06-19). Cian/yandex переключены на общий auto-rotating BackConnect прокси ha.mobileproxy.space (:2013 http для браузера, :2014 socks5 для curl) — тот же, что уже использует avito. Правка в прод backend/.env.runtime (BROWSER_PROXY_CIAN/CIAN_PROXY_URL/BROWSER_PROXY_YANDEX/YANDEX_PROXY_URL), контейнеры browser+scraper пересозданы.

Проверка после пересоздания: cian /fetch = HTTP 200, 895KB (был 503), yandex = 200, 4.2MB. Прокси поддерживает 5 параллельных коннектов → по 1 на поставщика (avito/cian/yandex/domclick/generic) в пределах лимита (enforced per-provider локами из #1793).

Покрытие cian detail (ceiling/kitchen/description) восстановится по мере прогона cian detail-backfill теперь, когда прокси жив + маппинг из #1791 (#1800) задеплоен.

✅ Резолвнуто (2026-06-19). Cian/yandex переключены на общий auto-rotating BackConnect прокси `ha.mobileproxy.space` (:2013 http для браузера, :2014 socks5 для curl) — тот же, что уже использует avito. Правка в прод `backend/.env.runtime` (`BROWSER_PROXY_CIAN`/`CIAN_PROXY_URL`/`BROWSER_PROXY_YANDEX`/`YANDEX_PROXY_URL`), контейнеры browser+scraper пересозданы. Проверка после пересоздания: cian `/fetch` = **HTTP 200, 895KB** (был 503), yandex = 200, 4.2MB. Прокси поддерживает 5 параллельных коннектов → по 1 на поставщика (avito/cian/yandex/domclick/generic) в пределах лимита (enforced per-provider локами из #1793). Покрытие cian detail (ceiling/kitchen/description) восстановится по мере прогона cian detail-backfill теперь, когда прокси жив + маппинг из #1791 (#1800) задеплоен.

lekss361 closed this issue

2026-06-19 17:15:26 +00:00

lekss361 referenced this issue

2026-06-19 17:34:16 +00:00

[tradein][scrapers] #883 Phase 2: cian.py SERP — миграция на BrowserFetcher (camoufox) #1806