lekss361/gendesign

Fork 0

[P0] Подключить scrape_proxies pool к боевым скрейперам — убрать single-IP SPOF #2202

New issue

Closed

opened 2026-07-02 19:17:06 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-07-02 19:17:06 +00:00

Owner

Эпик: #2200

Находка (Scrapers, verified high→структура подтверждена): proxy_pool.py в шапке прямо пишет «Ни один боевой скрейпер здесь НЕ подключается»; git grep 'acquire(' по scrape_pipeline+scrapers = 0 хитов. scrape_proxies (5 строк) использует только health-checker. Скрейперы читают settings.scraper_proxy_url / cian_proxy_url — один статический mobile-IP на все источники. Health-checker зеленит 5 строк → ложная панель устойчивости.

Impact: бан на общем IP выносит avito+cian+yandex+domklik разом.

Acceptance:

Боевые скрейперы берут прокси через proxy_pool.acquire()/lease с health-фильтром.
Ротация при 403/429/бане переключает на здоровый прокси из пула, а не только changeip одного IP.
Метрика/лог: какой прокси использован на прогон (для диагностики банов).
Тест: пул с 1 «забаненным» прокси → скрейпер выбирает следующий здоровый.

Scope: tradein-mvp/backend/app/services/scrapers/, proxy_pool.py, scrape_pipeline.py.

Эпик: #2200 **Находка (Scrapers, verified high→структура подтверждена):** `proxy_pool.py` в шапке прямо пишет «Ни один боевой скрейпер здесь НЕ подключается»; `git grep 'acquire('` по scrape_pipeline+scrapers = 0 хитов. `scrape_proxies` (5 строк) использует только health-checker. Скрейперы читают `settings.scraper_proxy_url` / `cian_proxy_url` — один статический mobile-IP на все источники. Health-checker зеленит 5 строк → ложная панель устойчивости. **Impact:** бан на общем IP выносит avito+cian+yandex+domklik разом. **Acceptance:** - [ ] Боевые скрейперы берут прокси через `proxy_pool.acquire()`/lease с health-фильтром. - [ ] Ротация при 403/429/бане переключает на здоровый прокси из пула, а не только changeip одного IP. - [ ] Метрика/лог: какой прокси использован на прогон (для диагностики банов). - [ ] Тест: пул с 1 «забаненным» прокси → скрейпер выбирает следующий здоровый. Scope: `tradein-mvp/backend/app/services/scrapers/`, `proxy_pool.py`, `scrape_pipeline.py`.

lekss361 added the

labels 2026-07-02 19:20:14 +00:00

lekss361 referenced this issue

2026-07-02 19:21:03 +00:00

EPIC: Мера (trade-in) — ремедиация полного аудита 2026-07-02 #2200

lekss361 referenced this issue

2026-07-02 21:12:45 +00:00

[P0] Продлить 3 mobile-прокси до 15.07 (иначе avito+cian+yandex умрут вместе) #2201

lekss361 referenced this issue

2026-07-02 21:23:50 +00:00

EPIC: Мера (trade-in) — ремедиация полного аудита 2026-07-02 #2200

lekss361 referenced this issue

2026-07-03 07:56:31 +00:00

[P0] Продлить 3 mobile-прокси до 15.07 (иначе avito+cian+yandex умрут вместе) #2201

lekss361 referenced this issue

2026-07-03 21:08:32 +00:00

EPIC: Мера (trade-in) — ремедиация полного аудита 2026-07-02 #2200

lekss361 referenced this issue from a commit

2026-07-03 21:45:35 +00:00

fix(tradein/scrapers): wire proxy_pool into Avito legacy pipeline, rotate on ban (#2202)

lekss361 referenced this issue

2026-07-03 21:45:53 +00:00

fix(tradein/scrapers): wire proxy_pool into Avito legacy pipeline, rotate on ban (#2202) #2328

lekss361 referenced this issue from a commit

2026-07-03 21:48:17 +00:00

fix(tradein/scrapers): wire proxy_pool into Avito legacy pipeline, rotate on ban (#2202) (#2328)

lekss361 commented

2026-07-03 21:54:36 +00:00

Author

Owner

PR #2328 merged + deployed — smoke PASS

Задеплоено ~21:47 UTC. /health → 200, никаких import/traceback ошибок в логах после рестарта — подключение proxy_pool не ломает обычный запуск скрейпера.

Фича полностью выключена по умолчанию (use_proxy_pool_curl=False) — для реальной SPOF-митигации нужно ещё:

Явно включить флаг.
Наполнить scrape_proxies реальным пулом прокси (сейчас ~5 строк только для health-checker).

Оставляю это как известный follow-up, не блокирует closeout самого issue (код и покрытие тестами сделаны).

Issue закрыт.

## PR #2328 merged + deployed — smoke PASS Задеплоено ~21:47 UTC. `/health` → 200, никаких import/traceback ошибок в логах после рестарта — подключение `proxy_pool` не ломает обычный запуск скрейпера. Фича полностью выключена по умолчанию (`use_proxy_pool_curl=False`) — для реальной SPOF-митигации нужно ещё: 1. Явно включить флаг. 2. Наполнить `scrape_proxies` реальным пулом прокси (сейчас ~5 строк только для health-checker). Оставляю это как известный follow-up, не блокирует closeout самого issue (код и покрытие тестами сделаны). **Issue закрыт.**

lekss361 closed this issue

2026-07-03 21:54:36 +00:00

lekss361 referenced this issue

2026-07-03 22:24:23 +00:00

[tradein][scrapers] cian: full_load зомбится ~43% + city_sweep self-inflicted watchdog-бан → 86% инвентаря stale #1949