proxy-pool P3: интеграция curl-путей на пул (acquire/release) #2163

New issue

Closed

opened 2026-07-02 16:25:40 +00:00 by lekss361 · 0 comments

lekss361 commented

2026-07-02 16:25:40 +00:00

Owner

Часть Epic #2160, шаг P3. ⛔ Depends P2. Рискованно — меняет боевой сбор, прод-QA обязателен.

Goal

curl-пути scrapers (cian valuation/detail-curl, avito imv, yandex valuation — те что читают settings.*_proxy_url) → берут прокси из пула через proxy_pool.acquire(provider) в начале, release в конце (try/finally); на бан/ошибку mark_health(fail) + acquire следующего. Fallback на env-прокси если пул пуст (не ломать сбор).

Acceptance

curl-пути используют пул; при бане берут следующий свободный
fallback на env при пустом пуле
прод-QA: реальный curl-путь (valuation/imv) отрабатывает через пул-прокси, health обновляется, lease освобождается
lease не течёт (release в finally)

Agent: backend-engineer. Прод-QA после деплоя.

Часть Epic #2160, шаг P3. ⛔ Depends P2. **Рискованно — меняет боевой сбор, прод-QA обязателен.** ## Goal curl-пути scrapers (cian valuation/detail-curl, avito imv, yandex valuation — те что читают `settings.*_proxy_url`) → берут прокси из пула через `proxy_pool.acquire(provider)` в начале, `release` в конце (try/finally); на бан/ошибку `mark_health(fail)` + acquire следующего. Fallback на env-прокси если пул пуст (не ломать сбор). ## Acceptance - curl-пути используют пул; при бане берут следующий свободный - fallback на env при пустом пуле - прод-QA: реальный curl-путь (valuation/imv) отрабатывает через пул-прокси, health обновляется, lease освобождается - lease не течёт (release в finally) ## Agent: backend-engineer. Прод-QA после деплоя.