tradein: «пул пуст на старте батча» у cian/domclick detail-бэкфиллов уходит мимо no_proxy_stop — scheduler пишет failed со стухшими counters #3384

New issue

Closed

opened 2026-09-05 21:47:39 +00:00 by bot-backend · 1 comment

bot-backend commented

2026-09-05 21:47:39 +00:00

Collaborator

Находка code-review PR #3382 (#3197), общая для двух бэкфиллов, не регрессия ветки.

Факт. BrowserFetcher._acquire_lease() живёт в __aenter__ (scraper_kit/browser_fetcher.py:~444). Если пул пуст до первого объявления, NoProxyAvailableError вылетает из async with BrowserFetcher(...) — у app/tasks/cian_history_backfill.py:~218 и у app/tasks/domclick_detail_backfill.py:~403 — мимо всей стоп-механики внутри цикла (caused_by_no_proxy → no_proxy_stop, break). Scheduler ловит это общим except Exception (app/services/scheduler.py:~206 для cian; аналог у domclick) и пишет mark_failed со стухшими нулевыми counters и без no_proxy_stop. Статус честный (failed), диагноз теряется: SQL-разбор простоя по counters.no_proxy_stop (#3288 п.2, #3367) этот случай не найдёт.

Для сравнения avito_detail_backfill после #3367 распознаёт пустой пул и на входе (проверить и записать сюда, где именно).

Чинить: ловить NoProxyAvailableError вокруг async with (или в scheduler по цепочке причин через общий caused_by_no_proxy) → те же counters.no_proxy_stop=1 + mark_failed("пул прокси пуст — к площадке не ходили"), что и внутри цикла. Тест — через настоящий async with BrowserFetcher с провайдером, чей acquire поднимает NoProxyAvailableError (не мок самого бэкфилла).

Приёмка: прогон с пустым пулом на старте — status='failed', counters.no_proxy_stop=1, attempted=0; тест краснеет на текущем main.

Refs #3197, PR #3382, #3283, #3288.

Находка code-review PR #3382 (#3197), общая для двух бэкфиллов, не регрессия ветки. **Факт.** `BrowserFetcher._acquire_lease()` живёт в `__aenter__` (`scraper_kit/browser_fetcher.py:~444`). Если пул пуст **до первого объявления**, `NoProxyAvailableError` вылетает из `async with BrowserFetcher(...)` — у `app/tasks/cian_history_backfill.py:~218` и у `app/tasks/domclick_detail_backfill.py:~403` — мимо всей стоп-механики внутри цикла (`caused_by_no_proxy` → `no_proxy_stop`, `break`). Scheduler ловит это общим `except Exception` (`app/services/scheduler.py:~206` для cian; аналог у domclick) и пишет `mark_failed` со **стухшими нулевыми counters** и без `no_proxy_stop`. Статус честный (`failed`), диагноз теряется: SQL-разбор простоя по `counters.no_proxy_stop` (#3288 п.2, #3367) этот случай не найдёт. Для сравнения `avito_detail_backfill` после #3367 распознаёт пустой пул и на входе (проверить и записать сюда, где именно). **Чинить:** ловить `NoProxyAvailableError` вокруг `async with` (или в scheduler по цепочке причин через общий `caused_by_no_proxy`) → те же `counters.no_proxy_stop=1` + `mark_failed("пул прокси пуст — к площадке не ходили")`, что и внутри цикла. Тест — через настоящий `async with BrowserFetcher` с провайдером, чей `acquire` поднимает `NoProxyAvailableError` (не мок самого бэкфилла). **Приёмка:** прогон с пустым пулом на старте — `status='failed'`, `counters.no_proxy_stop=1`, `attempted=0`; тест краснеет на текущем main. Refs #3197, PR #3382, #3283, #3288.

bot-backend referenced this issue

2026-09-05 21:49:26 +00:00

fix(tradein/cian): cian_history_backfill идёт через пул прокси + стоп на пустом пуле (#3197, точка 1 из 3) #3382

bot-backend referenced this issue

2026-09-05 21:59:50 +00:00

tradein/avito: отказ сайдкара и пустой пул считаются блоками площадки и рвут добор по доле — тот же дефект, что #3283, но по ratio #3288

Light1YT referenced this issue from a commit

2026-09-06 00:48:45 +00:00

fix(tradein): пустой пул ДО первого объявления теряет диагноз в записи прогона (#3384)

bot-backend referenced this issue from a pull request that will close it,

2026-09-06 00:50:49 +00:00

fix(tradein): пустой пул на старте батча пишет no_proxy_stop у cian/domclick/avito detail-бэкфиллов (#3384) #3388

Light1YT referenced this issue from a commit

2026-09-06 01:29:01 +00:00

fix(#3384): cian — в mark_failed уходит только измеренное, нули heartbeat не затираются; стаб пула как прод

bot-backend referenced this issue

2026-09-06 01:31:46 +00:00

tradein: две живые копии mark_failed/mark_done с разной семантикой counters — app/services/scrape_runs.py ЗАМЕНЯЕТ, scraper_kit/orchestration/runs.py МЕРЖИТ (||) #3390

bot-backend closed this issue

2026-09-06 02:24:39 +00:00

bot-backend referenced this issue from a commit

2026-09-06 02:24:39 +00:00

Merge pull request 'fix(tradein): пустой пул на старте батча пишет no_proxy_stop у cian/domclick/avito detail-бэкфиллов (#3384)' (#3388) from fix/3384-no-proxy-at-batch-start into main

bot-backend commented

2026-09-06 02:40:21 +00:00

Author

Collaborator

PR #3388 смержен и задеплоен (07.09 ~01:50 UTC, BUILD_SHA=3fe2d31; no_proxy_stop в app/services/scheduler.py контейнера scraper — 6 вхождений). У cian в mark_failed уезжает последний снимок heartbeat + флаг (app-копия mark_failed заменяет counters — #3390). Приёмка событийная: первый прогон cian/domclick/avito при пустом пуле на старте — failed + no_proxy_stop=1 + attempted=0, в логах proxy_pool acquire(<source>) empty in production — refusing.

PR #3388 смержен и задеплоен (07.09 ~01:50 UTC, `BUILD_SHA=3fe2d31`; `no_proxy_stop` в `app/services/scheduler.py` контейнера scraper — 6 вхождений). У cian в `mark_failed` уезжает последний снимок heartbeat + флаг (app-копия `mark_failed` заменяет counters — #3390). Приёмка событийная: первый прогон cian/domclick/avito при пустом пуле на старте — `failed` + `no_proxy_stop=1` + `attempted=0`, в логах `proxy_pool acquire(<source>) empty in production — refusing`.

Light1YT referenced this issue from a commit

2026-09-06 06:46:06 +00:00

refactor(tradein/runs): одна реализация scrape_runs — kit, семантика counters мерж (#3390)