bot-backend

bot-backend merged pull request lekss361/gendesign#3396

2026-09-06 05:53:38 +00:00

fix(scraper-kit/cian): фаза houses cian_city_sweep через пул прокси + стоп на пустом пуле (#3394)

bot-backend closed issue lekss361/gendesign#3394

2026-09-06 05:53:38 +00:00

tradein/cian: фаза houses у cian_city_sweep падает 0/30 с 02.09 — fetch_newbuilding зовётся без proxy_provider → env-фолбэк на мёртвый узел 9 → сайдкар 503

bot-backend pushed to main at lekss361/gendesign

2026-09-06 05:53:38 +00:00

e1f86e3c1b Merge pull request 'fix(scraper-kit/cian): фаза houses cian_city_sweep через пул прокси + стоп на пустом пуле (#3394)' (#3396) from fix/3394-cian-sweep-houses-proxy-pool into main

fdae823762 fix(#3394): стоп по пустому пулу — по цепочке причин на уровне якоря; один errors_count; ban_kind=infra под тестом

e12ece8fe6 fix(tradein/cian): houses-фаза cian_city_sweep идёт через пул прокси + стоп на пустом пуле (#3394)

Compare 3 commits »

bot-backend pushed to main at lekss361/gendesign

2026-09-06 05:53:27 +00:00

fd4bd65126 Merge pull request 'fix(tradein): прогоны, оборванные деплоем (interrupted=1), невидимы лестницам стриков и honest-status-гейтам (#3393)' (#3395) from fix/3393-interrupted-runs-outside-streaks into main

ba4fb03a05 fix(#3393): capped по сканированному окну — interrupted-строка не глушит лестницу навсегда; контроль zero-сторожа

5f94bf0eeb fix(tradein/scrape_runs): оборванный деплоем прогон вне лестниц стриков и honest-status (#3393)

Compare 3 commits »

bot-backend merged pull request lekss361/gendesign#3395

2026-09-06 05:53:25 +00:00

fix(tradein): прогоны, оборванные деплоем (interrupted=1), невидимы лестницам стриков и honest-status-гейтам (#3393)

bot-backend closed issue lekss361/gendesign#3393

2026-09-06 05:53:25 +00:00

tradein: прогоны, оборванные деплоем (interrupted=1), попадают в лестницы стриков — failed-ratio судит частичные counters, а done обнуляет стрик банов источника

bot-backend commented on pull request lekss361/gendesign#3397

2026-09-06 05:45:44 +00:00

fix(tradein/estimator): IMV-путь /estimate через пул прокси; пустой пул — честная деградация без IMV (#3386 п.в)

Code-review (06.09): ⚠️ minor. Проверено: проводка настоящая (use_proxy_pool_curl/environment у RealScraperConfig есть — scraper_adapters.py:194/204),…

bot-backend opened issue lekss361/gendesign#3398

2026-09-06 05:45:43 +00:00

tradein: пул прокси на пути /estimate — синхронный acquire без statement_timeout на event loop, IMV-баны атрибутируются источнику avito целиком, house_imv_backfill curl-путь без …

bot-backend commented on issue lekss361/gendesign#3386

2026-09-06 05:35:48 +00:00

tradein-backend без USE_PROXY_POOL_* — браузерные скрейпы из backend (yandex full-load, админ-ручки) идут на SCRAPER_PROXY_URL = выключенный узел 9 (407) → camoufox InvalidIP, 83 провала …

П. (в) — поправка и масштаб (06.09). IMV из /estimate — curl_cffi, не сайдкар (_get_or_fetch_imv_cached → evaluate_via_imv без browser_fetcher;…

bot-backend created pull request lekss361/gendesign#3397

2026-09-06 05:34:55 +00:00

fix(tradein/estimator): IMV-путь /estimate через пул прокси; пустой пул — честная деградация без IMV (#3386 п.в)

bot-backend commented on pull request lekss361/gendesign#3396

2026-09-06 04:59:40 +00:00

fix(scraper-kit/cian): фаза houses cian_city_sweep через пул прокси + стоп на пустом пуле (#3394)

Code-review (06.09): minor, блокеров нет. Подтверждено: порядок except (TimeoutError → NoProxyAvailableError → generic; логика «IP likely blocked»…

bot-backend commented on pull request lekss361/gendesign#3395

2026-09-06 04:52:54 +00:00

fix(tradein): прогоны, оборванные деплоем (interrupted=1), невидимы лестницам стриков и honest-status-гейтам (#3393)

Code-review (06.09): minor. Подтверждено: обе копии байт-в-байт (кроме кросс-ссылки в докстринге); interrupted не наследуется…

bot-backend created pull request lekss361/gendesign#3396

2026-09-06 04:47:15 +00:00

fix(scraper-kit/cian): фаза houses cian_city_sweep через пул прокси + стоп на пустом пуле (#3394)

bot-backend created pull request lekss361/gendesign#3395

2026-09-06 04:44:10 +00:00

fix(tradein): прогоны, оборванные деплоем (interrupted=1), невидимы лестницам стриков и honest-status-гейтам (#3393)

bot-backend commented on issue lekss361/gendesign#3288

2026-09-06 04:30:34 +00:00

tradein/avito: отказ сайдкара и пустой пул считаются блоками площадки и рвут добор по доле — тот же дефект, что #3283, но по ratio

Приёмка части B (#3367) — первые прогоны после деплоя 05.09 19:35 UTC:

bot-backend commented on issue lekss361/gendesign#3386

2026-09-06 04:29:51 +00:00

tradein-backend без USE_PROXY_POOL_* — браузерные скрейпы из backend (yandex full-load, админ-ручки) идут на SCRAPER_PROXY_URL = выключенный узел 9 (407) → camoufox InvalidIP, 83 провала …

**Радиус мёртвого env-фолбэка по факту (Loki, tradein-browser, строки /fetch 503 — браузер недоступен (proxy may be down), глубина…

bot-backend opened issue lekss361/gendesign#3394

2026-09-06 04:28:26 +00:00

tradein/cian: фаза houses у cian_city_sweep падает 0/30 с 02.09 — fetch_newbuilding зовётся без proxy_provider → env-фолбэк на мёртвый узел 9 → сайдкар 503

bot-backend commented on issue lekss361/gendesign#3391

2026-09-06 04:25:04 +00:00

tradein: SIGTERM-drain при деплое не помечает app-task бэкфиллы (cian_detail/cian_history/avito/domclick detail) — hard-cancel через 100 с, строки остаются running → boot-reap делает их zombie

PR #3392 смержен и задеплоен (06.09 ~04:22 UTC, BUILD_SHA=aeb1b2b в backend и scraper; маркер mark_inflight_interrupted в orchestration/scheduler.py контейне…

bot-backend closed issue lekss361/gendesign#3391

2026-09-06 04:14:08 +00:00

tradein: SIGTERM-drain при деплое не помечает app-task бэкфиллы (cian_detail/cian_history/avito/domclick detail) — hard-cancel через 100 с, строки остаются running → boot-reap делает их zombie

bot-backend pushed to main at lekss361/gendesign

2026-09-06 04:14:08 +00:00

aeb1b2b3b9 Merge pull request 'fix(scraper-kit/scheduler): SIGTERM-drain помечает in-flight прогоны interrupted=1 при hard-cancel; честный лог drain'а (#3391)' (#3392) from fix/drain-marks-inflight-app-tasks into main

a7362bc5fa fix(#3391): пульс не пишет по финализированной строке; отмена в теле тика тоже помечает; rollback/try/честный лог

30e3bacc5e fix(tradein/scheduler): SIGTERM-drain снимает с 'running' in-flight app-task'и (#3391)

Compare 3 commits »