#3355 - scraper-kit: ещё 4 дрейна с живым чекпоинтом без метки interrupted — domclick sweep и три full-load (cian/yandex/avito) нерезюмируемы после SIGTERM - lekss361/gendesign

bot-backend commented

2026-09-05 17:58:00 +00:00

Collaborator

Находка ревью PR #3346 (#3333 закрыл city-свипы yandex/cian/newbuilding). Пред-существующий дефект того же класса у четырёх функций pipeline.py, у которых есть живой чекпоинт done_buckets, но дрейн финализируется чистым done без interrupted=1 — резюм их не берёт, чекпоинт пишется в никуда:

pipeline.py:~4372 — domclick city sweep;
~3500 → mark_done ~3697/3736/3746 — cian full-load;
~3840 → ~3940/3977/3988 — yandex full-load;
~4122 → ~4187/4243/4254 — avito full-load (exhaustive; см. #3315 — там резюм критичен для бан-бюджета).

Лечение

Та же идиома, что в #3330/#3346: {**counters.to_dict(), "interrupted": 1} в дрейн-payload (heartbeat + mark_done), done_buckets не добавлять (jsonb-мерж). Для full-load'ов проверить, что резюм читает их ключи чекпоинта (структура done_buckets у них своя).

Приёмка

Тест по значению на каждую из 4 функций: drain → interrupted==1; чистый done → не резюмируется;
Ассерт на СТАТУС финализации (mark_done vs mark_failed при нулевом дрейне — honest-status гейты runs.py:754-768) — minor из того же ревью;
Фальсификация: снятие метки в одной функции красит её тест.

Refs #3333, #3330, #3315.

Находка ревью PR #3346 (#3333 закрыл city-свипы yandex/cian/newbuilding). Пред-существующий дефект того же класса у четырёх функций pipeline.py, у которых есть живой чекпоинт `done_buckets`, но дрейн финализируется чистым `done` без `interrupted=1` — резюм их не берёт, чекпоинт пишется в никуда: - `pipeline.py:~4372` — domclick city sweep; - `~3500` → mark_done `~3697/3736/3746` — cian full-load; - `~3840` → `~3940/3977/3988` — yandex full-load; - `~4122` → `~4187/4243/4254` — avito full-load (exhaustive; см. #3315 — там резюм критичен для бан-бюджета). ## Лечение Та же идиома, что в #3330/#3346: `{**counters.to_dict(), "interrupted": 1}` в дрейн-payload (heartbeat + mark_done), `done_buckets` не добавлять (jsonb-мерж). Для full-load'ов проверить, что резюм читает их ключи чекпоинта (структура done_buckets у них своя). ## Приёмка - [ ] Тест по значению на каждую из 4 функций: drain → `interrupted==1`; чистый done → не резюмируется; - [ ] Ассерт на СТАТУС финализации (mark_done vs mark_failed при нулевом дрейне — honest-status гейты runs.py:754-768) — minor из того же ревью; - [ ] Фальсификация: снятие метки в одной функции красит её тест. Refs #3333, #3330, #3315.

Light1YT referenced this issue from a commit

2026-09-05 18:59:31 +00:00

fix(scraper): пометить SIGTERM-дрейн interrupted=1 у full-load'ов и domclick-свипа

bot-backend referenced this issue from a pull request that will close it,

2026-09-05 19:02:50 +00:00

fix(scraper-kit): дрейн-метка interrupted=1 у domclick sweep и трёх full-load — резюм после SIGTERM для всех функций с чекпоинтом #3363

bot-backend referenced this issue

2026-09-05 19:03:47 +00:00

scraper-kit: run_yandex_full_load не имеет job'а в планировщике — единственный вход админский POST, резюм/чекпоинт без авто-потребителя #3366

bot-backend referenced this issue

2026-09-05 19:22:40 +00:00

domclick city sweep: cancel-ветка пишет counters без done_buckets — резюм cancelled-прогона пересобирает всё заново #3369

bot-backend closed this issue

2026-09-05 19:28:26 +00:00

bot-backend commented

2026-09-05 19:29:05 +00:00

Author

Collaborator

PR #3363 смержен 05.09. Помимо четырёх дрейн-меток по доводке: domclick-дрейн теперь явно тащит done_buckets = sorted(skip_buckets) (app-level scrape_runs.py перезаписывает counters целиком — jsonb-мержа там нет, чекпоинт терялся: фальсификация показала None), cian получил метку и на detail-выходе по shutdown; у yandex/avito full-load второй точки нет.

Критерий приёмки (событийный, годно до 12.09): первый SIGTERM-дрейн (любой деплой МЕРЫ во время прогона) у cian_full_load / avito_full_load* / domclick_city_sweep →

SELECT id, source, status, counters->>'interrupted', jsonb_array_length(counters->'done_buckets')
  FROM scrape_runs WHERE source IN ('cian_full_load','avito_full_load','avito_full_load_exhaustive','domclick_city_sweep')
   AND counters ? 'interrupted' ORDER BY id DESC LIMIT 5;

ожидание: interrupted=1, done_buckets непуст (у domclick — унаследованные корзины), следующий claim → resume_reason='ok'.

Открытые хвосты: #3366 (yandex full-load без job'а — метка у него диагностическая), #3369 (cancel-ветка domclick без done_buckets).

PR #3363 смержен 05.09. Помимо четырёх дрейн-меток по доводке: domclick-дрейн теперь явно тащит `done_buckets = sorted(skip_buckets)` (app-level `scrape_runs.py` перезаписывает counters целиком — jsonb-мержа там нет, чекпоинт терялся: фальсификация показала `None`), cian получил метку и на detail-выходе по shutdown; у yandex/avito full-load второй точки нет. **Критерий приёмки (событийный, годно до 12.09):** первый SIGTERM-дрейн (любой деплой МЕРЫ во время прогона) у `cian_full_load` / `avito_full_load*` / `domclick_city_sweep` → ```sql SELECT id, source, status, counters->>'interrupted', jsonb_array_length(counters->'done_buckets') FROM scrape_runs WHERE source IN ('cian_full_load','avito_full_load','avito_full_load_exhaustive','domclick_city_sweep') AND counters ? 'interrupted' ORDER BY id DESC LIMIT 5; ``` ожидание: `interrupted=1`, `done_buckets` непуст (у domclick — унаследованные корзины), следующий claim → `resume_reason='ok'`. Открытые хвосты: #3366 (yandex full-load без job'а — метка у него диагностическая), #3369 (cancel-ветка domclick без `done_buckets`).

Light1YT referenced this issue from a commit

2026-09-05 19:51:58 +00:00

fix(domclick): чекпоинт done_buckets во всех payload'ах свипа

bot-backend referenced this issue

2026-09-05 19:52:43 +00:00

fix(scraper-kit): domclick city sweep — done_buckets во всех семи выходах, а не только в дрейне и одном бане #3372

bot-backend commented

2026-09-05 20:01:23 +00:00

Author

Collaborator

Поправка к моему комментарию выше (и к тексту PR #3363 про domclick): утверждение «app-level scrape_runs.py перезаписывает counters целиком — jsonb-мержа нет, чекпоинт терялся» неверно. Проверил по коду: pipeline.py:56 импортирует scraper_kit.orchestration.runs, и все его писатели мержат (runs.py:708/776/817/880: counters = COALESCE(counters,'{}') || CAST(:counters AS jsonb)); перезаписывающий app/services/scrape_runs.py (CAST(:counters AS jsonb)) — другой модуль, domclick-свипом не используемый; _pick_resume наследует done_buckets при claim (scheduler.py:741-748, #3074).

То есть чекпоинт domclick на проде не терялся; явный done_buckets в дрейн-payload (#3363) и во всех выходах (#3372) — защитная унификация на случай смены писателя, не восстановление потери. «Фальсификация показала None» — показала это на фейк-сессии теста, воспроизводящей перезапись, а не прод-писатель: классический «проба идёт не рабочим трактом».

Критерий приёмки #3355 по дрейн-метке interrupted=1 остаётся в силе — это была настоящая дыра (резюм не брал done без метки). Урок записан: два ревью разошлись в факте — проверять самому по импорту, а не выбирать более тревожное.

**Поправка к моему комментарию выше** (и к тексту PR #3363 про domclick): утверждение «app-level `scrape_runs.py` перезаписывает counters целиком — jsonb-мержа нет, чекпоинт терялся» **неверно**. Проверил по коду: `pipeline.py:56` импортирует `scraper_kit.orchestration.runs`, и все его писатели мержат (`runs.py:708/776/817/880`: `counters = COALESCE(counters,'{}') || CAST(:counters AS jsonb)`); перезаписывающий `app/services/scrape_runs.py` (`CAST(:counters AS jsonb)`) — другой модуль, domclick-свипом не используемый; `_pick_resume` наследует `done_buckets` при claim (`scheduler.py:741-748`, #3074). То есть чекпоинт domclick на проде **не терялся**; явный `done_buckets` в дрейн-payload (#3363) и во всех выходах (#3372) — защитная унификация на случай смены писателя, не восстановление потери. «Фальсификация показала None» — показала это на фейк-сессии теста, воспроизводящей перезапись, а не прод-писатель: классический «проба идёт не рабочим трактом». Критерий приёмки #3355 по дрейн-метке `interrupted=1` остаётся в силе — это была настоящая дыра (резюм не брал done без метки). Урок записан: два ревью разошлись в факте — проверять самому по импорту, а не выбирать более тревожное.

Light1YT referenced this issue from a commit

2026-09-05 20:13:24 +00:00

fix(domclick): честная мотивировка чекпоинта + один _payload() на все ветки

Light1YT referenced this issue from a commit

2026-09-05 20:16:30 +00:00

fix(scraper-kit/yandex): выпавшая страница leaf'а делает бакет неполным; capped_buckets переживает дрейн

bot-backend referenced this issue

2026-09-06 01:31:46 +00:00

tradein: две живые копии mark_failed/mark_done с разной семантикой counters — app/services/scrape_runs.py ЗАМЕНЯЕТ, scraper_kit/orchestration/runs.py МЕРЖИТ (||) #3390

bot-backend referenced this issue

2026-09-06 02:42:14 +00:00

tradein: SIGTERM-drain при деплое не помечает app-task бэкфиллы (cian_detail/cian_history/avito/domclick detail) — hard-cancel через 100 с, строки остаются running → boot-reap делает их zombie #3391

bot-backend commented

2026-09-06 02:42:20 +00:00

Author

Collaborator

Датированная приёмка (первый реальный SIGTERM-drain, деплой 07.09 02:36 UTC) — ОТРИЦАТЕЛЬНЫЙ результат для app-task бэкфиллов: in-flight были cian_detail_backfill 6167 и cian_history_backfill 6173; после «drain exceeded 100s grace — hard-cancelling» обе строки остались running и boot-reap нового контейнера сделал их zombie (boot_reaped=true), interrupted не записан. Для kit-свипов/full-load случай пока не наблюдался (в момент деплоя их не было). Разбор и фикс в одном месте (kit-scheduler при hard-cancel) — #3391.

**Датированная приёмка (первый реальный SIGTERM-drain, деплой 07.09 02:36 UTC) — ОТРИЦАТЕЛЬНЫЙ результат для app-task бэкфиллов:** in-flight были `cian_detail_backfill` 6167 и `cian_history_backfill` 6173; после «drain exceeded 100s grace — hard-cancelling» обе строки остались `running` и boot-reap нового контейнера сделал их `zombie` (`boot_reaped=true`), `interrupted` не записан. Для kit-свипов/full-load случай пока не наблюдался (в момент деплоя их не было). Разбор и фикс в одном месте (kit-scheduler при hard-cancel) — #3391.

bot-backend referenced this issue

2026-09-06 03:30:33 +00:00

tradein: прогоны, оборванные деплоем (interrupted=1), попадают в лестницы стриков — failed-ratio судит частичные counters, а done обнуляет стрик банов источника #3393

Light1YT referenced this issue from a commit

2026-09-06 06:46:06 +00:00

refactor(tradein/runs): одна реализация scrape_runs — kit, семантика counters мерж (#3390)

bot-backend referenced this issue

2026-09-06 06:49:04 +00:00

refactor(tradein): одна реализация scrape_runs — kit orchestration/runs.py, app-модуль = алиас; counters везде мержатся (#3390) #3400

Rows
Columns

scraper-kit: ещё 4 дрейна с живым чекпоинтом без метки interrupted — domclick sweep и три full-load (cian/yandex/avito) нерезюмируемы после SIGTERM #3355

Лечение

Приёмка