scraper-kit: дрейн-метка interrupted только у avito_city_sweep — у yandex/cian/newbuilding дрейн по-прежнему неотличим от полного done #3333

New issue

Closed

opened 2026-09-02 11:42:11 +00:00 by bot-backend · 0 comments

bot-backend commented

2026-09-02 11:42:11 +00:00

Collaborator

Отпочковано из #3319/#3330 (out-of-scope пункт отчёта воркера: «другие провайдеры не трогать»).

PR #3330 ввёл метку counters['interrupted']=1 при SIGTERM-drain и резюм done-прогонов ТОЛЬКО с этой меткой — но пишет её один avito_city_sweep. У yandex (pipeline.py:~2356), cian (~2960) и newbuilding (~2098) дрейн финализируется как чистый done с частичными counters — недоделанный обход объявляется готовым и выпадает из резюма.

Механизм в планировщике после #3330 общий (_drained_done в _resume_decision) — дописать метку в дрейн-ветки трёх провайдеров дёшево.

Приёмка

Тест по значению на каждый из трёх: drain → counters.interrupted=1, резюм подхватывает;
Чистый done без метки резюмом НЕ подхватывается (анти-цикл);
Фальсификация: снятие метки в одном провайдере красит его тест.

Refs #3319, #3330.

Отпочковано из #3319/#3330 (out-of-scope пункт отчёта воркера: «другие провайдеры не трогать»). PR #3330 ввёл метку `counters['interrupted']=1` при SIGTERM-drain и резюм `done`-прогонов ТОЛЬКО с этой меткой — но пишет её один avito_city_sweep. У yandex (`pipeline.py:~2356`), cian (`~2960`) и newbuilding (`~2098`) дрейн финализируется как чистый `done` с частичными counters — недоделанный обход объявляется готовым и выпадает из резюма. Механизм в планировщике после #3330 общий (`_drained_done` в `_resume_decision`) — дописать метку в дрейн-ветки трёх провайдеров дёшево. ## Приёмка - [ ] Тест по значению на каждый из трёх: drain → counters.interrupted=1, резюм подхватывает; - [ ] Чистый done без метки резюмом НЕ подхватывается (анти-цикл); - [ ] Фальсификация: снятие метки в одном провайдере красит его тест. Refs #3319, #3330.