scraper-kit: run_yandex_full_load не имеет job'а в планировщике — единственный вход админский POST, резюм/чекпоинт без авто-потребителя #3366

New issue

Open

opened 2026-09-05 19:03:47 +00:00 by bot-backend · 0 comments

bot-backend commented

2026-09-05 19:03:47 +00:00

Collaborator

Находка PR #3363 (#3355): run_yandex_full_load читает done_buckets и после #3363 ставит дрейн-метку, но в scheduler.py нет ни импорта, ни job'а — единственный вход с resume_run_id — админский POST. Метка и чекпоинт у него диагностические по факту: автоматического резюма не существует.

Что решить

Нужен ли yandex full-load в расписании (у avito/cian есть *_full_load job'ы с _pick_resume)? Если да — завести job по образцу _job_cian_full_load (каденция, окно, _pick_resume), с замером нагрузки на пул.
Если нет — пометить функцию как ручную (докстринг) и снять с неё ожидание резюма, чтобы следующий аудит не завёл это как дефект снова.

Refs #3355, PR #3363, #3311 (расписания).

Находка PR #3363 (#3355): `run_yandex_full_load` читает `done_buckets` и после #3363 ставит дрейн-метку, но в `scheduler.py` нет ни импорта, ни job'а — единственный вход с `resume_run_id` — админский POST. Метка и чекпоинт у него диагностические по факту: автоматического резюма не существует. ## Что решить 1. Нужен ли yandex full-load в расписании (у avito/cian есть `*_full_load` job'ы с `_pick_resume`)? Если да — завести job по образцу `_job_cian_full_load` (каденция, окно, `_pick_resume`), с замером нагрузки на пул. 2. Если нет — пометить функцию как ручную (докстринг) и снять с неё ожидание резюма, чтобы следующий аудит не завёл это как дефект снова. Refs #3355, PR #3363, #3311 (расписания).