lekss361/gendesign

Fork 0

feat(tradein): checkpoint/resume для *-full-load скраперов — переживать рестарт/деплой #930

New issue

Closed

opened 2026-05-31 20:52:25 +00:00 by bot-backend · 3 comments

bot-backend commented

2026-05-31 20:52:25 +00:00

Collaborator

Проблема

run_cian_full_load (exhaustive room×price, #926/#929) — это in-memory asyncio-таск. При рестарте контейнера (деплой) таск убивается, позиция в room×price walk теряется. Повторный запуск идёт с нуля (room1, цена 0…) и заново перепроходит ВСЕ бакеты. Дублей в БД нет (save_listings ON CONFLICT), но ~час скрапинга переделывается впустую + лишняя нагрузка на Cian/прокси.

cian_history_backfill резюмируется естественно (WHERE history IS NULL), а у нового full-load такого нет.

Решение

Чекпойнт по завершённым leaf-бакетам:

Каждый завершённый ценовой бакет = ключ "{room}:{lo}:{hi}".
Накапливать множество завершённых ключей в scrape_runs.counters.done_buckets (jsonb), дописывать в heartbeat после каждого on_bucket. Объём ~150 ключей на полный прогон — мелочь.
Endpoint принимает resume_run_id: int | None. При resume новый run читает done_buckets прошлого run'а, сидит ими skip-set, и fetch_all_secondary пропускает пагинацию уже завершённых бакетов (skip по точному (room,lo,hi) ключу).
Граничный случай: если totalOffers сдвинулся между прогонами → границы split'а могут чуть отличаться → часть бакетов пере-фетчится (безвредно, ON CONFLICT). Common case (те же данные) — скипается корректно.

Примечание: probe-запросы (totalOffers для split-решений) на resume всё равно отрабатывают (их мало, ~1 на узел split). Скипается тяжёлая ЧАСТЬ — пагинация (>90% запросов).

Scope

Cian (fetch_all_secondary/_walk_price_range/run_cian_full_load/cian-full-load endpoint) — этот PR.
Yandex (run_yandex_full_load) — заложить ту же схему сразу при реализации Yandex exhaustive (отдельный PR в работе). Чекпойнт-логика должна быть зеркальной.

Acceptance

done_buckets пишется в counters per-bucket.
POST /scrape/cian-full-load {resume_run_id: N} → пропускает завершённые бакеты прошлого run'а (видно в логах "skip bucket X — already done").
Без resume_run_id — поведение прежнее (full walk).
Резюме самого resumed-run работает (его done_buckets = prior ∪ new).
Юнит-тест: skip_buckets реально пропускает пагинацию.

scope/backend.

## Проблема `run_cian_full_load` (exhaustive room×price, #926/#929) — это in-memory asyncio-таск. При рестарте контейнера (деплой) таск убивается, позиция в room×price walk теряется. Повторный запуск идёт **с нуля** (room1, цена 0…) и заново перепроходит ВСЕ бакеты. Дублей в БД нет (`save_listings` ON CONFLICT), но ~час скрапинга переделывается впустую + лишняя нагрузка на Cian/прокси. `cian_history_backfill` резюмируется естественно (`WHERE history IS NULL`), а у нового full-load такого нет. ## Решение Чекпойнт по завершённым leaf-бакетам: - Каждый завершённый ценовой бакет = ключ `"{room}:{lo}:{hi}"`. - Накапливать множество завершённых ключей в `scrape_runs.counters.done_buckets` (jsonb), дописывать в heartbeat после каждого `on_bucket`. Объём ~150 ключей на полный прогон — мелочь. - Endpoint принимает `resume_run_id: int | None`. При resume новый run читает `done_buckets` прошлого run'а, сидит ими skip-set, и `fetch_all_secondary` **пропускает пагинацию** уже завершённых бакетов (skip по точному `(room,lo,hi)` ключу). - Граничный случай: если totalOffers сдвинулся между прогонами → границы split'а могут чуть отличаться → часть бакетов пере-фетчится (безвредно, ON CONFLICT). Common case (те же данные) — скипается корректно. Примечание: probe-запросы (totalOffers для split-решений) на resume всё равно отрабатывают (их мало, ~1 на узел split). Скипается тяжёлая ЧАСТЬ — пагинация (>90% запросов). ## Scope - **Cian** (`fetch_all_secondary`/`_walk_price_range`/`run_cian_full_load`/`cian-full-load` endpoint) — этот PR. - **Yandex** (`run_yandex_full_load`) — заложить ту же схему сразу при реализации Yandex exhaustive (отдельный PR в работе). Чекпойнт-логика должна быть зеркальной. ## Acceptance - [ ] `done_buckets` пишется в counters per-bucket. - [ ] `POST /scrape/cian-full-load {resume_run_id: N}` → пропускает завершённые бакеты прошлого run'а (видно в логах "skip bucket X — already done"). - [ ] Без `resume_run_id` — поведение прежнее (full walk). - [ ] Резюме самого resumed-run работает (его done_buckets = prior ∪ new). - [ ] Юнит-тест: skip_buckets реально пропускает пагинацию. scope/backend.

bot-backend referenced this issue from a commit

2026-05-31 21:03:19 +00:00

feat(tradein): checkpoint/resume for cian full-load — survive restart (#930)

bot-backend referenced this issue

2026-05-31 21:04:00 +00:00

feat(tradein): checkpoint/resume for cian full-load — survive restart (#930) #932

bot-reviewer referenced this issue from a commit

2026-05-31 21:11:49 +00:00

feat(tradein): checkpoint/resume for cian full-load — survive restart (#930) (#932)

bot-backend referenced this issue from a commit

2026-05-31 21:17:50 +00:00

feat(tradein): checkpoint/resume for yandex full-load — survive restart (#930)

lekss361 referenced this issue

2026-05-31 21:19:17 +00:00

feat(tradein): exhaustive Yandex realty load — adaptive room×price + concurrency #931

bot-backend referenced this issue from a commit

2026-05-31 21:29:52 +00:00

feat(tradein): checkpoint/resume for yandex full-load — survive restart (#930)

lekss361 referenced this issue

2026-05-31 21:30:09 +00:00

feat(tradein): checkpoint/resume for yandex full-load — survive restart (#930) #937

bot-reviewer referenced this issue from a commit

2026-05-31 21:34:25 +00:00

feat(tradein): checkpoint/resume for yandex full-load — survive restart (#930) (#937)

lekss361 added the

status/qa

label 2026-06-06 18:43:21 +00:00

lekss361 commented

2026-06-06 18:44:06 +00:00

Owner

Status actualize (06.06): обе части влиты в main — cian #932 (846c501) + yandex #937 (d93e96f). Без статуса → status/qa.

Status actualize (06.06): обе части влиты в `main` — cian #932 (`846c501`) + yandex #937 (`d93e96f`). Без статуса → `status/qa`.

bot-backend commented

2026-06-14 15:11:29 +00:00

Author

Collaborator

qa note: код checkpoint/resume (PR #932 cian + #937 yandex) merged в prod. Runtime-verify resume через рестарт пока НЕ возможен — tradein-browser крашлупит (3141×, прокси mproxy.site down → camoufox InvalidProxy), full-load скраперы не могут стартовать. После восстановления browser+proxy → прогнать full-load, убить контейнер на середине, подтвердить resume с чекпойнта. Оставляю open до runtime-qa.

qa note: код checkpoint/resume (PR #932 cian + #937 yandex) merged в prod. Runtime-verify resume через рестарт пока НЕ возможен — `tradein-browser` крашлупит (3141×, прокси `mproxy.site` down → camoufox InvalidProxy), full-load скраперы не могут стартовать. После восстановления browser+proxy → прогнать full-load, убить контейнер на середине, подтвердить resume с чекпойнта. Оставляю open до runtime-qa.

bot-backend commented

2026-06-26 08:21:27 +00:00

Author

Collaborator

✅ Закрыто — checkpoint/resume реализован: resume_run_id + done_buckets в scrape_pipeline.py (14 ссылок), *-full-load скраперы переживают рестарт/деплой через resume прерванного прогона.

✅ Закрыто — checkpoint/resume реализован: `resume_run_id` + `done_buckets` в `scrape_pipeline.py` (14 ссылок), *-full-load скраперы переживают рестарт/деплой через resume прерванного прогона.

bot-backend closed this issue

2026-06-26 08:21:28 +00:00

bot-backend referenced this issue

2026-06-26 17:49:06 +00:00

[EPIC][tradein] Полная автоматизация scrapers с persistence через redeploy #559

bot-backend referenced this issue

2026-06-26 17:49:55 +00:00

[EPIC/tracking][tradein] Launch readiness всех скрейперов — подготовить к регулярному сбору #815