feat(22d): catalog scraper — skip-today filter + force flag #348

Merged
lekss361 merged 1 commit from feat/22d-catalog-skip-today-force into main 2026-05-17 23:15:22 +00:00

1 commit

Author SHA1 Message Date
lekss361
13d07a94c7 feat(22d): catalog scraper — skip-today filter + force flag (admin "Загрузить все")
Was: 30-day staleness window (catalog_scraped_at < NOW() - INTERVAL '30 days')
Now: skip только если catalog_scraped_at = сегодня; новые (NULL) и вчерашние
грузим всегда. Admin endpoint и beat task получили `force: bool = False` —
True игнорирует skip и грузит все объекты последнего snapshot (кнопка
"Загрузить все").

- SQL: WHERE (CAST(:force AS boolean) OR catalog_scraped_at IS NULL
       OR DATE(catalog_scraped_at) < CURRENT_DATE)
- Task signature: scrape_kn_catalog_objects(region_code, max_objects, force)
- Admin POST /admin/scrape/kn-catalog-objects payload: + force: bool
- Tests: 5 новых (skip-today active, force passthrough, max_objects,
  rows processed, SQL contains skip-today predicate)

Зачем: full sweep на 1532 obj — ~50 мин/run. До сих пор повторный запуск
после партиала всё равно проходил тот же batch — нет признака "уже
обновлено сегодня". Кнопка "Загрузить все" остаётся для force-pass всего
региона (например после schema change).
2026-05-18 02:11:47 +03:00