feat(workers): data-freshness monitor (Celery beat → GlitchTip) #1904

Merged

bot-backend merged 2 commits from feat/freshness-monitor into main

2026-06-25 11:29:35 +00:00

bot-backend commented

2026-06-25 11:02:33 +00:00

Collaborator

Rank-7 follow-up: автоматический мониторинг свежести данных с алертом в GlitchTip.

Что

Логика свежести уже была в GET /admin/scrape/freshness (admin_scrape.py, реестр _FRESHNESS_SOURCES + _classify_freshness). Не хватало периодической проверки.

Вынес compute_freshness(db) из FastAPI-хендлера (единый источник правды; ответ эндпоинта байт-в-байт не изменился — 4 существующих теста зелёные).
Новый Celery-таск scrape_freshness_check: SessionLocal() → compute_freshness → при stale/failed источниках sentry_sdk.capture_message(level=...). level=error если критичный источник полностью упал, иначе warning. Дополнительно логирует в той же severity (no-DSN воркер всё равно surface'ит). Graceful: любая ошибка → лог + return, beat не падает.
Зарегистрирован в celery_app.include + beat_schedule — ежедневно 09:00 MSK (после ночного кластера скраперов 03:00-07:00).

Тесты

test_scrape_freshness_check.py (5: stale+failed→warning, critical-failed→error, all-ok→no-alert, compute раняет→graceful, хендлер делегирует) + 4 существующих endpoint-теста. 9 passed, ruff clean. Без API-schema изменений → codegen не нужен.

Closes #73 (follow-up — beat-часть)

Rank-7 follow-up: автоматический мониторинг свежести данных с алертом в GlitchTip. ## Что Логика свежести уже была в `GET /admin/scrape/freshness` (`admin_scrape.py`, реестр `_FRESHNESS_SOURCES` + `_classify_freshness`). Не хватало периодической проверки. - Вынес `compute_freshness(db)` из FastAPI-хендлера (единый источник правды; **ответ эндпоинта байт-в-байт не изменился** — 4 существующих теста зелёные). - Новый Celery-таск `scrape_freshness_check`: `SessionLocal()` → `compute_freshness` → при stale/failed источниках `sentry_sdk.capture_message(level=...)`. `level=error` если **критичный** источник полностью упал, иначе `warning`. Дополнительно логирует в той же severity (no-DSN воркер всё равно surface'ит). Graceful: любая ошибка → лог + return, beat не падает. - Зарегистрирован в `celery_app.include` + `beat_schedule` — **ежедневно 09:00 MSK** (после ночного кластера скраперов 03:00-07:00). ## Тесты `test_scrape_freshness_check.py` (5: stale+failed→warning, critical-failed→error, all-ok→no-alert, compute раняет→graceful, хендлер делегирует) + 4 существующих endpoint-теста. **9 passed**, ruff clean. Без API-schema изменений → codegen не нужен. Closes #73 (follow-up — beat-часть)

Rows
Columns