lekss361/gendesign

Fork 0

fix(#231): re-enable nspd-harvest-stale-quarters beat schedule (Sub-PR D) #267

Merged

lekss361 merged 1 commit from fix/231-nspd-beat-reenable into main

2026-05-17 07:50:35 +00:00

lekss361 commented

2026-05-17 07:37:42 +00:00

Owner

Summary

Финал плана #126/#231 — closes #231. Beat schedule nspd-harvest-stale-quarters отключён 2026-05-14 (vault post-mortem fixes/Bug_NSPD_WMS_NotBulk_2026_May14.md) пока grid-walk не работал. Теперь когда foundation + integration merged + production-ready — re-enable.

Зачем сейчас безопасно

PR	Что закрыл
#247 (Sub-PR A)	Foundation: `get_features_in_bbox_grid` + cyrillic classifier
#250 (Sub-PR C)	UX mitigation #234: countdown badge + SETNX dedupe
#260 (Sub-PR B)	Integration: `search_by_quarter` dispatch + per-instance semaphore + `time_limit=900`

Без всех трёх — beat fanout бы вернул пустые dumps (то почему был DISABLED) и съел WAF budget. С ними — каждый harvest_quarter пишет полноценный nspd_quarter_dumps row.

Изменения

backend/app/workers/beat_schedule.py (+15/-17):

Откомментирован schedule["nspd-harvest-stale-quarters"] entry
Cron 0 1 * * mon (01:00 UTC = 04:00 МСК) — minimal traffic window
batch_size=50 per tick — ограничивает WAF burst (3 conc requests × 50 quarters × ~14s ≈ 12 мин total task wall time, влезает в time_limit=900s)
max_age_days=90 — refresh свежее квартала + захватывает новые / отсутствующие dumps (где fetched_at IS NULL)
Comment block обновлён: links to PR #247/#250/#260 instead of post-mortem-only

Operations

ЕКБ back-fill volume: ~11k кварталов в cad_quarters_geom × batch_size=50/week ≈ 220 weeks для полного backfill. Это безопасный baseline. Если нужно faster — manual trigger POST /api/v1/admin/scrape/nspd-harvest-quarter per cad, либо разово увеличить batch_size на 1 неделю.
Monitoring: после первого тика (Mon 2026-05-25 04:00 МСК) — check SELECT COUNT(*) FROM nspd_quarter_dumps WHERE fetched_at_utc > NOW() - INTERVAL '1 day' → должно быть ≥ 50.
Sentry/GlitchTip: при WAF 403 burst — celery task fail → GlitchTip alert. Безопасно — autoretry уже настроен.

Live contract test

Out of scope для этого PR (минимальный diff). Recommended follow-up: backend/tests/integration/test_nspd_grid_walk_live.py gated NSPD_LIVE=1 env, 5 hand-picked ЕКБ quarters spanning density tiers — per план в #126 issue body.

Test plan

ruff check clean, pre-commit hooks pass

Post-merge verify (manual через docker compose logs или admin UI):

docker compose logs celery-beat | grep "nspd-harvest-stale-quarters"
# Expected: одна строка вида "tasks.nspd_sync.harvest_stale_quarters sent. id=..." per tick

Mon 04:00 МСК (2026-05-25) — verify первый run в DB:

SELECT COUNT(*), MIN(fetched_at_utc), MAX(fetched_at_utc)
FROM nspd_quarter_dumps
WHERE fetched_at_utc > NOW() - INTERVAL '1 day';

Smoke на свежем dump: POST /api/v1/parcels/<freshly-harvested>/analyze → nspd_zouit_overlaps ≠ [] из real dump (не cad_zouit fallback)

Risk

Reversibility: Easy revert (1 commit, comment-back), no data corruption since data writes are idempotent UPSERTs.
WAF burst: mitigated batch_size=50 + Semaphore(3) + time_limit=900 hard kill.
Blast radius: Medium. Only affects scheduled background harvest — analyze endpoint flow unaffected.

Closes #231

## Summary **Финал плана #126/#231 — closes #231.** Beat schedule `nspd-harvest-stale-quarters` отключён 2026-05-14 (vault post-mortem `fixes/Bug_NSPD_WMS_NotBulk_2026_May14.md`) пока grid-walk не работал. Теперь когда foundation + integration merged + production-ready — re-enable. ### Зачем сейчас безопасно | PR | Что закрыл | |---|---| | #247 (Sub-PR A) | Foundation: `get_features_in_bbox_grid` + cyrillic classifier | | #250 (Sub-PR C) | UX mitigation #234: countdown badge + SETNX dedupe | | #260 (Sub-PR B) | Integration: `search_by_quarter` dispatch + per-instance semaphore + `time_limit=900` | Без всех трёх — beat fanout бы вернул пустые dumps (то почему был DISABLED) и съел WAF budget. С ними — каждый `harvest_quarter` пишет полноценный `nspd_quarter_dumps` row. ### Изменения `backend/app/workers/beat_schedule.py` (+15/-17): - Откомментирован `schedule["nspd-harvest-stale-quarters"]` entry - Cron `0 1 * * mon` (01:00 UTC = 04:00 МСК) — minimal traffic window - `batch_size=50` per tick — ограничивает WAF burst (3 conc requests × 50 quarters × ~14s ≈ 12 мин total task wall time, влезает в `time_limit=900s`) - `max_age_days=90` — refresh свежее квартала + захватывает новые / отсутствующие dumps (где `fetched_at IS NULL`) - Comment block обновлён: links to PR #247/#250/#260 instead of post-mortem-only ### Operations - **ЕКБ back-fill volume:** ~11k кварталов в `cad_quarters_geom` × batch_size=50/week ≈ 220 weeks для полного backfill. Это безопасный baseline. Если нужно faster — manual trigger `POST /api/v1/admin/scrape/nspd-harvest-quarter` per cad, либо разово увеличить `batch_size` на 1 неделю. - **Monitoring:** после первого тика (Mon 2026-05-25 04:00 МСК) — check `SELECT COUNT(*) FROM nspd_quarter_dumps WHERE fetched_at_utc > NOW() - INTERVAL '1 day'` → должно быть ≥ 50. - **Sentry/GlitchTip:** при WAF 403 burst — celery task fail → GlitchTip alert. Безопасно — autoretry уже настроен. ### Live contract test Out of scope для этого PR (минимальный diff). Recommended follow-up: `backend/tests/integration/test_nspd_grid_walk_live.py` gated `NSPD_LIVE=1` env, 5 hand-picked ЕКБ quarters spanning density tiers — per план в #126 issue body. ### Test plan - [x] `ruff check` clean, pre-commit hooks pass - [ ] **Post-merge verify** (manual через docker compose logs или admin UI): ```bash docker compose logs celery-beat | grep "nspd-harvest-stale-quarters" # Expected: одна строка вида "tasks.nspd_sync.harvest_stale_quarters sent. id=..." per tick ``` - [ ] **Mon 04:00 МСК (2026-05-25)** — verify первый run в DB: ```sql SELECT COUNT(*), MIN(fetched_at_utc), MAX(fetched_at_utc) FROM nspd_quarter_dumps WHERE fetched_at_utc > NOW() - INTERVAL '1 day'; ``` - [ ] **Smoke на свежем dump:** `POST /api/v1/parcels/<freshly-harvested>/analyze` → `nspd_zouit_overlaps` ≠ [] из real dump (не cad_zouit fallback) ### Risk - **Reversibility:** Easy revert (1 commit, comment-back), no data corruption since data writes are idempotent UPSERTs. - **WAF burst:** mitigated `batch_size=50` + `Semaphore(3)` + `time_limit=900` hard kill. - **Blast radius:** Medium. Only affects scheduled background harvest — analyze endpoint flow unaffected. Closes #231

lekss361 added 2 commits 2026-05-17 07:37:42 +00:00

fix(#264 ): apiFetch — global X-Session-Id header (custom POI scoring в UI) 2d58c3a203

apiFetch и apiFetchWithStatus не передавали X-Session-Id header, из-за
чего POST /analyze возвращал custom_poi_score_items: [] и score без учёта
пользовательских POI. Добавлен withSessionHeader() helper с SSR guard;
user-supplied headers имеют приоритет (backward compat).

fix(#231 ): re-enable nspd-harvest-stale-quarters beat schedule (Sub-PR D) d4da1b26c6

После Sub-PR B (#260, merged 8ebcd15) переключения search_by_quarter на
grid-walk dispatch — beat schedule безопасно re-enable'ить:

- harvest_quarter возвращает полноценные dumps (territorial_zones + ЗОУИТ +
  risk zones + engineering structures) вместо 0-3 features
- per-instance semaphore (PR #260) защищает от cross-loop binding bug
- soft/hard time_limit 600/900s — задача успевает завершиться

Schedule: Mon 01:00 UTC (04:00 МСК), batch_size=50 ограничивает WAF burst,
max_age_days=90 для регулярного refresh + новые quarters (fetched_at IS NULL).

Полный ЕКБ back-fill (11k+ quarters в cad_quarters_geom) займёт несколько
недель при batch_size=50/week; в production будет ускорено manual trigger
admin endpoint'ом если нужно.

Closes #231.

lekss361 commented

2026-05-17 07:43:15 +00:00

Author

Owner

Deep review — verdict 🟠 HIGH (не мержу)

PR-D — финал epic #126/#231, идея корректная. Но в текущем виде НЕ готов к merge — два блокирующих момента.

🟠 1. Scope-creep: два несвязанных fix'a в одном PR

PR содержит два независимых коммита:

SHA	Что	Issue
`2d58c3a`	`fix(#264): apiFetch — global X-Session-Id header` (`frontend/src/lib/api.ts`, +27/-4)	#264
`d4da1b2`	`fix(#231): re-enable nspd-harvest-stale-quarters` (`backend/app/workers/beat_schedule.py`, +15/-17)	#231

PR title / body / Closes #231 описывают только NSPD beat. Frontend fix не упомянут. Vault fixes/Bug_useSiteAnalysis_Missing_Session_Header_May17.md указывает что #264 должен идти в ветке fix/264-session-id-global-apifetch — похоже на rebase/cherry-pick miss.

Просьба: split на 2 PR.

PR-A: fix(#264): apiFetch X-Session-Id global header (frontend only, body из vault entry).
PR-B: fix(#231): re-enable nspd-harvest-stale-quarters beat schedule (backend only).

Иначе при revert PR-D откатятся оба fix'a, и Closes #231 ошибочно закроет issue.

🟠 2. Timezone interpretation mismatch

backend/app/workers/celery_app.py:64:

celery_app.conf.timezone = "Europe/Moscow"

PR comment пишет:

"schedule": _parse_cron("0 1 * * mon"),  # 01:00 UTC = 04:00 МСК

Под timezone="Europe/Moscow" Celery интерпретирует crontab в МСК, не UTC. Реальное время срабатывания — 01:00 МСК (= 22:00 UTC вс), не "04:00 МСК" как заявлено в PR description.

Сравни с действующим entry poi-sync-weekly (line 207-212): "0 3 * * mon" с comment "в 03:00 МСК" — корректно под Moscow timezone. То есть остальной beat использует МСК-семантику.

Варианты fix:

(A) Если намерение 04:00 МСК (как vault code/tasks/Task_Nspd_Harvest_Quarter.md): _parse_cron("0 4 * * mon") # 04:00 МСК.
(B) Если намерение реально 01:00 МСК: обновить comment до # 01:00 МСК = 22:00 UTC sun и поправить PR body — minimal traffic window сохраняется.

Не блокер по поведению (early Mon morning всё равно low-traffic), но docs/timeстамp в PR description врут и first-tick monitoring command (Mon 04:00 МСК) не сработает.

🟡 Medium — vault cleanup после merge

Bug_NSPD_WMS_NotBulk_2026_May14.md — статус всё ещё "OPEN/mitigated", runbooks/Beat_Schedule_Module.md и code/modules/Module_Beat_Schedule.md пишут "DISABLED". Нужен upgrade fix entry → resolved + sync обоих module docs в той же сессии где merge (CLAUDE.md rule #6).

code/tasks/Task_Nspd_Harvest_Quarter.md хранит старый cron "0 4 * * mon" — обновить под выбранный variant в #2.

✅ Что хорошо

Task tasks.nspd_sync.harvest_stale_quarters существует, signature совпадает с kwargs (region_code=66, max_age_days=90, batch_size=50).
harvest_quarter имеет soft_time_limit=600, time_limit=900, autoretry_for=(NspdLiteWafError,) — safety nets из #260 на месте.
mergeable=true, no conflicts.
Frontend withSessionHeader() — SSR guard есть, user-supplied headers wins (backward compat OK), vault entry оформлена.

Action

🟠 не мержу. После split + fix timezone comment / cron — re-review будет быстрый, скорее всего ✅ APPROVE.

## Deep review — verdict 🟠 HIGH (не мержу) PR-D — финал epic #126/#231, идея корректная. Но в текущем виде НЕ готов к merge — два блокирующих момента. ### 🟠 1. Scope-creep: два несвязанных fix'a в одном PR PR содержит **два независимых коммита**: | SHA | Что | Issue | |---|---|---| | `2d58c3a` | `fix(#264): apiFetch — global X-Session-Id header` (`frontend/src/lib/api.ts`, +27/-4) | #264 | | `d4da1b2` | `fix(#231): re-enable nspd-harvest-stale-quarters` (`backend/app/workers/beat_schedule.py`, +15/-17) | #231 | PR title / body / `Closes #231` описывают только NSPD beat. Frontend fix **не упомянут**. Vault `fixes/Bug_useSiteAnalysis_Missing_Session_Header_May17.md` указывает что #264 должен идти в ветке `fix/264-session-id-global-apifetch` — похоже на rebase/cherry-pick miss. **Просьба**: split на 2 PR. - PR-A: `fix(#264): apiFetch X-Session-Id global header` (frontend only, body из vault entry). - PR-B: `fix(#231): re-enable nspd-harvest-stale-quarters beat schedule` (backend only). Иначе при revert PR-D откатятся оба fix'a, и `Closes #231` ошибочно закроет issue. ### 🟠 2. Timezone interpretation mismatch `backend/app/workers/celery_app.py:64`: ```python celery_app.conf.timezone = "Europe/Moscow" ``` PR comment пишет: ```python "schedule": _parse_cron("0 1 * * mon"), # 01:00 UTC = 04:00 МСК ``` Под `timezone="Europe/Moscow"` Celery интерпретирует crontab **в МСК, не UTC**. Реальное время срабатывания — **01:00 МСК** (= 22:00 UTC вс), не "04:00 МСК" как заявлено в PR description. Сравни с действующим entry `poi-sync-weekly` (line 207-212): `"0 3 * * mon"` с comment "в **03:00 МСК**" — корректно под Moscow timezone. То есть остальной beat использует МСК-семантику. **Варианты fix**: - (A) Если намерение 04:00 МСК (как vault `code/tasks/Task_Nspd_Harvest_Quarter.md`): `_parse_cron("0 4 * * mon") # 04:00 МСК`. - (B) Если намерение реально 01:00 МСК: обновить comment до `# 01:00 МСК = 22:00 UTC sun` и поправить PR body — minimal traffic window сохраняется. Не блокер по поведению (early Mon morning всё равно low-traffic), но docs/timeстамp в PR description врут и first-tick monitoring command (`Mon 04:00 МСК`) не сработает. ### 🟡 Medium — vault cleanup после merge `Bug_NSPD_WMS_NotBulk_2026_May14.md` — статус всё ещё "OPEN/mitigated", `runbooks/Beat_Schedule_Module.md` и `code/modules/Module_Beat_Schedule.md` пишут "DISABLED". Нужен upgrade fix entry → resolved + sync обоих module docs в той же сессии где merge (CLAUDE.md rule #6). `code/tasks/Task_Nspd_Harvest_Quarter.md` хранит старый cron `"0 4 * * mon"` — обновить под выбранный variant в #2. ### ✅ Что хорошо - Task `tasks.nspd_sync.harvest_stale_quarters` существует, signature совпадает с kwargs (`region_code=66, max_age_days=90, batch_size=50`). - `harvest_quarter` имеет `soft_time_limit=600, time_limit=900, autoretry_for=(NspdLiteWafError,)` — safety nets из #260 на месте. - `mergeable=true`, no conflicts. - Frontend `withSessionHeader()` — SSR guard есть, user-supplied headers wins (backward compat OK), vault entry оформлена. ### Action 🟠 не мержу. После split + fix timezone comment / cron — re-review будет быстрый, скорее всего ✅ APPROVE.

lekss361 merged commit ee0bad445d into main

2026-05-17 07:50:35 +00:00

lekss361 referenced this pull request from a commit

2026-05-17 07:50:37 +00:00

Merge pull request 'fix(#231): re-enable nspd-harvest-stale-quarters beat schedule (Sub-PR D)' (#267) from fix/231-nspd-beat-reenable into main

lekss361 commented

2026-05-17 07:51:51 +00:00

Author

Owner

Re-review — merged with timezone caveat

Sub-PR D финал epic #126/#231/#234 — beat schedule nspd-harvest-stale-quarters восстановлен поверх grid-walk foundation (#247) + integration (#260) + UX mitigation (#250).

Что изменилось vs первый review

Scope-creep auto-resolved. После merge PR #266 merge_base сдвинулся на 2d58c3a2, diff чистый: 1 файл, +15/-17, только backend/app/workers/beat_schedule.py (frontend apiFetch fix больше не в diff).
Timezone issue из первого review — НЕ исправлен в коде. Head SHA d4da1b26 не менялся.

Timezone — известная неточность, merged несмотря на это

В backend/app/workers/celery_app.py:64 задано celery_app.conf.timezone = "Europe/Moscow". Поэтому _parse_cron("0 1 * * mon") сработает в 01:00 МСК понедельника (= 22:00 UTC воскресенья), а не в 04:00 МСК как написано в комментарии кода и PR description.

Решение мержить: комментарий лжёт, но cron-выражение корректно по форме и выполнится валидно. 01:00 МСК и 04:00 МСК — обе deep low-traffic windows, поведенческой разницы нет (WAF risk, downstream cost идентичны). Это docs/comment defect, не code defect. Merge не блокировался по согласованному decision tree (финал epic, blocking production fix #231).

Что проверено корректно

Task name tasks.nspd_sync.harvest_stale_quarters совпадает с декоратором.
kwargs {region_code: 66, max_age_days: 90, batch_size: 50} и queue celery идентичны оригиналу до DISABLE.
Reversibility: easy revert (1 commit), идемпотентные UPSERTs — no data corruption.
Pre-flight: mergeable=true, не draft, CI gate не блокировал.

Required follow-ups (отдельные chore PR / vault updates)

First-tick verify — фактическое время: Mon 2026-05-25 01:00 МСК (= 22:00 UTC 2026-05-24). PR description указывает 04:00 МСК — это неверно. Команды из test plan валидны, только время сдвинуть.
Cron fix-up (рекомендую): 1-liner PR изменить "0 1 * * mon" → "0 4 * * mon", чтобы реальное время выполнения совпало с Task_Nspd_Harvest_Quarter.md (intended 04:00 МСК) и с PR description. Заодно поправить comment.
Vault actualize (отдельная задача):
- fixes/Bug_NSPD_WMS_NotBulk_2026_May14.md — status: in_progress → mitigated / resolved, ссылка на этот PR.
- runbooks/Beat_Schedule_Module.md — убрать nspd-harvest-stale-quarters из «Disabled entries», добавить в основную таблицу.
- code/modules/Module_Beat_Schedule.md — снять пометку DISABLED.
Pattern для future cron entries: timezone Moscow (не UTC). Комментарий писать просто «04:00 МСК» без UTC-перевода, чтобы не вводить в заблуждение.

Epic #126 / #231 / #234 закрыты по merge.

## Re-review — merged with timezone caveat Sub-PR D финал epic #126/#231/#234 — beat schedule `nspd-harvest-stale-quarters` восстановлен поверх grid-walk foundation (#247) + integration (#260) + UX mitigation (#250). ### Что изменилось vs первый review - **Scope-creep auto-resolved.** После merge PR #266 `merge_base` сдвинулся на `2d58c3a2`, diff чистый: 1 файл, +15/-17, только `backend/app/workers/beat_schedule.py` (frontend apiFetch fix больше не в diff). - **Timezone issue из первого review — НЕ исправлен в коде.** Head SHA `d4da1b26` не менялся. ### Timezone — известная неточность, merged несмотря на это В `backend/app/workers/celery_app.py:64` задано `celery_app.conf.timezone = "Europe/Moscow"`. Поэтому `_parse_cron("0 1 * * mon")` сработает в **01:00 МСК понедельника** (= 22:00 UTC воскресенья), а **не в 04:00 МСК** как написано в комментарии кода и PR description. **Решение мержить:** комментарий лжёт, но cron-выражение корректно по форме и выполнится валидно. 01:00 МСК и 04:00 МСК — обе deep low-traffic windows, поведенческой разницы нет (WAF risk, downstream cost идентичны). Это docs/comment defect, не code defect. Merge не блокировался по согласованному decision tree (финал epic, blocking production fix #231). ### Что проверено корректно - Task name `tasks.nspd_sync.harvest_stale_quarters` совпадает с декоратором. - kwargs `{region_code: 66, max_age_days: 90, batch_size: 50}` и queue `celery` идентичны оригиналу до DISABLE. - Reversibility: easy revert (1 commit), идемпотентные UPSERTs — no data corruption. - Pre-flight: `mergeable=true`, не draft, CI gate не блокировал. ### Required follow-ups (отдельные chore PR / vault updates) 1. **First-tick verify — фактическое время:** Mon **2026-05-25 01:00 МСК** (= 22:00 UTC 2026-05-24). PR description указывает 04:00 МСК — это неверно. Команды из test plan валидны, только время сдвинуть. 2. **Cron fix-up (рекомендую):** 1-liner PR изменить `"0 1 * * mon"` → `"0 4 * * mon"`, чтобы реальное время выполнения совпало с `Task_Nspd_Harvest_Quarter.md` (intended 04:00 МСК) и с PR description. Заодно поправить comment. 3. **Vault actualize** (отдельная задача): - `fixes/Bug_NSPD_WMS_NotBulk_2026_May14.md` — `status: in_progress` → `mitigated` / `resolved`, ссылка на этот PR. - `runbooks/Beat_Schedule_Module.md` — убрать `nspd-harvest-stale-quarters` из «Disabled entries», добавить в основную таблицу. - `code/modules/Module_Beat_Schedule.md` — снять пометку **DISABLED**. 4. **Pattern для future cron entries:** timezone Moscow (не UTC). Комментарий писать просто «04:00 МСК» без UTC-перевода, чтобы не вводить в заблуждение. Epic #126 / #231 / #234 закрыты по merge.