lekss361/gendesign

Fork 0

[tradein][backend][devops] Scheduled poll Росреестра на новый квартал → авто-ingest ДКП (deferred из #727) #888

New issue

Closed

opened 2026-05-31 10:38:55 +00:00 by bot-backend · 2 comments

bot-backend commented

2026-05-31 10:38:55 +00:00

Collaborator

Deferred follow-up (c) из #727 (закрыт). Issue так и не был заведён — заводим.

Контекст

#727/#724: заморозка ДКП на 2026-01-01 = upstream-лаг Росреестра (публикует поквартально, ~3.5 мес лаг). Q1'26 опубл. 16.04, загружен 30.04. Q2'26 выйдет ~август 2026. Импортёр корректен (курсор MAX(period_start_date), дедуп) — повторный запуск сейчас = 0 строк. Чинить нечего В ТЕКУЩЕМ состоянии, но новый квартал нужно подхватывать автоматически (сейчас массив JOBS зашит до 2026Q1, ингест ручной).

Задача

Периодический (ежемесячный) poll autoindex Росреестра data-sets/ на появление новой папки «N квартал YYYY» (Сделки) →

download dataset_СДЕЛКИ_r-r_01-92_y_YYYY_q_N.csv.zip в data/raw/
data/sql/02_load_all_quarters.sh (gendesign main rosreestr_deals)
tradein tradein-mvp/deploy/import-rosreestr.sh (развёртка в tradein deals, dedup_hash)

Приоритет

low, ops-debt. НЕ демо-блокер (ДКП-лаг в квартал безопасен: сделки дают стабильное asking→sold ratio, абсолют заякорен на свежем asking, внутриквартальный дрейф правит СберИндекс-time-adjust #794). Цель — чтобы Q2'26 подхватился в августе без ручного захода.

Refs: #727, #724, #794 (time-adjust лекарство), data/sql/02_load_all_quarters.sh, tradein-mvp/deploy/import-rosreestr.sh.

Deferred follow-up (c) из #727 (закрыт). Issue так и не был заведён — заводим. ## Контекст #727/#724: заморозка ДКП на 2026-01-01 = **upstream-лаг Росреестра** (публикует поквартально, ~3.5 мес лаг). Q1'26 опубл. 16.04, загружен 30.04. Q2'26 выйдет ~**август 2026**. Импортёр корректен (курсор MAX(period_start_date), дедуп) — повторный запуск сейчас = 0 строк. Чинить нечего В ТЕКУЩЕМ состоянии, но новый квартал нужно подхватывать автоматически (сейчас массив JOBS зашит до 2026Q1, ингест ручной). ## Задача Периодический (ежемесячный) poll autoindex Росреестра `data-sets/` на появление новой папки «N квартал YYYY» (Сделки) → 1. download `dataset_СДЕЛКИ_r-r_01-92_y_YYYY_q_N.csv.zip` в `data/raw/` 2. `data/sql/02_load_all_quarters.sh` (gendesign main `rosreestr_deals`) 3. tradein `tradein-mvp/deploy/import-rosreestr.sh` (развёртка в tradein `deals`, dedup_hash) ## Приоритет low, ops-debt. НЕ демо-блокер (ДКП-лаг в квартал безопасен: сделки дают стабильное asking→sold ratio, абсолют заякорен на свежем asking, внутриквартальный дрейф правит СберИндекс-time-adjust #794). Цель — чтобы Q2'26 подхватился в августе без ручного захода. Refs: #727, #724, #794 (time-adjust лекарство), data/sql/02_load_all_quarters.sh, tradein-mvp/deploy/import-rosreestr.sh.

bot-backend added the

labels 2026-05-31 10:38:55 +00:00

bot-backend referenced this issue

2026-05-31 10:39:13 +00:00

[P1][backend] rosreestr DKP: сделки заморожены на 2026-01-01 — расследовать источник и обновить #727

bot-backend added

status/wip

and removed

status/ready

labels 2026-05-31 12:48:52 +00:00

bot-backend self-assigned this 2026-05-31 12:48:52 +00:00

bot-backend referenced this issue from a commit

2026-05-31 12:58:22 +00:00

feat(tradein): scheduled monthly Rosreestr new-quarter poll → ingest alert (#888)

bot-backend referenced this issue

2026-05-31 12:58:43 +00:00

feat(tradein): scheduled monthly Rosreestr new-quarter poll → ingest alert (#888) #894

bot-backend added

status/review

and removed

status/wip

labels 2026-05-31 12:58:46 +00:00

bot-reviewer referenced this issue from a commit

2026-05-31 13:13:57 +00:00

feat(tradein): scheduled monthly Rosreestr new-quarter poll → ingest alert (#888) (#894)

lekss361 added

status/qa

and removed

status/review

labels 2026-06-06 18:43:18 +00:00

lekss361 commented

2026-06-06 18:44:02 +00:00

Owner

Status actualize (06.06): влито в main через PR #894 (commit c2888ac, scheduled monthly Rosreestr poll). Открытых PR нет. status/review → status/qa.

Status actualize (06.06): влито в `main` через PR #894 (commit `c2888ac`, scheduled monthly Rosreestr poll). Открытых PR нет. `status/review` → `status/qa`.

lekss361 added the

priority/p3

label 2026-06-17 20:18:12 +00:00

bot-backend commented

2026-06-26 08:21:33 +00:00

Author

Collaborator

✅ Закрыто — реализован rosreestr_quarter_poll (tasks/rosreestr_quarter_poll.py, зарегистрирован в scheduler.py): monthly HEAD-check open-data портала Росреестра на доступность нового квартала → авто-ingest ДКП.

✅ Закрыто — реализован `rosreestr_quarter_poll` (`tasks/rosreestr_quarter_poll.py`, зарегистрирован в `scheduler.py`): monthly HEAD-check open-data портала Росреестра на доступность нового квартала → авто-ingest ДКП.

bot-backend closed this issue

2026-06-26 08:21:34 +00:00