lekss361/gendesign

Fork 0

[site-finder] EPIC 2: Росстат/ЕМИСС + Дом.РФ макро-ingest (доходы, инфляция, распроданность) #946

New issue

Closed

opened 2026-06-02 16:31:59 +00:00 by Light1YT · 3 comments

Light1YT commented

2026-06-02 16:31:59 +00:00

Owner

Часть #944 (Site Finder v2 / ТЗ ГенГеныч).

Статус: NEW · Приоритет: P1 · ТЗ §7.10, 7.11

Scope

Скрейпер+таблицы Росстат/ЕМИСС (доходы, ИПЦ, индекс цен стройки, демография §7.11) + вывести Дом.РФ housing/escrow (§7.10) в макрослой. Вход для affordability + макрокоэф + долгого горизонта.

Зависимости: EPIC1
С нуля (NEW).

**Часть #944 (Site Finder v2 / ТЗ ГенГеныч).** Статус: **NEW** · Приоритет: **P1** · ТЗ §7.10, 7.11 ## Scope Скрейпер+таблицы Росстат/ЕМИСС (доходы, ИПЦ, индекс цен стройки, демография §7.11) + вывести Дом.РФ housing/escrow (§7.10) в макрослой. Вход для affordability + макрокоэф + долгого горизонта. **Зависимости:** EPIC1 **С нуля (NEW).**

Light1YT added the

data

GG-форсайт

site-finder

labels 2026-06-02 16:31:59 +00:00

Light1YT referenced this issue

2026-06-02 16:34:02 +00:00

🔮 [EPIC][site-finder] Site Finder v2 — ИИ-прогноз продуктовой стратегии (ТЗ ГенГеныч) #944

lekss361 commented

2026-06-02 18:56:02 +00:00

Owner

📊 Ground-truth 2026-06-02 (прод-БД)

Sink-таблица уже есть — это не «NEW tables», а доливка indicator_types в существующую macro_indicator (indicator_type, region, obs_date, value, source, frequency, unit, comment). Росстат/ЕМИСС-показатели (доходы, ИПЦ, индекс цен строительства, демография §7.11) пишутся как новые indicator_type с source='rosstat', в ту же таблицу что и cbr-ряды — единый макрослой для #951/#952.

Частичный каркас Дом.РФ stat уже есть: domrf_stat_series_indicators, domrf_stat_series_observations (вывести §7.10 housing/escrow в macro_indicator).

Реально с нуля: скрейпер Росстат/ЕМИСС (доходы/инфляция/демография) — этих рядов в macro_indicator нет. Объём по этой части не меняется (L), но таблицы создавать не надо.

## 📊 Ground-truth 2026-06-02 (прод-БД) **Sink-таблица уже есть — это не «NEW tables», а доливка indicator_types в существующую `macro_indicator`** (`indicator_type, region, obs_date, value, source, frequency, unit, comment`). Росстат/ЕМИСС-показатели (доходы, ИПЦ, индекс цен строительства, демография §7.11) пишутся как новые `indicator_type` с `source='rosstat'`, в ту же таблицу что и cbr-ряды — единый макрослой для #951/#952. **Частичный каркас Дом.РФ stat уже есть:** `domrf_stat_series_indicators`, `domrf_stat_series_observations` (вывести §7.10 housing/escrow в `macro_indicator`). **Реально с нуля:** скрейпер Росстат/ЕМИСС (доходы/инфляция/демография) — этих рядов в `macro_indicator` нет. Объём по этой части не меняется (L), но таблицы создавать не надо.

lekss361 added this to the Site Finder v2 — Foresight (GG-форсайт) milestone 2026-06-02 19:02:48 +00:00

bot-backend referenced this issue

2026-06-03 07:07:15 +00:00

feat(forecasting): what-to-build ranker + MAI proxy (#981, 952-B) #1013

bot-backend referenced this issue from a commit

2026-06-03 07:07:16 +00:00

feat(forecasting): §9.7 what-to-build ranker + §7.9 MAI proxy (#981, 952-B)

bot-backend referenced this issue

2026-06-03 07:07:18 +00:00

[site-finder] EPIC 8: Прогноз спроса и предложения 6/12/18/24 мес + индексы дефицит/затоварка #952

bot-backend referenced this issue from a commit

2026-06-03 12:05:36 +00:00

feat(db): Dom.РФ housing/escrow → macro_indicator §7.10 (#946, partial)

bot-backend referenced this issue

2026-06-03 12:05:37 +00:00

feat(db): Dom.РФ housing/escrow macro §7.10 (#946 partial) #1026

bot-backend referenced this issue from a commit

2026-06-04 06:10:29 +00:00

fix(forecasting): #980 strongest deficit→deficit_index +1.0; #981 MAI uses CBR key rate

bot-backend referenced this issue

2026-06-04 06:10:29 +00:00

fix(forecasting): deficit_index +1 (#980) + MAI key-rate (#981) #1038

bot-backend referenced this issue

2026-06-04 06:52:56 +00:00

[SF-v2 #952] 952-B: Индексы дефицит/затоварка + MAI §7.9 (рыночная ставка) #981

bot-backend referenced this issue from a commit

2026-06-07 13:08:00 +00:00

feat(macro): Росстат open-data macro scraper -> macro_indicator (#946)

bot-backend referenced this issue

2026-06-07 13:11:59 +00:00

feat(macro): Росстат open-data scraper → macro_indicator (#946, partial) #1143

bot-backend referenced this issue from a commit

2026-06-07 13:12:03 +00:00

feat(macro): Росстат open-data macro scraper -> macro_indicator (#946)

bot-backend referenced this issue from a commit

2026-06-07 13:44:41 +00:00

feat(macro): ЕМИСС среднедушевые доходы (id=57039) -> macro_indicator (#946 part2)

bot-backend referenced this issue

2026-06-07 13:45:11 +00:00

feat(macro): ЕМИСС income_per_capita → macro_indicator (#946 pt2) #1144

bot-backend commented

2026-06-07 13:46:22 +00:00

Collaborator

#946 — substantially done (2 PR), остаток reCAPTCHA-blocked

Landed (через rosstat.gov.ru/opendata + ЕМИСС/fedstat, fetch исполняется на проде):

PR #1143 — демография population_total (Свердл/ЕКБ по ОКТМО, §7.11).
PR #1144 — income_per_capita (среднедушевые доходы, ЕМИСС id=57039, квартальный) — prod-verified end-to-end (httpx из gendesign-worker-1 → 200 + SDMX → 9 строк). Высокоценный для affordability-слоя.

НЕ landed (документировано в rosstat_emiss.py с field-id картой):

ИПЦ (id=31074) и индекс цен СМР — многомерные; дефолт-экспорт data.do без Свердл-среза, нужна dataGrid.do-выборка (selectedFilterIds + filter-tree AJAX) + reCAPTCHA на странице индикатора. reCAPTCHA не обходится (правило безопасности) → эти 2 индикатора требуют ручного/иного источника. CBR key-rate + Дом.РФ housing уже были в #945.

EPIC2-foundation (scraper + dual-source Celery + macro_indicator-контракт) готов — добавить новый индикатор = один EmissIndicatorSpec, без миграции.

### #946 — substantially done (2 PR), остаток reCAPTCHA-blocked **Landed (через rosstat.gov.ru/opendata + ЕМИСС/fedstat, fetch исполняется на проде):** - **PR #1143** — демография `population_total` (Свердл/ЕКБ по ОКТМО, §7.11). - **PR #1144** — **`income_per_capita`** (среднедушевые доходы, ЕМИСС id=57039, квартальный) — prod-verified end-to-end (httpx из gendesign-worker-1 → 200 + SDMX → 9 строк). Высокоценный для affordability-слоя. **НЕ landed (документировано в `rosstat_emiss.py` с field-id картой):** - **ИПЦ** (id=31074) и **индекс цен СМР** — многомерные; дефолт-экспорт `data.do` без Свердл-среза, нужна `dataGrid.do`-выборка (`selectedFilterIds` + filter-tree AJAX) **+ reCAPTCHA** на странице индикатора. reCAPTCHA не обходится (правило безопасности) → эти 2 индикатора требуют ручного/иного источника. CBR key-rate + Дом.РФ housing уже были в #945. EPIC2-foundation (scraper + dual-source Celery + macro_indicator-контракт) готов — добавить новый индикатор = один `EmissIndicatorSpec`, без миграции.

bot-backend referenced this issue from a commit

2026-06-08 06:41:18 +00:00

feat(macro): CBR inflation (ИПЦ YoY) -> macro_indicator + activate §9.5 channel (#946)

bot-backend referenced this issue

2026-06-08 06:41:48 +00:00

feat(macro): CBR inflation (ИПЦ) + activate §9.5 inflation channel (#946) #1162

bot-backend referenced this issue from a commit

2026-06-09 06:28:08 +00:00

feat(macro): land construction price index (СМР) via open Rosstat xlsx (#946)

bot-backend referenced this issue

2026-06-09 06:28:57 +00:00

feat(macro): construction price index (СМР) via open Rosstat xlsx (#946) #1175

bot-backend commented

2026-06-13 10:26:07 +00:00

Collaborator

EPIC 2 (Макро-ingest: Росстат/ЕМИСС/Дом.РФ) полностью реализован:

Росстат open-data scraper → macro_indicator: f7c4d7a (#946)
ЕМИСС среднедушевые доходы (id=57039): 1f66dfd (#946 part2)
ИПЦ CBR (YoY): 25e21c2 (#946) + активация §9.5 канала
Land construction price index (СМР): f9e0450 (#946)
Dom.РФ housing/escrow → macro_indicator §7.10: c06dc0f (#946 partial)
Monthly macro series + key-rate regime classifier: #951b (ace3b99)
§9.5 macro coefficient advisory: #951e (69ad6c8)
§11 macro-scenarios: #984 (8057468)
Default region fix + debt data-quality: #945 (3945d54)

Таблица: data/sql/123_macro_indicator.sql, 126_domrf_housing_macro.sql.
Сервисы: forecasting/macro_series.py, macro_coefficient.py, scenarios.py.

Закрываю как реализованное в проде.

EPIC 2 (Макро-ingest: Росстат/ЕМИСС/Дом.РФ) полностью реализован: - Росстат open-data scraper → macro_indicator: f7c4d7a (#946) - ЕМИСС среднедушевые доходы (id=57039): 1f66dfd (#946 part2) - ИПЦ CBR (YoY): 25e21c2 (#946) + активация §9.5 канала - Land construction price index (СМР): f9e0450 (#946) - Dom.РФ housing/escrow → macro_indicator §7.10: c06dc0f (#946 partial) - Monthly macro series + key-rate regime classifier: #951b (ace3b99) - §9.5 macro coefficient advisory: #951e (69ad6c8) - §11 macro-scenarios: #984 (8057468) - Default region fix + debt data-quality: #945 (3945d54) Таблица: data/sql/123_macro_indicator.sql, 126_domrf_housing_macro.sql. Сервисы: forecasting/macro_series.py, macro_coefficient.py, scenarios.py. Закрываю как реализованное в проде.

bot-backend closed this issue

2026-06-13 10:26:08 +00:00

bot-backend referenced this issue

2026-06-13 11:34:43 +00:00

🔮 [EPIC][site-finder] Site Finder v2 — ИИ-прогноз продуктовой стратегии (ТЗ ГенГеныч) #944

bot-backend referenced this issue

2026-06-13 12:31:21 +00:00

🔮 [EPIC][site-finder] Site Finder v2 — ИИ-прогноз продуктовой стратегии (ТЗ ГенГеныч) #944

bot-backend referenced this issue

2026-07-07 11:46:44 +00:00

EPIC: exhaustive line-by-line аудит backend ПТИЦЫ (2026-07-07) — 89 подтверждённых находок #2464