117 commits

Author	SHA1	Message	Date
bot-backend	034d9f9bca	feat(reports): Celery-джоба полного PDF-отчёта + кэш + 3 endpoint'а (#2259 PR-D) (#2287)	2026-07-03 11:13:06 +00:00
bot-backend	6f5bdffbe4	feat(site-finder): OSM-геокод городских ТП/РП ЕКБ (#2119 B2, финальный хвост) (#2252)	2026-07-03 05:22:02 +00:00
bot-backend	15757685c9	feat(site-finder): Celery + §3 точки выхода газосети (#2119 B2, PR-4/4 — финал формы-6) (#2251)	2026-07-03 04:26:41 +00:00
bot-backend	e501dedf78	feat(site-finder): ЕЭСК-резервы городских ПС/ТП + тепло из ФГИС ФАС (#2119 B2) (#2165)	2026-07-02 16:44:57 +00:00
bot-backend	5839680998	feat(site-finder): газ — свободная мощность ГРС + пометка ЕЭСК в §3 (#2119 Фаза B1) (#2123)	2026-07-02 12:54:05 +00:00
bot-backend	4758ea5e2b	feat(site-finder): резервы мощности для ТП — электро+вода на карте §3 (#2119 Фаза A) (#2120)	2026-07-02 08:36:51 +00:00
bot-backend	3421b21632	fix(scrapers): разблокировать domrf_kn flats — изоляция flats от poison-extras + throttle (#1945) (#2050)	2026-06-28 13:03:43 +00:00
bot-backend	3753079dee	feat(site-finder): OSM engineering-networks loader + endpoint (#1746) (#1930)	2026-06-26 20:01:00 +00:00
bot-backend	55811ff7cc	feat(workers): data-freshness monitor (Celery beat → GlitchTip) ... Extract compute_freshness(db) from the /admin/scrape/freshness handler (endpoint unchanged) + daily beat task scrape_freshness_check that alerts via sentry_sdk.capture_message when a source is stale/failed (error on critical-failed, else warning). Registered in celery include + beat (09:00 MSK). Refs #73	2026-06-25 11:29:34 +00:00
Light1YT	2ff34b1500	feat(site-finder): backfill ЕКБ зон-регламента — разблокировать видимость финмодели (#1881) ... financial_estimate (эпик #1881) фаерит только при разрезолвленном НСПД-регламенте (max_far), а он резолвится ЛЕНИВО при анализе участка → zone_regulation_cache всего 33 зоны → у большинства участков financial_estimate=None («—» в кокпите). Backfill проактивно кэширует ВСЕ террзоны ЕКБ (~100-120) → ЛЮБОй участок в известной зоне сразу получает регламент и финмодель. - backfill_ekb_zone_regulations (zone_regulation.py): WFS-перечисление террзон ЕКБ (features_in_bbox 'territorial_zone') → dedup по urban_index (предпочёт фичу с геометрией) → representative_point (внутри полигона, не centroid) → zone_regulation_at → upsert. ИДЕМПОТЕНТНО (cached skip перед fetch), per-zone try/except (один сбой не рушит batch), rate_delay вежливость к геопорталу, limit для частичного прогона. - Celery task backfill_zone_regulations + регистрация в celery_app include + admin POST /api/v1/admin/scrape/zone-regulations/backfill (паттерн objective sync-our). - Ленивый refresh_zone_regulations / get_or_fetch / upsert НЕ тронуты (additive путь). - +9 тестов (dedup, idempotency cached-skip, per-zone error isolation, centroid-inside, limit). mypy/ruff clean. Прод-прогон backfill — отдельный шаг после deploy (как Objective sync), не на deploy. Code-review поймал незарегистрированный task (был бы NotRegistered) — исправлено. Refs #1881	2026-06-24 02:11:41 +05:00
bot-backend	0a72ef9491	merge main + renumber 163→167 + guard riasurt harvest (#108 review)	2026-06-17 22:52:15 +03:00
bot-backend	ddf4873874	fix(riasurt): renumber migration 163→167 + guard quarterly harvest behind flag (#108 review)	2026-06-17 22:45:23 +03:00
lekss361	81e708b953	Merge pull request 'feat(sql): sales-tracker velocity + absorption MVs for Site Finder (#61)' (#1711) from feat/velocity-mv-61 into main	2026-06-17 19:43:14 +00:00
bot-backend	2cf6261005	chore(sql): renumber sales-tracker MV migration 161→164 (avoid collision)	2026-06-17 22:36:39 +03:00
bot-backend	31e316e04e	feat(site-finder): РИАСУРТ Свердл 14-layer harvest client+schema+task for ЕКБ agglomeration (#108)	2026-06-17 21:49:04 +03:00
bot-backend	96a9c575b4	feat(sql): sales-tracker velocity + absorption MVs for Site Finder (#61)	2026-06-17 21:48:11 +03:00
bot-backend	5170107405	fix(sql): EMISS PK includes period_type so yearly+Q1 coexist (#1606 follow-up) ... Adds period_type TEXT NOT NULL DEFAULT 'unknown' to macro_indicator and widens the PRIMARY KEY to (indicator_type, region, obs_date, period_type). Before: yearly aggregate ('год'→obs_date YYYY-01-01) and Q1 ('I квартал'→ same date) shared the same PK slot → ON CONFLICT DO UPDATE made them overwrite each other despite the in-memory dedup fix in #1687. After: each EmissRow carries period_type from _emiss_period_granularity ('year'/'quarter'/'month'); DB ON CONFLICT targets include it, so yearly+Q1 rows genuinely coexist. Non-EMISS sources (CBR, rosstat open-data, domrf) use period_type='unknown' (literal in SQL) — they are disambiguated by obs_date already, so the wider PK is backward-compatible. All ON CONFLICT clauses in cbr_macro_sync.py and rosstat_macro_sync.py updated accordingly. Migration: 163_emiss_pk_period_type.sql (idempotent BEGIN/COMMIT). Tests: 49 passed (emiss + rosstat suite), ruff clean, py_compile OK.	2026-06-17 21:27:34 +03:00
bot-backend	14f3ef2019	fix(week-review): backend-аудит v2 — 82 фиксов (#1660) ... Co-authored-by: bot-backend <bot-backend@gendsgn.local> Co-committed-by: bot-backend <bot-backend@gendsgn.local>	2026-06-17 17:13:38 +00:00
Light1YT	7276edc885	fix(workers): schedule mv_layout_velocity refresh in Celery beat (#1666) ... mv_layout_velocity (powers best_layouts, #113) refreshed only via manual refresh_layout_velocity() → prod data silently went stale. Add Celery task mirroring refresh_quarter_price_index, register in celery_app include, add weekly beat entry (Sun 03:00 MSK, outside the monday heavy-refresh cluster). Closes #1666	2026-06-17 18:40:01 +05:00
Light1YT	86e9ea2937	fix(week-review): автофиксы код-ревью — 169 issue (label «week ревью 1») ... Многоагентный аудит + имплементация: один воркер на файл, точечные правки. Верификация: py_compile (47/47 .py) + tsc --noEmit (0 ошибок). Unit-тесты не прогонялись (окружение не поднято: rollup native dep / нет pytest-venv). Полностью исправлено (169): #1336, #1337, #1339, #1340, #1341, #1342, #1343, #1345, #1346, #1348, #1349, #1350, #1351, #1354, #1356, #1358, #1359, #1360, #1362, #1364, #1365, #1366, #1367, #1368, #1369, #1370, #1371, #1372, #1373, #1374, #1375, #1376, #1377, #1378, #1379, #1380, #1381, #1382, #1384, #1385, #1386, #1387, #1388, #1389, #1390, #1391, #1392, #1394, #1395, #1396, #1397, #1399, #1400, #1401, #1402, #1403, #1404, #1408, #1409, #1410, #1411, #1412, #1413, #1414, #1415, #1416, #1417, #1418, #1420, #1423, #1425, #1426, #1427, #1428, #1429, #1430, #1431, #1432, #1433, #1434, #1435, #1437, #1438, #1439, #1440, #1441, #1442, #1443, #1444, #1445, #1446, #1447, #1448, #1449, #1450, #1451, #1452, #1453, #1454, #1455, #1456, #1457, #1458, #1459, #1460, #1461, #1462, #1463, #1464, #1465, #1466, #1467, #1468, #1469, #1471, #1472, #1473, #1474, #1476, #1478, #1479, #1481, #1482, #1483, #1484, #1485, #1487, #1488, #1489, #1490, #1491, #1492, #1493, #1494, #1495, #1496, #1497, #1499, #1500, #1501, #1502, #1504, #1505, #1506, #1507, #1510, #1514, #1515, #1516, #1517, #1518, #1519, #1521, #1522, #1523, #1524, #1525, #1526, #1527, #1528, #1529, #1531, #1532, #1533, #1534, #1535, #1536, #1537, #1538 Частично (9, in-file часть, остаток cross-file): #1361, #1419, #1422, #1424, #1470, #1475, #1477, #1480, #1498 Требуют cross-file (3, не тронуты): #1338, #1363, #1421 Пропущено (1): #1539 Не входило в партию: 22 needs-Leha issue (нужны решения владельца). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-15 20:21:11 +05:00
Light1YT	1883271908	fix(cadastre): NSPD 500-retry + per-layer skip (#252) + disable dead pzz-beat (#259) + geom backfill (#200) ... #252: NspdBulkServerError на HTTP 5xx + WMS <ServiceException>-body → quarter-level autoretry; _grid_walk_category флагует layer_failed только если ВСЕ cells 5xx (none ok), network-errors исключены — пустой/флапающий слой не ложно-скипается. harvest_meta.layer_X_failed. #259: pzz-sync-monthly beat отключён (PKK6 deprecated, pzz_zones_ekb=0, заменён zone_regulation_cache+NSPD dumps). logger.exception→warning (стоп GlitchTip BACKEND-1B), raise сохранён для admin-endpoint. #200: geom_unavailable флаг (миграция 151) + backfill_parcel_geom task — grid-walk layer 36368 per quarter лечит 930/964 NULL-geom участков (NSPD search вернул центроиды), остаток marks unavailable (не ретраить вечно). SAVEPOINT per-cell, idempotent. Closes #252 Closes #259 Closes #200	2026-06-13 20:45:05 +05:00
Light1YT	b211183940	feat(site-finder): детерминированная атрибуция застройщика в analyze (#1088) ... Сервис get_developer_attribution поверх fn_developer_for_parcel (миграция 149): топ-1 застройщик участка + track-record (РНС/РВЭ + домрф) + nearby_developers. Дедуп по норм-ИНН (лучший match_method первым). Wire в analyze additive без флага (чистый DB-резолвер по индексам, graceful → None). Beat-refresh developer_registry ежемесячно 05:30 МСК после ekburg-permits. Pydantic-схемы + 18 тестов. Источники: ekburg_construction_permits (РНС, ИНН) ⋈ domrf_kn_objects по нормализованному ИНН + spatial/quarter fallback. 68% domrf-застройщиков имеют РНС. EXPLAIN: point-lookup 0.06ms, резолвер ~30ms (functional/GIST индексы в миграции). Closes #1088	2026-06-13 16:13:45 +05:00
Light1YT	c3c6e2cef1	fix(okn): expand registry coverage + load detail-card name/address (#1159) ... okn_objects_sync собирал 428 ОКН из ~798 ЕГРОКН и сохранял raw_props={id} без названия/адреса — analyze показывал 'ОКН рядом' без указания КАКОГО. Coverage: расширил _ADDRESS_PASSES с 2 до 11 подстрок (Екатеринбург, г. Екатеринбург, 7 районов ЕКБ, 2 формы Свердловской обл.). _PASSES = декартово (address × category). first-wins дедуп сохраняет высшую категорию. Detail: fetch_okn_detail(source_id) — GET Show/Show?id=, BeautifulSoup парсит HTML (dl/dt/dd и tr/td), извлекает name, address, protection_category, object_kind, dating. _enrich_with_detail сливает в raw_props с graceful failover (cap=1500, exception per-object не валит прогон). Lookup: parcel_okn_objects возвращает name/address из raw_props->>'name'. Existing ird_analyze тесты не сломаны. 49 okn-related тестов passed, ruff clean. Closes #1159	2026-06-13 15:02:50 +05:00
Light1YT	d11c8d47e0	fix(workers): per-prefix db.commit() в gknspecial_harvest для durability (#1116) ... harvest_gknspecial_zones делал единственный commit в конце всех 8 prefix- циклов: WorkerLostError (OOM / рестарт хоста) в середине прогона → ~20k записанных строк откатывались, прогресс ноль. Mirror ird_harvest.py:216 (per-quarter commit): db.commit() после финального logger.info внутри for-prefix loop. SAVEPOINT-per-row уже изолирует битые фичи; per-prefix commit добавляет durability между префиксами. WFS-fail на префиксе → continue → commit не делается; предыдущие префиксы уже durable. +2 теста (durability, WFS-fail skip). 29 gknspecial тестов зелёные. Closes #1116	2026-06-13 15:02:50 +05:00
Light1YT	285e8f974a	fix(sf): ekb_ppt_tep post-фильтры + врезка в analyze (#1136) ... Post-фильтры парсера (по образцу ppt2018_22823): - Табл.11: отбрасываем строки без zone_name (преамбульные артефакты merged-cells давали 2 фантома при 12 реальных зонах). - Табл.13: dedup по (phase, composition, zone, area_ha) + фильтры короткого-без-зоны и нумерационного шума (~364 строк → ~30-40 реальных). Analyze-врезка: новый ppt_tep_lookup.parcel_ppt_tep — JOIN planning_projects ⋈ ekb_ppt_tep по doc_ref↔source_key/doc_full_name (best-effort, без FK). Wired в build_ird_analyze_block рядом с planning_projects/krt_requisites — DB-источники, graceful. Seed-URL остаётся placeholder с # VERIFY (ingest пропускает с WARNING). Tests: 27 в parser (3 новых), 7 lookup, 22 wiring (2 новых). All ruff/syntax green. Closes #1136	2026-06-13 09:32:52 +00:00
Light1YT	f5e7fcdad9	fix(workers): cadastre permanent-fail targets_failed + beat cleanup (#1236)	2026-06-13 08:36:13 +00:00
Light1YT	816bb3d3bd	fix(workers): re-raise SoftTimeLimitExceeded в nspd_geo, set paused (#1235)	2026-06-13 08:20:18 +00:00
Light1YT	ac446236e7	fix(beat): rewrite 4 cron entries in MSK to match conf.timezone (#1233) ... Celery conf.timezone=Europe/Moscow трактует crontab MSK-relative, но ekburg-permits, pzz-sync, refresh-quarter-price-index и nspd-harvest-stale-quarters были UTC-числа и бежали 3ч раньше. Особенно refresh-quarter-price-index стрелял в 02:00 МСК — ДО refresh-ekb-districts-medians в 04:00 МСК — ломая контракт "runs after medians settled". Switched to MSK targets: ekburg-permits 05:00 1-го, pzz-sync 03:00 1-го, refresh-quarter-price-index 05:00 5-го, nspd-harvest-stale-quarters 04:00 Пн. ruff clean. Closes #1233	2026-06-13 08:06:21 +00:00
Light1YT	06c4bb9fd6	fix(workers): count lots_pf failure correctly, no silent 'done' (#1220) ... scrape_objective.sync_objective_group инкрементировал n_requests и reports_ok ДО HTTP-стрима client.stream_report(...). Любая ошибка стрима (ObjectiveAuthError, ObjectiveAPIError — оба ⊂ RuntimeError ⊂ Exception, ijson-сбой, обрыв сети) проглатывалась generic except Exception в lots_pf-ветке без инкремента reports_failed и без re-raise. Внешний except (ObjectiveAuthError|APIError) был НЕДОСТИЖИМ для lots_pf. _finish_run(status='done' if reports_failed==0) помечал run УСПЕШНЫМ при полностью провалившемся главном 600МБ отчёте «Лоты». objective_lots/history оставались stale молча, админка показывала last_run_at, downstream supply-layers L2 видел 'done', rows_lots=0. Patch (зеркалит corp_sum — там паттерн уже правильный): - n_requests/reports_ok перенесены ИЗ pre-HTTP в after-success (после успешного commit'а внутри `with stream_report(...)`). - В except Exception lots_pf-ветке: n_requests += 1 + reports_failed += 1 + logger.exception (с traceback). Graceful (no re-raise) сохранён — sibling jobs продолжают, но статус run теперь честный. - corp_sum ветка не тронута. _finish_run сигнатура не меняется. 5 новых регрессионных тестов: success keeps reports_ok=1, auth-error / api-error / generic Exception в lots_pf инкрементируют reports_failed (не ok), _finish_run status='failed' при reports_failed>0. ruff clean. Closes #1220	2026-06-13 07:34:57 +00:00
Light1YT	c75e6a4cfa	fix(scrape_kn): Redis-lock owner-token + resume retry on lock_held (#1216) ... Два concurrency-бага в scrape_kn: 1. Lock value="1" без owner-токена + TTL=30мин = заявленной длительности sweep'а (нулевой запас). Sweep > TTL → lock истекает, второй sweep стартует, первый при завершении безусловным r.delete сносит ЧУЖОЙ lock → возможен третий параллельный. 2. SIGKILL/redeploy mid-sweep: finally не выполняется, lock живёт до 30 мин. worker_ready метит run 'zombie' и enqueue'ит resume_kn_run БЕЗ countdown, который ловит lock_held и возвращает skipped без retry → run теряется до недельного beat. Patch: - _region_lock: value = uuid4().hex; release через Lua check-and-delete (`if GET == ARGV[1] then DEL else 0 end`) — не сносим чужой lock. - _LOCK_TTL_SECONDS 30 → 45 мин (полтора max sweep duration, запас). - resume_kn_run: при lock_held → raise self.retry(countdown=300, max_retries=12) → ~час окно для подхвата вместо silent skip. - scrape_kn_region (scheduled) намеренно остаётся skipped — beat поднимет в следующий weekly tick (другая семантика). 11 новых юнит-тестов (token uniqueness, Lua guard, retry-not-skip, existing behaviors). 16/16 scrape_kn тестов зелёные. ruff clean. Closes #1216	2026-06-13 05:44:24 +00:00
Light1YT	b00e338667	fix(nspd_geo): split zombie thresholds running=6m / paused=30m (#1215) ... В WAF-ветке `nspd_geo` worker спит до 240с (4 мин при consecutive_waf=8), heartbeat коммитится ДО сна. Старый `cleanup_zombies` (`* * * * *`) с порогом `INTERVAL '2 minutes'` для status IN ('running', 'paused') гарантированно ре-enqueue'ил **живой** WAF-job: - Два worker'а параллельно долбили забаненный NSPD-сервис, углубляя бан. - SELECT pending без `FOR UPDATE SKIP LOCKED` → дубли запросов. - Counter'ы done/failed двух инстансов затираются друг другом. Бонус-баг: status='paused' (после 8 WAF подряд) воскресал через минуту, аннулируя WAF-защиту. Patch: разделил пороги через module-level константы и параметризованный SQL (CAST(:x AS interval) per psycopg v3 rule): - `_ZOMBIE_RUNNING_THRESHOLD = "6 minutes"` — выше max WAF backoff (4 мин). - `_ZOMBIE_PAUSED_THRESHOLD = "30 minutes"` — реальная WAF-пауза. Beat-расписание (1 мин tick) не тронуто. WAF-логика / heartbeat-in-loop (вариант B) / FOR UPDATE SKIP LOCKED (вариант «идеальный») вне scope. 4 новых юнит-теста (test_nspd_geo.py): psycopg v3 guard, оба порога биндятся, два предиката вместо одного, paused > running. 18/18 nspd_geo тестов зелёные. ruff clean. Closes #1215	2026-06-13 05:37:08 +00:00
bot-backend	1a4778d006	feat(sf): cross-load ETL tradein→gendesign newbuilding_listings — вариант A (#976) ... - docker-compose.prod.yml: backend + worker добавлены в сеть gendesign_shared (нужен прямой TCP к tradein-postgres для psycopg ETL) - tradein-mvp/data/sql/101_gendesign_reader_role.sql: роль gendesign_reader (LOGIN, SELECT на houses/house_sources/houses_price_dynamics/ house_reliability_checks/house_reviews; пароль через TRADEIN_READER_PASSWORD bootstrap в deploy-tradein.yml) - .forgejo/workflows/deploy-tradein.yml: bootstrap ALTER ROLE gendesign_reader PASSWORD из env после миграций; warn (не exit 1) если переменная не задана - backend/app/core/config.py: settings.tradein_database_url (env TRADEIN_DATABASE_URL) - backend/app/services/etl/newbuilding_crossload.py: run_crossload() — psycopg server-side cursor, batch 500, UPSERT ON CONFLICT (source, ext_house_id), SAVEPOINT per-row; disabled-режим если url пуст - backend/app/workers/tasks/etl_newbuilding_crossload.py: Celery task - backend/app/workers/beat_schedule.py: nightly 03:30 МСК (00:30 UTC) - backend/app/api/v1/admin_scrape.py: POST /admin/scrape/newbuilding-crossload - backend/tests/services/test_newbuilding_crossload.py: 10 тестов без реальной БД needs-human: TRADEIN_READER_PASSWORD → tradein .env.runtime; TRADEIN_DATABASE_URL → gendesign backend/.env.runtime	2026-06-12 11:18:47 +03:00
Light1YT	f9e045028c	feat(macro): land construction price index (СМР) via open Rosstat xlsx (#946) ... Closes the last #946 gap (СМР). Fetches «Индексы цен производителей на строительную продукцию по РФ» from the OPEN Rosstat xlsx (rosstat.gov.ru/storage/mediabank/Invest_ind_stroitel_MM-YYYY.xlsx), parses the monthly «к предыдущему месяцу» section → macro_indicator (indicator_type='construction_price_index', region='rf', monthly, %). The reCAPTCHA-gated fedstat dataGrid.do path is DELIBERATELY NOT used — the open Rosstat source needs no captcha. EMISS id=31108 documented as a prod-only SDMX alternative (not wired). URL is date-derived with bounded look-back (filename changes monthly; _fetch_construction_latest walks current month back to 6, first 200 wins; year-boundary handled, exhaustion raises, 404 breaks fast — no hang). Wired into rosstat_macro_sync with per-source try/except (can't break demography/income) + SAVEPOINT-per-row. None-not-0 on blank months. 33 tests (incl look-back + year-boundary + graceful), ruff clean. Note: no construction-cost channel in macro_coefficient yet (demand-side only) — series is ingested/available for future cost-side use + display. Refs #946	2026-06-09 11:28:05 +05:00
Light1YT	8da1c00138	feat(location): district-level Location entity + indices (#948 part B) ... Promote district to a first-class `location` entity (ТЗ §8.2), ADDITIVE — no district->FK refactor. New `location` table keyed by district_name (joinable by string), carrying 4 normalized [0,1] indices (NULL when no data, never 0): - infra: _district_poi_score / _city_avg_poi_score (per-district POI aggregate) - competition: market_metrics.overstock_index (available/stuck competing supply — orthogonal to demand; NOT sell-through, which is market-heat correlated w/ demand) - demand: market_metrics.unit_velocity (saturating /50) - future_supply: future_supply_pressure.index (passthrough, already 0..1) - data/sql/146_location.sql: idempotent table + UNIQUE(district_name) + range CHECK + centroid GIST - services/site_finder/locations.py: compute_location_indices (reuses forecast per-district fns) + refresh_locations (SAVEPOINT per-row, CAST, ON CONFLICT) - workers/tasks/location_refresh.py + beat (Mon 07:00 MSK, after supply-layers) - api/v1/locations.py: read-only GET list + GET by name (analyst+admin via rbac, frontend pilot-gated) - tests: 34 (normalization 0..1/null, competition⊥demand orthogonality, idempotent upsert, read API list/by-name/404) Part of #948 (Part A insight shipped #1164).	2026-06-08 13:28:19 +05:00
Light1YT	25e21c2bff	feat(macro): CBR inflation (ИПЦ YoY) -> macro_indicator + activate §9.5 channel (#946) ... fedstat ИПЦ is reCAPTCHA-blocked; CBR publishes inflation openly. Add fetch_inflation + parse_inflation_xlsx (CBR UniDbQuery DownloadExcel/132934, monthly % г/г, region=rf, source=cbr) to cbr_macro.py; upsert indicator_type=inflation_yoy via the existing cbr_macro_sync task (per-series guard, SAVEPOINT-per-row, CAST not ::, ON CONFLICT on the PK). Surface inflation_yoy in MonthlyMacro (frozen, carry-forward) and ACTIVATE the reserved §9.5 inflation channel (macro_coefficient f_inflation: level-vs-4%-target nudge, non-positive to avoid double-counting f_rate, excluded from _RATE_DRIVEN_FACTORS). Channel was DEGRADED (no data) -> now BACKED + consumed; _CONF_HIGH_MIN_BACKED 4->5. Deterministic (§16/§26); renorm claims the reserved 0.08 slice as designed. Live-verified (2026-04 5.58%); 194 macro + 902 forecasting tests green. No migration, no new deps. Refs #946.	2026-06-08 11:41:14 +05:00
lekss361	3921180d07	fix(sf): ST_MakeValid genplan geom + backfill 881 invalid polygons (#1157) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 17:59:04 +00:00
bot-backend	515ac89eaa	fix(sf): робастный путь к koltsovo JSON в pat-loader (#1155) ... Co-authored-by: bot-backend <bot-backend@gendsgn.local> Co-committed-by: bot-backend <bot-backend@gendsgn.local>	2026-06-07 15:34:10 +00:00
bot-backend	5da4271235	feat(sf): OCR-пайплайн изъятия ЕКБ (Tesseract rus) → land_reservation (#1062) ... - Dockerfile: добавлены tesseract-ocr tesseract-ocr-rus в runner apt-слой - pyproject.toml: pymupdf>=1.24 (рендер PDF без poppler) + pytesseract>=0.3.13 - izyatie_client.py: list_izyatie_documents() + fetch_pdf() с екатеринбург.рф - izyatie_ocr.py: ocr_pdf_text() (PyMuPDF→PIL→Tesseract rus) + extract_izyatie_records() с нормализацией OCR-шума (пробелы в кад-номерах, кирилл. О→0, б→6) - izyatie_ocr_ingest.py: Celery task → land_reservation UPSERT (SAVEPOINT per-row) - beat_schedule.py: izyatie-ocr-ingest-weekly (пятница 07:00 МСК) - 33 теста, все зелёные; без реального Tesseract/сети в CI	2026-06-07 18:07:06 +03:00
bot-backend	9736192359	feat(sf): подзоны ПАТ Кольцово → pat_subzones (#1150) ... Co-authored-by: bot-backend <bot-backend@gendsgn.local> Co-committed-by: bot-backend <bot-backend@gendsgn.local>	2026-06-07 14:43:07 +00:00
lekss361	396db20c48	feat(sf): enumerate изъятия/резервирования с pravo.gov66 → land_reservation (#1145) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 13:56:29 +00:00
Light1YT	1f66dfd400	feat(macro): ЕМИСС среднедушевые доходы (id=57039) -> macro_indicator (#946 part2) ... Расширяет Росстат-скрейпер ЕМИСС/fedstat-рядом «Среднедушевые денежные доходы населения» (fedstat id=57039, OKATO 65=Свердл, квартальный, руб). Добавляет pure SDMX-ML v1.0 GenericData-парсер (stdlib ElementTree, dev-тестируем на фикстурах) + EMISS-ветку Celery-таски rosstat_macro_sync (open-data + ЕМИСС, per-source guard, source='emiss', frequency параметризован, CAST not ::, SAVEPOINT per-row). income_per_capita проброшен в site_finder/macro (region='sverdl'). ЕМИСС за WAF с dev -> fetch исполняется на проде (verified: httpx POST из gendesign-worker-1 -> 200 + SDMX, парсер извлёк 9 Свердл-строк). ИПЦ (id=31074) / индекс цен СМР НЕ landed: многомерные, дефолт-экспорт data.do без Свердл, нужна dataGrid-выборка (selectedFilterIds + filter-tree AJAX + reCAPTCHA) -- задокументировано. Refs #946.	2026-06-07 18:44:38 +05:00
Light1YT	f7c4d7a8c5	feat(macro): Росстат open-data macro scraper -> macro_indicator (#946) ... EPIC2 macro-ingest: региональный (Свердловская обл. ОКТМО 65 / ЕКБ) скрейпер Росстата в унифицированную macro_indicator (м.123). Зеркалит форму cbr_macro: pure-парсеры + тонкий httpx, Celery-таска с SAVEPOINT-per-row upsert (CAST not ::, ON CONFLICT по PK indicator_type/region/obs_date). ЕМИСС/fedstat.ru (SDMX) за WAF (hard-403 на всех путях из dev-IP) -> ИПЦ/доходы/ СМР-цены пока недоступны (документировано в коде). rosstat.gov.ru/opendata (стандарт 4.0) WAF-free -> приземляет демографию population_total (sverdl 4.32M / ekb 1.41M, §7.11). - services/scrapers/rosstat_emiss.py — fetch+parse open-data (registry->meta->data CSV) - workers/tasks/rosstat_macro_sync.py — Celery upsert (source=rosstat) - beat: rosstat-macro-sync-monthly; include в celery_app - site_finder/macro.py: population_total -> region-aware default sverdl (additive) - tests: 18 offline-тестов парсера + контракта таски Без миграции (вписано в существующую схему), без новых зависимостей. Refs #946.	2026-06-07 13:12:01 +00:00
lekss361	50fcba1ca0	feat(sf): ingest ОКН-объектов ЕКБ из АИС ЕГРКН (точки+категория) → okn_objects (#1141) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 12:51:18 +00:00
bot-backend	86b9a5a197	perf(sf): КРТ-геометрия в БД, _krt_at из БД вместо живого WFS (#1139) ... Co-authored-by: bot-backend <bot-backend@gendsgn.local> Co-committed-by: bot-backend <bot-backend@gendsgn.local>	2026-06-07 12:14:35 +00:00
lekss361	189ecc81f8	feat(sf): ingest функц.зон генплана ЕКБ-2045 из ГИСОГД-СО WFS → ekb_genplan_functional_zone (#1137) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 12:03:39 +00:00
lekss361	1e53416277	feat(sf): ППТ/ПМТ ТЭП-парсер (Табл.11/12/13) → ekb_ppt_tep MVP (#1133) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 11:54:40 +00:00
lekss361	57c6d119f5	feat(sf): scraper реестра КРТ-площадок ЕКБ → ekb_krt_sites (#1126) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 11:24:49 +00:00
lekss361	ef15190690	feat(sf): geocode geom для ekburg_construction_permits из МСК-66 (#1124) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 11:16:45 +00:00
lekss361	59f2628e0b	feat(sf): ПАГЕ-парсер изъятия/резервирования → land_reservation (#1118) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 10:15:03 +00:00
lekss361	dcafb32f31	feat(sf): gknspecial_zone ИРД-harvest → ird_overlays (#1114) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-06-07 09:54:53 +00:00