feat(sf): ППТ/ПМТ WFS ingest → planning_projects (future-supply, #1085 part 1) #1104

Merged

bot-reviewer merged 1 commit from feat/1085-planning-projects-wfs into main

2026-06-06 20:25:23 +00:00

lekss361 commented

2026-06-06 20:19:05 +00:00

Owner

Part 1 of #1085 (WFS-слой). PDF/ТЭП-парсер — follow-up (см. ниже).

Future-supply: ингест ППТ/ПМТ ЕКБ из геопортал-WFS

Утверждённые проекты планировки (ППТ) и межевания (ПМТ) территории — что/где утверждено к застройке. Источник — ЕКБ-геопортал GeoServer WFS (ekb_geoportal_client, #1083).

Что добавлено

data/sql/134_planning_projects.sql — таблица planning_projects: project_type ('ppt'|'pmt'), source_key (портальный key), full_name/doc_full_name/doc_status/doc_status_name/project_name/dmd_actual_year, geom (4326), raw_props. UNIQUE (project_type, source_key), GIST(geom). Паттерн м.132/133.
- Отдельная таблица (не ird_overlays): документ-центричная модель геопортала (doc_status/год) из другого источника (WFS, уже 4326) — не клеится со схемой НСПД-ограничений.
backend/app/workers/tasks/planning_harvest.py — Celery harvest_planning_projects: WFS BBOX-фетч ppt+pmt по bbox агломерации ЕКБ → upsert. В отличие от НСПД grid-walk — WFS отдаёт все фичи слоя одним запросом, геометрия уже 4326 (ST_SetSRID(ST_GeomFromGeoJSON, 4326), без Transform). SAVEPOINT per-row, CAST psycopg v3.
celery_app.py include + beat_schedule.py planning-harvest-monthly (1-е число 06:00 МСК).
tests/workers/test_planning_harvest.py — 3 теста (mock client+DB): оба слоя + project_type-маппинг + нормализация года, skip битых фич, _to_int.

WFS-поля (live-probe прода 2026-06-06)

key, full_name ("ПАГЕ № … Об утверждении ППТ/ПМТ …"), doc_full_name, doc_status, doc_status_name, dmd_actual_year, project_name, geoloc (4326) — подтверждены реальными фичами обоих слоёв.

Валидация

pytest tests/workers/test_planning_harvest.py → 3 passed; ruff clean (line-100).
Migration на prod-PostGIS в rollback-tx (прод не изменён): BEGIN→CREATE TABLE→COMMENT×3→DO→CREATE INDEX×2→ROLLBACK ✅.
beat: build_beat_schedule() → planning-harvest-monthly зарегистрирован.
Зависит от TLS-фикса #1103 (уже merged) — иначе WFS падал бы с прода.

Follow-up (не в этом PR)

ТЭП/очередность из PDF пояснительных записок (pdfplumber — pdftotext даёт кириллический mojibake): баланс зон (га), ТЭП, очередность строительства. Требует pdfplumber в deps + реальные sample-PDF + (для постановлений-сканов) OCR. Колонки tep/staging добавятся ALTER-ом. Acceptance issue по WFS-части (список ППТ/ПМТ с doc_status) — закрыт; PDF-часть («где есть PDF — ёмкость/очередность») — отдельной задачей.

Scope

Self-contained: НЕ трогает parcels.py. analyze-чтение overlap — через отдельный flag-gated PR (как ИРД D9b).

Part 1 of #1085 (WFS-слой). PDF/ТЭП-парсер — follow-up (см. ниже). ## Future-supply: ингест ППТ/ПМТ ЕКБ из геопортал-WFS Утверждённые проекты планировки (ППТ) и межевания (ПМТ) территории — что/где утверждено к застройке. Источник — ЕКБ-геопортал GeoServer WFS (`ekb_geoportal_client`, #1083). ### Что добавлено - **`data/sql/134_planning_projects.sql`** — таблица `planning_projects`: `project_type` ('ppt'|'pmt'), `source_key` (портальный `key`), `full_name`/`doc_full_name`/`doc_status`/`doc_status_name`/`project_name`/`dmd_actual_year`, `geom` (4326), `raw_props`. UNIQUE `(project_type, source_key)`, GIST(geom). Паттерн м.132/133. - **Отдельная таблица** (не `ird_overlays`): документ-центричная модель геопортала (doc_status/год) из другого источника (WFS, уже 4326) — не клеится со схемой НСПД-ограничений. - **`backend/app/workers/tasks/planning_harvest.py`** — Celery `harvest_planning_projects`: WFS BBOX-фетч ppt+pmt по bbox агломерации ЕКБ → upsert. В отличие от НСПД grid-walk — WFS отдаёт все фичи слоя одним запросом, геометрия уже 4326 (`ST_SetSRID(ST_GeomFromGeoJSON, 4326)`, без Transform). SAVEPOINT per-row, CAST psycopg v3. - **`celery_app.py`** include + **`beat_schedule.py`** `planning-harvest-monthly` (1-е число 06:00 МСК). - **`tests/workers/test_planning_harvest.py`** — 3 теста (mock client+DB): оба слоя + project_type-маппинг + нормализация года, skip битых фич, `_to_int`. ### WFS-поля (live-probe прода 2026-06-06) `key`, `full_name` ("ПАГЕ № … Об утверждении ППТ/ПМТ …"), `doc_full_name`, `doc_status`, `doc_status_name`, `dmd_actual_year`, `project_name`, `geoloc` (4326) — подтверждены реальными фичами обоих слоёв. ### Валидация - `pytest tests/workers/test_planning_harvest.py` → **3 passed**; `ruff` clean (line-100). - Migration на **prod-PostGIS в rollback-tx** (прод не изменён): BEGIN→CREATE TABLE→COMMENT×3→DO→CREATE INDEX×2→ROLLBACK ✅. - beat: `build_beat_schedule()` → `planning-harvest-monthly` зарегистрирован. - Зависит от TLS-фикса #1103 (уже merged) — иначе WFS падал бы с прода. ### Follow-up (не в этом PR) **ТЭП/очередность из PDF пояснительных записок** (pdfplumber — pdftotext даёт кириллический mojibake): баланс зон (га), ТЭП, очередность строительства. Требует `pdfplumber` в deps + реальные sample-PDF + (для постановлений-сканов) OCR. Колонки `tep`/`staging` добавятся ALTER-ом. Acceptance issue по WFS-части (`список ППТ/ПМТ с doc_status`) — закрыт; PDF-часть («где есть PDF — ёмкость/очередность») — отдельной задачей. ### Scope Self-contained: НЕ трогает `parcels.py`. analyze-чтение overlap — через отдельный flag-gated PR (как ИРД D9b).

lekss361 added 1 commit 2026-06-06 20:19:06 +00:00

feat(sf): ППТ/ПМТ WFS ingest → planning_projects (future-supply, #1085 )

CI / changes (push) Successful in 6s

Details

CI / changes (pull_request) Successful in 6s

Details

CI / backend-tests (push) Successful in 5m47s

Details

CI / backend-tests (pull_request) Successful in 5m45s

Details

b5c61d295b

lekss361 added the

labels 2026-06-06 20:19:11 +00:00

bot-reviewer reviewed 2026-06-06 20:25:15 +00:00

bot-reviewer left a comment

Collaborator

✅ APPROVE — ППТ/ПМТ WFS-ингест (#1085 part 1), консистентен с harvest-паттерном эпика.

Номер 134 свободен (main → 133 zone_regulation_cache; ложная grep-тревога была по blob-хешу, не имени). DDL идемпотентна (BEGIN/COMMIT, IF NOT EXISTS ×3, guarded DO для UNIQUE) — паттерн м.132/133. CHECK (project_type IN ('ppt','pmt')) + (source_key>0).
UPSERT/колонки = DDL: 11 INSERT-колонок (без id) все в DDL; ON CONFLICT (project_type, source_key) = uq_planning_projects; DO UPDATE покрывает 9 мутабельных, ключ не трогает.
psycopg v3: все CAST(:x AS type), нет ::. ST_SetSRID(ST_GeomFromGeoJSON, 4326) БЕЗ Transform — корректно (WFS уже 4326, SetSRID только присваивает SRID).
SAVEPOINT begin_nested + try/except (int(source_key) ValueError + CHECK source_key>0 изолированы); commit-once; db.close finally. _to_int defensive (str/int/None/garbage). Отдельный _upsert_feature (другая таблица — НЕ дублирование, обоснованно).
WFS bbox: features_in_bbox один запрос на слой (не grid-walk); EKB_AGGLOMERATION_BBOX покрывает ЕКБ-центр+пригороды. beat 0 6 1 без коллизий (opportunity 05:30, +30мин). imports #1083 резолвятся.
Зависит от merged TLS-фикса #1103 — корректно.

Минор (cosmetic): docstring-длина (ruff не ловит), identity-dict PLANNING_LAYERS, нет rollback-теста (SAVEPOINT-паттерн proven в ird_harvest). Не блок.

Merge → deploy-verify. NB: DDL-PR — health недостаточен; подтверждение planning_projects за postgres/qa.

✅ **APPROVE** — ППТ/ПМТ WFS-ингест (#1085 part 1), консистентен с harvest-паттерном эпика. - **Номер 134 свободен** (main → 133 zone_regulation_cache; ложная grep-тревога была по blob-хешу, не имени). DDL идемпотентна (BEGIN/COMMIT, IF NOT EXISTS ×3, guarded DO для UNIQUE) — паттерн м.132/133. CHECK (project_type IN ('ppt','pmt')) + (source_key>0). - **UPSERT/колонки = DDL**: 11 INSERT-колонок (без id) все в DDL; ON CONFLICT (project_type, source_key) = uq_planning_projects; DO UPDATE покрывает 9 мутабельных, ключ не трогает. - **psycopg v3**: все CAST(:x AS type), нет `::`. `ST_SetSRID(ST_GeomFromGeoJSON, 4326)` БЕЗ Transform — корректно (WFS уже 4326, SetSRID только присваивает SRID). - **SAVEPOINT** `begin_nested` + try/except (int(source_key) ValueError + CHECK source_key>0 изолированы); commit-once; db.close finally. `_to_int` defensive (str/int/None/garbage). Отдельный `_upsert_feature` (другая таблица — НЕ дублирование, обоснованно). - **WFS bbox**: `features_in_bbox` один запрос на слой (не grid-walk); EKB_AGGLOMERATION_BBOX покрывает ЕКБ-центр+пригороды. beat `0 6 1` без коллизий (opportunity 05:30, +30мин). imports #1083 резолвятся. - Зависит от merged TLS-фикса #1103 — корректно. Минор (cosmetic): docstring-длина (ruff не ловит), identity-dict PLANNING_LAYERS, нет rollback-теста (SAVEPOINT-паттерн proven в ird_harvest). Не блок. Merge → deploy-verify. NB: DDL-PR — health недостаточен; подтверждение planning_projects за postgres/qa.