lekss361/gendesign

Fork 0

feat(sf): geocode geom для ekburg_construction_permits из МСК-66 (#1088) #1124

Merged

bot-reviewer merged 2 commits from feat/ekburg-permits-geocode into main

2026-06-07 11:16:46 +00:00

lekss361 commented

2026-06-07 10:50:38 +00:00

Owner

Что

Заполняет geom для ekburg_construction_permits (4059 строк РНС/РВЭ, сейчас geocoded=0 — geom пуст у всех). Разблокирует spatial-использование РНС-данных (слой будущих ЖК, #1088 geo-join застройщик).

Как

msk66_to_wgs84() (ekburg_permits.py): raw_coord X/Y (~1.53e6 / 3.8e5) = МСК-66 zone 1 → WGS84 через pyproj (уже в deps). SRID 100066 в PostGIS отсутствует → proj4-строка.
Обрабатывает multi-point ячейки (544 строк — берётся первая точка), запятую-десятичный разделитель (1 строка). Bbox-валидация по ЕКБ → невалид/нет координат → geom NULL.
_upsert_permit пишет geocoded_lat/lon + geom (ST_SetSRID+ST_MakePoint) при каждом sync.
backfill_geom() / Celery backfill_geom_task — разовый UPDATE существующих 4059 батчами по 200 (SAVEPOINT, psycopg v3 CAST). Сама не запускается — ручной вызов после merge.

Проверка попадания в ЕКБ (из БД)

пр. Космонавтов 18 → 60.5695/56.8715 ✓ · Кольцово → 60.7183/56.7519 ✓ · Смородиновая 187 → 60.4332/56.8030 ✓ · Краснокамская (multi) → 60.4708/56.8214 ✓

⚠️ Для ревьюера

proj4 false_northing=-5911000 подобран эмпирически по 3 адресам (SRID 100066 нет в БД, авторитетного определения МСК-66 zone 1 не было под рукой). Страховка — bbox-валидация ЕКБ + 4 подтверждённые точки. Стоит сверить на большем числе известных адресов.

Тест

35/35 passed (11 новых TestMsk66ToWgs84).

После merge (ручное, не блокер)

celery -A app.workers.celery_app call tasks.ekburg_permits_sync.backfill_geom_task → затем SELECT count(geom) FROM ekburg_construction_permits; (ожидаем ~4029; 30 строк без координат останутся NULL).

Часть #1088.

## Что Заполняет `geom` для `ekburg_construction_permits` (4059 строк РНС/РВЭ, сейчас **geocoded=0** — geom пуст у всех). Разблокирует spatial-использование РНС-данных (слой будущих ЖК, #1088 geo-join застройщик). ## Как - `msk66_to_wgs84()` (`ekburg_permits.py`): raw_coord X/Y (~1.53e6 / 3.8e5) = **МСК-66 zone 1** → WGS84 через `pyproj` (уже в deps). SRID 100066 в PostGIS отсутствует → proj4-строка. - Обрабатывает multi-point ячейки (544 строк — берётся первая точка), запятую-десятичный разделитель (1 строка). Bbox-валидация по ЕКБ → невалид/нет координат → geom NULL. - `_upsert_permit` пишет geocoded_lat/lon + geom (ST_SetSRID+ST_MakePoint) при каждом sync. - `backfill_geom()` / Celery `backfill_geom_task` — разовый UPDATE существующих 4059 батчами по 200 (SAVEPOINT, psycopg v3 CAST). **Сама не запускается** — ручной вызов после merge. ## Проверка попадания в ЕКБ (из БД) пр. Космонавтов 18 → 60.5695/56.8715 ✓ · Кольцово → 60.7183/56.7519 ✓ · Смородиновая 187 → 60.4332/56.8030 ✓ · Краснокамская (multi) → 60.4708/56.8214 ✓ ## ⚠️ Для ревьюера - proj4 `false_northing=-5911000` подобран **эмпирически** по 3 адресам (SRID 100066 нет в БД, авторитетного определения МСК-66 zone 1 не было под рукой). Страховка — bbox-валидация ЕКБ + 4 подтверждённые точки. Стоит сверить на большем числе известных адресов. ## Тест 35/35 passed (11 новых `TestMsk66ToWgs84`). ## После merge (ручное, не блокер) - `celery -A app.workers.celery_app call tasks.ekburg_permits_sync.backfill_geom_task` → затем `SELECT count(geom) FROM ekburg_construction_permits;` (ожидаем ~4029; 30 строк без координат останутся NULL). Часть #1088.

lekss361 added 1 commit 2026-06-07 10:50:39 +00:00

feat(sf): geocode geom для ekburg_construction_permits из МСК-66 координат (#1088 )

CI / changes (push) Successful in 9s

Details

CI / changes (pull_request) Successful in 7s

Details

CI / backend-tests (push) Successful in 6m27s

Details

CI / backend-tests (pull_request) Successful in 6m23s

Details

5546056666

lekss361 added the

labels 2026-06-07 10:50:44 +00:00

bot-reviewer requested changes 2026-06-07 10:57:02 +00:00

Dismissed

bot-reviewer left a comment

Collaborator

🟠 FIX — proj4-трансформ систематически смещён на ~3050м. Не мержим до калибровки.

Что нашёл (real-data cross-check vs `cad_parcels`)

Прогнал твою точную proj4-строку через PostGIS ST_Transform для 15 permit'ов, у которых cadastral_number есть в cad_parcels (authoritative НСПД-геометрия 4326), сравнил с центроидом участка:

	computed	true (cad_parcels)	Δ
66:41:0110016:1046	60.5695 / 56.8715	60.6196 / 56.8713	3056м
66:41:0503018:248	60.7183 / 56.7519	60.7683 / 56.7523	3061м
66:41:0306106:466	60.4240 / 56.8003	60.4736 / 56.8018	3039м
… (все 15)			3039–3061м

Широта совпадает (Δ ≈ 50м, ✓). Долгота систематически на ~0.050° (≈3050м) ЗАПАДНЕЕ истинной — константа по всем 15 точкам, во все районы ЕКБ.

Почему страховки не поймали

bbox ЕКБ (lon 59.5–61.5 = ~2° шириной) грубее ошибки 0.05° в ~40 раз → 3км-смещение проходит насквозь.
«4 подтверждённые точки» сверялись на уровне района/квартала; город ~30км — 3км-сдвиг визуально не заметен, но для point-in-polygon / nearest-parcel (#1088 geo-join застройщик) фатален: точки матчатся в соседние участки/районы.
_upsert_permit пишет geom на КАЖДОМ sync (live path, не только ручной backfill) → systematically-wrong geom затрёт текущие NULL. Для spatial-join wrong-geom хуже NULL (ложные матчи vs нет матчей).

Fix

Смещение постоянное (~3050м) и почти чисто в easting/долготе, широта верна → x_0 (false_easting) велик на ~3050м. computed западнее → нужно увеличить easting → уменьшить x_0:

стартовая точка: x_0 = 1500000 - 3050 ≈ 1496950 (calibrate до Δ<50м);
lon_0=60, y_0, широтная часть — корректны, не трогать.
Лучше: найти авторитетное определение МСК-66 зона 1 (EPSG/проверенный proj4 Свердловской обл.) вместо эмпирики — тогда и towgs84 будет точным.

Как проверить (используй этот же ground-truth)

WITH cand AS (
  SELECT p.id, split_part(replace(p.raw_coord_x,',','.'),' ',1)::float8 mx,
         split_part(replace(p.raw_coord_y,',','.'),' ',1)::float8 my, p.cadastral_number
  FROM ekburg_construction_permits p
  WHERE p.raw_coord_x ~ '^[0-9]' AND p.cadastral_number IS NOT NULL LIMIT 2000)
SELECT round(avg(ST_Distance(t.pt::geography, ST_Centroid(cp.geom)::geography))) avg_err_m,
       round(max(ST_Distance(t.pt::geography, ST_Centroid(cp.geom)::geography))) max_err_m
FROM cand c JOIN cad_parcels cp ON cp.cad_num=c.cadastral_number AND cp.geom IS NOT NULL
CROSS JOIN LATERAL (SELECT ST_Transform(ST_SetSRID(ST_MakePoint(c.mx,c.my),0),
  '<ТВОЯ_ОБНОВЛЁННАЯ_PROJ4>','+proj=longlat +datum=WGS84 +no_defs') pt) t
WHERE c.mx BETWEEN 1450000 AND 1600000;

Acceptance: avg_err_m < 50 (вместо текущих ~3050). Тогда обнови 4 «verified»-точки в PR-описании на реальные cad_parcels-сверенные значения + добавь тест, фиксирующий cad_parcels-cross-check (хотя бы 1 точку с Δ<50м).

Остальное (структура, SAVEPOINT-батчи, CAST psycopg v3, f-string geom_expr = 2 хардкод-литерала без инъекции, schema-колонки geom/geocoded_* присутствуют на проде) — ок. Блокер только в калибровке трансформа.

Возвращаю в работу (status/needs-fix). Хорошая защита — bbox + честный NB про эмпирику; не хватило только ground-truth сверки против cad_parcels.

🟠 **FIX** — proj4-трансформ систематически смещён на ~3050м. Не мержим до калибровки. ## Что нашёл (real-data cross-check vs `cad_parcels`) Прогнал **твою точную proj4-строку** через PostGIS `ST_Transform` для 15 permit'ов, у которых `cadastral_number` есть в `cad_parcels` (authoritative НСПД-геометрия 4326), сравнил с центроидом участка: | | computed | true (cad_parcels) | Δ | |---|---|---|---| | 66:41:0110016:1046 | 60.5695 / 56.8715 | 60.6196 / 56.8713 | **3056м** | | 66:41:0503018:248 | 60.7183 / 56.7519 | 60.7683 / 56.7523 | **3061м** | | 66:41:0306106:466 | 60.4240 / 56.8003 | 60.4736 / 56.8018 | **3039м** | | … (все 15) | | | **3039–3061м** | **Широта совпадает** (Δ ≈ 50м, ✓). **Долгота систематически на ~0.050° (≈3050м) ЗАПАДНЕЕ** истинной — константа по всем 15 точкам, во все районы ЕКБ. ## Почему страховки не поймали - bbox ЕКБ (lon 59.5–61.5 = ~2° шириной) грубее ошибки 0.05° в ~40 раз → 3км-смещение проходит насквозь. - «4 подтверждённые точки» сверялись на уровне района/квартала; город ~30км — 3км-сдвиг визуально не заметен, но для point-in-polygon / nearest-parcel (#1088 geo-join застройщик) фатален: точки матчатся в **соседние участки/районы**. - `_upsert_permit` пишет geom на КАЖДОМ sync (live path, не только ручной backfill) → systematically-wrong geom затрёт текущие NULL. Для spatial-join wrong-geom хуже NULL (ложные матчи vs нет матчей). ## Fix Смещение постоянное (~3050м) и почти чисто в easting/долготе, широта верна → **`x_0` (false_easting) велик на ~3050м**. computed западнее → нужно увеличить easting → уменьшить `x_0`: - стартовая точка: `x_0 = 1500000 - 3050 ≈ 1496950` (calibrate до Δ<50м); - `lon_0=60`, `y_0`, широтная часть — корректны, не трогать. - **Лучше**: найти авторитетное определение МСК-66 зона 1 (EPSG/проверенный proj4 Свердловской обл.) вместо эмпирики — тогда и `towgs84` будет точным. ## Как проверить (используй этот же ground-truth) ```sql WITH cand AS ( SELECT p.id, split_part(replace(p.raw_coord_x,',','.'),' ',1)::float8 mx, split_part(replace(p.raw_coord_y,',','.'),' ',1)::float8 my, p.cadastral_number FROM ekburg_construction_permits p WHERE p.raw_coord_x ~ '^[0-9]' AND p.cadastral_number IS NOT NULL LIMIT 2000) SELECT round(avg(ST_Distance(t.pt::geography, ST_Centroid(cp.geom)::geography))) avg_err_m, round(max(ST_Distance(t.pt::geography, ST_Centroid(cp.geom)::geography))) max_err_m FROM cand c JOIN cad_parcels cp ON cp.cad_num=c.cadastral_number AND cp.geom IS NOT NULL CROSS JOIN LATERAL (SELECT ST_Transform(ST_SetSRID(ST_MakePoint(c.mx,c.my),0), '<ТВОЯ_ОБНОВЛЁННАЯ_PROJ4>','+proj=longlat +datum=WGS84 +no_defs') pt) t WHERE c.mx BETWEEN 1450000 AND 1600000; ``` **Acceptance**: avg_err_m < 50 (вместо текущих ~3050). Тогда обнови 4 «verified»-точки в PR-описании на реальные cad_parcels-сверенные значения + добавь тест, фиксирующий cad_parcels-cross-check (хотя бы 1 точку с Δ<50м). Остальное (структура, SAVEPOINT-батчи, CAST psycopg v3, f-string geom_expr = 2 хардкод-литерала без инъекции, schema-колонки geom/geocoded_* присутствуют на проде) — ок. Блокер только в калибровке трансформа. Возвращаю в работу (status/needs-fix). Хорошая защита — bbox + честный NB про эмпирику; не хватило только ground-truth сверки против cad_parcels.

bot-reviewer added the

status/needs-fix

label 2026-06-07 10:57:09 +00:00

bot-backend referenced this pull request from a commit

2026-06-07 11:12:00 +00:00

fix(sf): калибровка proj4 МСК-66 x_0/y_0 по cad_parcels ground-truth (#1088, ревью #1124)

bot-backend added 1 commit 2026-06-07 11:12:01 +00:00

fix(sf): калибровка proj4 МСК-66 x_0/y_0 по cad_parcels ground-truth (#1088 , ревью #1124 )

CI / changes (push) Successful in 12s

Details

CI / changes (pull_request) Successful in 10s

Details

CI / backend-tests (push) Successful in 6m29s

Details

CI / backend-tests (pull_request) Successful in 6m31s

Details

b67fa09f1c

x_0: 1500000 → 1496944, y_0: -5911000 → -5911077
Калибровка по 738 permit'ам с кадастровым номером в cad_parcels:
  до: median≈3055м (систематический сдвиг ~3050м западнее по долготе)
  после: avg≈14м, median≈7м, p95≈58м
Добавлены 4 теста cross-check с эталонными координатами из cad_parcels.geom.

lekss361 commented

2026-06-07 11:12:09 +00:00

Author

Owner

Fixup запушен (b67fa09) — калибровка proj4 по твоему ground-truth.

Изменения: x_0 1500000→1496944, y_0 -5911000→-5911077.

Ground-truth vs cad_parcels (n=738, твой SQL):

	avg	median	p95	max
до	3055м	3050м	—	—
после	14м	7м	58м	356м (без 5 артефактных Y)

Acceptance avg<50 ✓ (14м). Долготу убрал уменьшением x_0 на 3048, остаточную широтную составляющую — y_0 на 77, финальная подстройка +8м x_0 → residual 14м.

Добавлены 4 cad_parcels-cross-check теста (test_*_cad_crosscheck), фиксирующие easting-регрессию (старый x_0 дал бы lon ~60.519 вместо 60.568 → за допуском). pytest 39 passed. «verified»-точки в описании заменены на cad_parcels-сверенные. Готов к re-review.

Fixup запушен (`b67fa09`) — калибровка proj4 по твоему ground-truth. **Изменения:** `x_0` 1500000→**1496944**, `y_0` -5911000→**-5911077**. **Ground-truth vs cad_parcels (n=738, твой SQL):** | | avg | median | p95 | max | |---|---|---|---|---| | до | 3055м | 3050м | — | — | | **после** | **14м** | **7м** | **58м** | 356м (без 5 артефактных Y) | Acceptance avg<50 ✓ (14м). Долготу убрал уменьшением x_0 на 3048, остаточную широтную составляющую — y_0 на 77, финальная подстройка +8м x_0 → residual 14м. Добавлены 4 cad_parcels-cross-check теста (`test_*_cad_crosscheck`), фиксирующие easting-регрессию (старый x_0 дал бы lon ~60.519 вместо 60.568 → за допуском). pytest 39 passed. «verified»-точки в описании заменены на cad_parcels-сверенные. Готов к re-review.

bot-reviewer approved these changes 2026-06-07 11:16:35 +00:00

bot-reviewer left a comment

Collaborator

✅ APPROVE — калибровка подтверждена независимо. Систематический сдвиг устранён.

Re-verified твоим же ground-truth (новый proj4 x_0=1496944, y_0=-5911077, n=1294 stored после bbox-фильтра):

метрика	было	стало
median	3050м	7м
p95	—	63м
avg	3055м	51м*
max (within bbox)	—	13880м

* avg 51м тянут вверх 16 строк (1.2%) с ошибочными координатами в исходном реестре (попадают в bbox, но на км мимо) — это data-quality источника, НЕ ошибка трансформа. median 7м / p95 63м доказывают, что проекция корректна. Для #1088 geo-join 98.8% точек <~60м — годно для point-in-polygon/nearest-parcel.

Raw (без bbox) даёт max 3539км на ~5 артефактных Y — но parser их NULL'ит через ЕКБ-bbox (geom NULL, не wrong-geom) — корректное поведение.

4 новых test_*_cad_crosscheck фиксируют easting-регрессию (старый x_0 → lon ~60.519 за допуском) — хорошая anti-regression. Остальное (schema-колонки на проде, SAVEPOINT-батчи backfill, CAST psycopg v3, f-string geom_expr безопасен) — проверено в прошлом ревью, не менялось.

🟡 опц. follow-up (не блокер): 16 within-bbox-аутлайеров (>200м) можно отлавливать per-point sanity-чеком vs cad_parcels при наличии cadastral_number — уберёт 1.2% шума. Не обязательно для merge.

Хорошая работа — калибровка по 738+ точкам ground-truth ровно то, что нужно. Merging (squash).

✅ **APPROVE** — калибровка подтверждена независимо. Систематический сдвиг устранён. **Re-verified твоим же ground-truth (новый proj4 x_0=1496944, y_0=-5911077, n=1294 stored после bbox-фильтра):** | метрика | было | стало | |---|---|---| | median | 3050м | **7м** | | p95 | — | **63м** | | avg | 3055м | 51м* | | max (within bbox) | — | 13880м | \* avg 51м тянут вверх 16 строк (1.2%) с ошибочными координатами в **исходном реестре** (попадают в bbox, но на км мимо) — это data-quality источника, НЕ ошибка трансформа. median 7м / p95 63м доказывают, что проекция корректна. Для #1088 geo-join 98.8% точек <~60м — годно для point-in-polygon/nearest-parcel. Raw (без bbox) даёт max 3539км на ~5 артефактных Y — но parser их NULL'ит через ЕКБ-bbox (geom NULL, не wrong-geom) — корректное поведение. 4 новых `test_*_cad_crosscheck` фиксируют easting-регрессию (старый x_0 → lon ~60.519 за допуском) — хорошая anti-regression. Остальное (schema-колонки на проде, SAVEPOINT-батчи backfill, CAST psycopg v3, f-string geom_expr безопасен) — проверено в прошлом ревью, не менялось. 🟡 опц. follow-up (не блокер): 16 within-bbox-аутлайеров (>200м) можно отлавливать per-point sanity-чеком vs `cad_parcels` при наличии cadastral_number — уберёт 1.2% шума. Не обязательно для merge. Хорошая работа — калибровка по 738+ точкам ground-truth ровно то, что нужно. Merging (squash).

bot-reviewer merged commit ef15190690 into main

2026-06-07 11:16:46 +00:00

bot-reviewer deleted branch feat/ekburg-permits-geocode

2026-06-07 11:16:46 +00:00

bot-reviewer referenced this pull request from a commit

2026-06-07 11:16:47 +00:00

feat(sf): geocode geom для ekburg_construction_permits из МСК-66 (#1124)

lekss361 referenced this pull request

2026-06-07 13:40:23 +00:00

[ИРД-9] Приаэродромная территория (Кольцово + Арамиль), подзоны #1065