gendesign

lekss361/gendesign

Fork 0

Commit graph

Author	SHA1	Message	Date
lekss361	698ef4f003	feat(tradein): postgres_fdw live read of gendesign.cad_buildings (replaces snapshot) Replaces tradein.cad_buildings manual snapshot (36k rows, frozen 2026-05-22) with live postgres_fdw foreign table reading gendesign.v_tradein_cad_buildings directly. Also reverts PR #492 HTTP-based cadastral.py — superseded by FDW. Architecture: - gendesign DB: new role tradein_fdw_reader + flat view v_tradein_cad_buildings (EKB-only slice of cad_buildings with lat/lon flattened from geom) - networks: gendesign-postgres added to gendesign_shared (alias); tradein-postgres added to gendesign_shared for FDW connect - tradein DB: postgres_fdw extension + FOREIGN TABLE gendesign_cad_buildings - tradein backend: startup hook creates/refreshes USER MAPPING with password from env GENDESIGN_FDW_PASSWORD (password rotation handled via restart) - geocoder.py: cadastral primary for forward + reverse + suggest; Yandex/Nominatim fallback. reverse_geocode wraps Nominatim in try/except — no more HTTPStatusError → 500. - house_metadata.py and trade_in.py admin stats switched to foreign table - DROP TABLE cad_buildings in tradein (legacy snapshot removed entirely) - import-cadastre.sh deleted (no manual sync needed) Fixes: - /trade-in/api/v1/geocode/reverse 500 (Nominatim ban → no fallback) - estimate confidence_explanation=address_not_geocoded for addresses in our cadastre (e.g. Хохрякова 81) that Nominatim doesn't return Deploy ordering: main migration 100_tradein_fdw_role.sql adds role+view first (strict deploy.yml). Tradein next deploy applies 060_postgres_fdw_extension.sql and 061_drop_legacy_cad_buildings.sql (idempotent, errors ignored). Tradein backend startup creates USER MAPPING when env var present. Verify post-deploy with: docker exec tradein-postgres psql -U tradein -d tradein -c \ "SELECT count(*) FROM gendesign_cad_buildings" # expect ~36k EKB buildings.	2026-05-24 11:13:44 +03:00
TradeIn Deploy	9cc8ab96f7	feat(tradein): кадастр зданий как источник house_metadata (#393 ) В gendesign-БД есть cad_buildings — ~36к зданий ЕКБ с годом постройки и этажностью (Росреестр). Подключаем как ПРИОРИТЕТНЫЙ источник обогащения house_metadata, OSM Overpass остаётся fallback-ом. - data/sql/006_cad_buildings.sql — таблица cad_buildings в tradein-БД. - deploy/import-cadastre.sh — ETL: ЕКБ-срез cad_buildings из gendesign-postgres → tradein (по образцу import-rosreestr.sh). - house_metadata._cad_buildings_get — lookup по гео-близости (60 м), проверяется ПЕРВЫМ в get_house_metadata, до OSM. cad_buildings — кадастр ЗДАНИЙ, не квартир: поле ручного ввода кадастра (исходная идея #393) не делаем — гео-обогащение полезнее и работает автоматически для каждой оценки. Closes #393	2026-05-22 10:54:42 +05:00
TradeIn Deploy	bf2886509d	feat(tradein): обогащение house_metadata через OSM Overpass (#392 ) Когда пользователь не указал год постройки / тип дома, estimator подтягивает их из OpenStreetMap (Overpass API) — building:levels, start_date, building:material. Улучшает house-match аналогов (#6). - app/services/house_metadata.py — Overpass-провайдер + кэш в таблице house_metadata (TTL 30 дней, lookup по близости координат, 40 м). - estimator.estimate_quality — обогащает target_year / target_house_type перед _fetch_analogs. Best-effort: ошибка OSM → оценка без обогащения. OSM по ЕКБ: building:levels населён хорошо, год постройки — частично. Closes #392	2026-05-22 10:39:56 +05:00

Author

SHA1

Message

Date

lekss361

698ef4f003

feat(tradein): postgres_fdw live read of gendesign.cad_buildings (replaces snapshot)

Replaces tradein.cad_buildings manual snapshot (36k rows, frozen 2026-05-22) with
live postgres_fdw foreign table reading gendesign.v_tradein_cad_buildings directly.
Also reverts PR #492 HTTP-based cadastral.py — superseded by FDW.

Architecture:
- gendesign DB: new role tradein_fdw_reader + flat view v_tradein_cad_buildings
  (EKB-only slice of cad_buildings with lat/lon flattened from geom)
- networks: gendesign-postgres added to gendesign_shared (alias);
  tradein-postgres added to gendesign_shared for FDW connect
- tradein DB: postgres_fdw extension + FOREIGN TABLE gendesign_cad_buildings
- tradein backend: startup hook creates/refreshes USER MAPPING with password
  from env GENDESIGN_FDW_PASSWORD (password rotation handled via restart)
- geocoder.py: cadastral primary for forward + reverse + suggest;
  Yandex/Nominatim fallback. reverse_geocode wraps Nominatim in try/except —
  no more HTTPStatusError → 500.
- house_metadata.py and trade_in.py admin stats switched to foreign table
- DROP TABLE cad_buildings in tradein (legacy snapshot removed entirely)
- import-cadastre.sh deleted (no manual sync needed)

Fixes:
- /trade-in/api/v1/geocode/reverse 500 (Nominatim ban → no fallback)
- estimate confidence_explanation=address_not_geocoded for addresses in our
  cadastre (e.g. Хохрякова 81) that Nominatim doesn't return

Deploy ordering: main migration 100_tradein_fdw_role.sql adds role+view first
(strict deploy.yml). Tradein next deploy applies 060_postgres_fdw_extension.sql
and 061_drop_legacy_cad_buildings.sql (idempotent, errors ignored). Tradein
backend startup creates USER MAPPING when env var present. Verify post-deploy
with: docker exec tradein-postgres psql -U tradein -d tradein -c \
  "SELECT count(*) FROM gendesign_cad_buildings"  # expect ~36k EKB buildings.

2026-05-24 11:13:44 +03:00

TradeIn Deploy

9cc8ab96f7

feat(tradein): кадастр зданий как источник house_metadata (#393 )

В gendesign-БД есть cad_buildings — ~36к зданий ЕКБ с годом постройки
и этажностью (Росреестр). Подключаем как ПРИОРИТЕТНЫЙ источник
обогащения house_metadata, OSM Overpass остаётся fallback-ом.

- data/sql/006_cad_buildings.sql — таблица cad_buildings в tradein-БД.
- deploy/import-cadastre.sh — ETL: ЕКБ-срез cad_buildings из
  gendesign-postgres → tradein (по образцу import-rosreestr.sh).
- house_metadata._cad_buildings_get — lookup по гео-близости (60 м),
  проверяется ПЕРВЫМ в get_house_metadata, до OSM.

cad_buildings — кадастр ЗДАНИЙ, не квартир: поле ручного ввода кадастра
(исходная идея #393) не делаем — гео-обогащение полезнее и работает
автоматически для каждой оценки.

Closes #393

2026-05-22 10:54:42 +05:00

TradeIn Deploy

bf2886509d

feat(tradein): обогащение house_metadata через OSM Overpass (#392 )

Когда пользователь не указал год постройки / тип дома, estimator
подтягивает их из OpenStreetMap (Overpass API) — building:levels,
start_date, building:material. Улучшает house-match аналогов (#6).

- app/services/house_metadata.py — Overpass-провайдер + кэш в таблице
  house_metadata (TTL 30 дней, lookup по близости координат, 40 м).
- estimator.estimate_quality — обогащает target_year / target_house_type
  перед _fetch_analogs. Best-effort: ошибка OSM → оценка без обогащения.

OSM по ЕКБ: building:levels населён хорошо, год постройки — частично.

Closes #392

2026-05-22 10:39:56 +05:00

3 commits