feat(tradein): geocode leftover deals via Nominatim (#569 Step 3) #615

Merged

Light1YT merged 1 commit from feat/tradein-geocode-deals-nominatim into main

2026-05-28 09:59:50 +00:00

Light1YT commented

2026-05-28 09:59:47 +00:00

Owner

Summary

Закрывает #569 до acceptance. Step 2 (#614) покрыл 86% сделок street-центроидами; остаются ~14% на улицах без геокодированных домов — centroid-join их не достанет, нужен реальный geocoder.

scripts/geocode_deals_nominatim.py геокодит остаток через geocoder.geocode() (cache → Cadastral FDW → Yandex → Nominatim, 1 req/s). Дедуп по адресу → distinct улицы определяют число вызовов, не 7k строк. geocode_tried_at стампится на каждой попытке → un-geocodable не крутятся.

Changes

File	LOC
`scripts/geocode_deals_nominatim.py`	+564
`tests/scripts/test_geocode_deals_nominatim.py`	+456 (17 тестов)

Review

code-reviewer: ✅ APPROVE, no critical. Проверено: SQL-safety (psycopg v3 CAST), no-infinite-reloop (mark-tried на clean miss / no-stamp на raised exception + staleness filter), --limit window-cap bounded, geom-not-manual (trigger), dedup (UPDATE все строки адреса), async loop. Transaction-handling с per-address SAVEPOINT — безопаснее sibling'а.

Tests

17 passed · sibling+task 37 passed · full suite 791 passed / 6 pre-existing unrelated. Ruff clean.

Deploy

Миграций нет. После merge: --dry-run → замер hit-rate, потом реальный прогон --limit 2000 батчами. Acceptance #569: deals WHERE lat IS NULL < 5% (street-level точности достаточно для радиуса 1-2км).

Closes #569.

## Summary Закрывает #569 до acceptance. Step 2 (#614) покрыл 86% сделок street-центроидами; остаются ~14% на улицах **без** геокодированных домов — centroid-join их не достанет, нужен реальный geocoder. `scripts/geocode_deals_nominatim.py` геокодит остаток через `geocoder.geocode()` (cache → Cadastral FDW → Yandex → Nominatim, 1 req/s). Дедуп по адресу → distinct улицы определяют число вызовов, не 7k строк. `geocode_tried_at` стампится на каждой попытке → un-geocodable не крутятся. ## Changes | File | LOC | |---|---| | `scripts/geocode_deals_nominatim.py` | +564 | | `tests/scripts/test_geocode_deals_nominatim.py` | +456 (17 тестов) | ## Review `code-reviewer`: ✅ **APPROVE**, no critical. Проверено: SQL-safety (psycopg v3 CAST), no-infinite-reloop (mark-tried на clean miss / no-stamp на raised exception + staleness filter), `--limit` window-cap bounded, geom-not-manual (trigger), dedup (UPDATE все строки адреса), async loop. Transaction-handling с per-address SAVEPOINT — безопаснее sibling'а. ## Tests 17 passed · sibling+task 37 passed · full suite 791 passed / 6 pre-existing unrelated. Ruff clean. ## Deploy Миграций нет. После merge: `--dry-run` → замер hit-rate, потом реальный прогон `--limit 2000` батчами. Acceptance #569: `deals WHERE lat IS NULL` < 5% (street-level точности достаточно для радиуса 1-2км). Closes #569.

Light1YT added 1 commit 2026-05-28 09:59:48 +00:00

feat(tradein): geocode leftover deals via Nominatim fallback (#569 Step 3) 783a85ad2b

Добавляет scripts/geocode_deals_nominatim.py для ~14% сделок всё ещё
lat IS NULL после house-centroid прохода (Step 2) — улицы без геокодированных
домов, которые centroid-join не покрывает. Переиспользует geocoder.geocode
(cache → Cadastral FDW → Yandex → Nominatim), дедупит по адресу (distinct
улицы определяют число вызовов, не 7k строк), и стампит geocode_tried_at на
КАЖДОЙ попытке (успех И чистый промах) чтобы un-geocodable строки не крутились
по 1 req/s. Resume: lat IS NULL + 30-day staleness, per-address SAVEPOINT,
--limit/--dry-run/--batch/--stale-days.

Pre-push review (code-reviewer): ✅ APPROVE, no critical — проверены SQL-safety,
no-infinite-reloop (mark-tried на miss, no-stamp на raised exc), window-cap,
geom-not-manual, dedup, async. Tests: 17 passed. Ruff clean.