lekss361/gendesign

Fork 0

[tradein][scrapers] Rosreestr ДКП geocoding автоматизация — координаты NULL после импорта #569

New issue

Closed

opened 2026-05-25 06:02:33 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-05-25 06:02:33 +00:00

Owner

Проблема

deploy/import-rosreestr.sh импортирует ДКП без координат — lat/lon NULL. Geocoding делается отдельным шагом, который тоже manual (и нет ясности — где).

Что сделать

Audit: где сейчас geocode ДКП адресов (если вообще)? grep -r "rosreestr.*geocode\|geocode.*deals" backend/
Привязать к scheduler: после rosreestr_dkp_import (см. P0) — chained task geocode_missing_deals через Nominatim или Yandex Maps API.
Rate limit Nominatim: 1 req/s → батчи по 1000/час.
Backfill для существующих ~50K ДКП.

Acceptance

SELECT COUNT(*) FROM rosreestr_deals WHERE lat IS NULL < 5% от total.
Новые импорты получают координаты в течение 24h.

Refs

extract_street_name уже handles Nominatim reverse format (PR #557)

## Проблема `deploy/import-rosreestr.sh` импортирует ДКП **без** координат — `lat/lon NULL`. Geocoding делается отдельным шагом, который тоже manual (и нет ясности — где). ## Что сделать 1. Audit: где сейчас geocode ДКП адресов (если вообще)? `grep -r "rosreestr.*geocode\|geocode.*deals" backend/` 2. Привязать к scheduler: после `rosreestr_dkp_import` (см. P0) — chained task `geocode_missing_deals` через Nominatim или Yandex Maps API. 3. Rate limit Nominatim: 1 req/s → батчи по 1000/час. 4. Backfill для существующих ~50K ДКП. ## Acceptance - `SELECT COUNT(*) FROM rosreestr_deals WHERE lat IS NULL` < 5% от total. - Новые импорты получают координаты в течение 24h. ## Refs - `extract_street_name` уже handles Nominatim reverse format (PR #557)

lekss361 added the

labels 2026-05-25 06:02:33 +00:00

lekss361 referenced this issue

2026-05-25 06:03:13 +00:00

[EPIC][tradein] Полная автоматизация scrapers с persistence через redeploy #559

lekss361 referenced this issue

2026-05-25 06:10:58 +00:00

[tradein][bug] Несовпадение адресов: target point / address vs реальность по Яндекс.Картам и 2ГИС #582

Light1YT referenced this issue

2026-05-28 08:56:18 +00:00

feat(tradein): same-building матчинг аналогов по house_id (#6) #613

Light1YT referenced this issue from a commit

2026-05-28 09:25:29 +00:00

feat(tradein): backfill deals.lat/lon из house street-центроидов (#569)

Light1YT referenced this issue

2026-05-28 09:25:58 +00:00

feat(tradein): backfill deals.lat/lon из house street-центроидов (#569 Step 2) #614

Light1YT referenced this issue from a commit

2026-05-28 09:26:02 +00:00

feat(tradein): backfill deals.lat/lon из house street-центроидов (#569 Step 2) (#614)

Light1YT referenced this issue

2026-05-28 09:49:58 +00:00

[tradein][backend] Estimator: вернуть rosreestr_deals в actual_deals (сейчас disabled) #571

Light1YT referenced this issue from a commit

2026-05-28 09:59:28 +00:00

feat(tradein): geocode leftover deals via Nominatim fallback (#569 Step 3)

Light1YT referenced this issue from a pull request that will close it,

2026-05-28 09:59:47 +00:00

feat(tradein): geocode leftover deals via Nominatim (#569 Step 3) #615

Light1YT closed this issue

2026-05-28 09:59:50 +00:00

Light1YT referenced this issue from a commit

2026-05-28 09:59:51 +00:00

feat(tradein): geocode leftover deals via Nominatim (#569 Step 3) (#615)

Light1YT commented

2026-05-28 10:04:32 +00:00

Owner

Готово, acceptance перевыполнен.

Step 2 (#614): street-centroid join из ~8.6k геокодированных houses → 42,840 deals (86%) zero внешних вызовов.
Step 3 (#615): Nominatim/Yandex добивка остатка через geocoder.geocode (dedup по адресу, 307 distinct улиц) → ещё 6,941 deals.

Результат: deals WHERE lat IS NULL = 10 из 49,791 (0.02%) — acceptance <5% перевыполнен. /estimate Малышева 125 → actual_deals = 10 реальных ДКП (было 0).

Within 24h для новых импортов (Step 4): два cron'а — house-centroid (05:30) + Nominatim добивка (05:45), free (geocode_cache). Новые ДКП получают координаты в течение суток.

Closing.

Готово, acceptance перевыполнен. **Step 2 (#614):** street-centroid join из ~8.6k геокодированных houses → 42,840 deals (86%) zero внешних вызовов. **Step 3 (#615):** Nominatim/Yandex добивка остатка через geocoder.geocode (dedup по адресу, 307 distinct улиц) → ещё 6,941 deals. **Результат:** `deals WHERE lat IS NULL` = **10 из 49,791 (0.02%)** — acceptance <5% перевыполнен. `/estimate` Малышева 125 → actual_deals = 10 реальных ДКП (было 0). **Within 24h для новых импортов (Step 4):** два cron'а — house-centroid (05:30) + Nominatim добивка (05:45), free (geocode_cache). Новые ДКП получают координаты в течение суток. Closing.

Light1YT referenced this issue from a commit

2026-05-28 10:58:24 +00:00

fix(tradein): decode Avito houses URL-encoded __preloadedState__ (#566)

Light1YT referenced this issue

2026-05-28 10:58:52 +00:00

fix(tradein): decode Avito houses URL-encoded __preloadedState__ (#566) #618