tradein/dedup: ослабить geo-guard в fias-pass — 130 same-fias групп не смержены (NULL geom / >250 м) #2187

New issue

Closed

opened 2026-07-02 18:09:21 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-07-02 18:09:21 +00:00

Owner

После боевого прогона fias-дедупа (2026-07-02, PR #2185: 1 274 кластера, 1 369 losers, houses 11 778 → 10 409) осталось 130 групп с одинаковым lower(house_fias_id), которые не смержились из-за geo-guard 250 м, применяемого и к fias-pass.

ФИАС-идентичность строго сильнее гео-близости: одинаковый UUID = одно здание ГАР по определению. Кейсы: (а) NULL geom с одной из сторон; (б) расстояние >250 м = у одной из строк битые координаты — merge с keeper-правилом «geom first» ещё и чинит координаты.

Предложение (из ревью #2185, minor #1): в fias-pass либо снять geo-guard полностью, либо поднять порог + разрешить NULL-geom пары. Canon-pass не трогать (там guard обязателен).

Проверка после фикса: SELECT lower(house_fias_id), count(*) FROM houses WHERE house_fias_id IS NOT NULL GROUP BY 1 HAVING count(*)>1; → 0 строк.

Контекст: DaData suggest-backfill 2026-07-02 (fias у 5 122 домов), vault events/Event_Dadata_Suggest_Backfill_0702.

После боевого прогона fias-дедупа (2026-07-02, PR #2185: 1 274 кластера, 1 369 losers, houses 11 778 → 10 409) осталось **130 групп с одинаковым `lower(house_fias_id)`**, которые не смержились из-за geo-guard 250 м, применяемого и к fias-pass. ФИАС-идентичность строго сильнее гео-близости: одинаковый UUID = одно здание ГАР по определению. Кейсы: (а) NULL geom с одной из сторон; (б) расстояние >250 м = у одной из строк битые координаты — merge с keeper-правилом «geom first» ещё и чинит координаты. Предложение (из ревью #2185, minor #1): в fias-pass либо снять geo-guard полностью, либо поднять порог + разрешить NULL-geom пары. Canon-pass не трогать (там guard обязателен). Проверка после фикса: `SELECT lower(house_fias_id), count(*) FROM houses WHERE house_fias_id IS NOT NULL GROUP BY 1 HAVING count(*)>1;` → 0 строк. Контекст: DaData suggest-backfill 2026-07-02 (fias у 5 122 домов), vault `events/Event_Dadata_Suggest_Backfill_0702`.

lekss361 referenced this issue from a commit

2026-07-02 18:35:35 +00:00

fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)

lekss361 referenced this issue from a pull request that will close it,

2026-07-02 18:36:25 +00:00

fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187) #2195

lekss361 closed this issue

2026-07-02 18:51:55 +00:00

lekss361 referenced this issue from a commit

2026-07-02 18:51:56 +00:00

Merge pull request 'fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)' (#2195) from fix/tradein-dedup-fias-pass-no-geoguard into main

lekss361 commented

2026-07-02 18:56:37 +00:00

Author

Owner

Закрыто PR #2195 + боевой прогон 2026-07-02 ~22:00 МСК (вручную в tradein-backend): clusters_merged=130, losers_deleted=205, listings_repointed=723. Проверка-критерий: SELECT lower(house_fias_id), count(*) ... HAVING count(*)>1 → 0 строк. Orphans 0. Итог houses: 6 822 строк, gar-matched 5 552 (81.4%), sale-share view 5 170.

Закрыто PR #2195 + боевой прогон 2026-07-02 ~22:00 МСК (вручную в tradein-backend): clusters_merged=130, losers_deleted=205, listings_repointed=723. Проверка-критерий: `SELECT lower(house_fias_id), count(*) ... HAVING count(*)>1` → **0 строк**. Orphans 0. Итог houses: 6 822 строк, gar-matched 5 552 (81.4%), sale-share view 5 170.