lekss361/gendesign

Fork 0

[tradein][data] avito 54% NULL lat → невидим PostGIS-радиусу: geo-backfill + dedup на ингесте (рычаг точности массы оценок) #1967

New issue

Closed

opened 2026-06-27 08:51:59 +00:00 by lekss361 · 3 comments

lekss361 commented

2026-06-27 08:51:59 +00:00

Owner

Из стратегического аудита 2026-06-27. Наибольший рычаг точности массовых оценок.

Проблема

avito 54.2% NULL lat — половина крупнейшего источника (40k листингов) невидима для PostGIS ST_DWithin радиус-поиска аналогов → не попадает в оценку. Прямо бьёт по точности там, где больше всего объёма.
Дубли (yandex 797 пар до 3×, cian 93) корраптят median и раздувают n_analogs (#1871) — часть с NULL source_id обходят unique-constraint. (radius-path dedup частично в #1880, но ингест-дедуп нужен.)

DoD

avito geo-backfill: довести покрытие координат (инструменты есть — backfill_listings_coords_geoportal.py street+house match, cadastral_geo_match.py). Геокодить на ингесте (не post-hoc), чтобы новые листинги сразу имели lat/lon.
dedup на ингесте: когда source_id NULL/нестабилен — content-ключ (norm address + area + floor + price); не плодить дубли в active.
Замер: avito geo-coverage до/после; n_analogs до/после на тест-наборе адресов; sanity медианы.

Связано: первопричина «точность упирается в данные, не в формулу». Refs аудит 0627, #1871, #1840 (URL-EKB-фильтр), #1880 (radius dedup).

Из стратегического аудита 2026-06-27. **Наибольший рычаг точности массовых оценок.** ## Проблема - **avito 54.2% NULL lat** — половина крупнейшего источника (40k листингов) невидима для PostGIS ST_DWithin радиус-поиска аналогов → не попадает в оценку. Прямо бьёт по точности там, где больше всего объёма. - **Дубли** (yandex 797 пар до 3×, cian 93) корраптят median и раздувают `n_analogs` (#1871) — часть с NULL source_id обходят unique-constraint. (radius-path dedup частично в #1880, но ингест-дедуп нужен.) ## DoD - **avito geo-backfill**: довести покрытие координат (инструменты есть — `backfill_listings_coords_geoportal.py` street+house match, `cadastral_geo_match.py`). Геокодить на ингесте (не post-hoc), чтобы новые листинги сразу имели lat/lon. - **dedup на ингесте**: когда source_id NULL/нестабилен — content-ключ (norm address + area + floor + price); не плодить дубли в active. - Замер: avito geo-coverage до/после; n_analogs до/после на тест-наборе адресов; sanity медианы. Связано: первопричина «точность упирается в данные, не в формулу». Refs аудит 0627, #1871, #1840 (URL-EKB-фильтр), #1880 (radius dedup).

lekss361 added the

labels 2026-06-27 08:53:17 +00:00

lekss361 referenced this issue

2026-06-27 16:57:55 +00:00

[tradein] Аудит покрытия полей скрапперов avito/cian/yandex — сводка + прод-замер (2026-06-27) #2011

lekss361 commented

2026-06-27 16:58:13 +00:00

Author

Owner

Свежий замер 2026-06-27 (ssh→tradein-postgres, active listings) подтверждает проблему:

avito geo (lat NOT NULL): 53% active → ~47% (≈14k из 30327 активных) без координат → невидимы для PostGIS ST_DWithin.
Для контраста: cian/yandex geo = 100% active (они отдают координаты на SERP; avito намеренно NULL на SERP-карточке avito.py:2001-2002, заполняется только geocode-cron'ом, который не успевает).

Привязка к аудиту покрытия полей: #2011 (tracking). Этот тикет остаётся владельцем geo-backfill — дублей не завожу.

Свежий замер 2026-06-27 (ssh→tradein-postgres, active listings) подтверждает проблему: - **avito geo (lat NOT NULL): 53% active** → **~47% (≈14k из 30327 активных) без координат** → невидимы для PostGIS ST_DWithin. - Для контраста: cian/yandex geo = 100% active (они отдают координаты на SERP; avito намеренно NULL на SERP-карточке `avito.py:2001-2002`, заполняется только geocode-cron'ом, который не успевает). Привязка к аудиту покрытия полей: #2011 (tracking). Этот тикет остаётся владельцем geo-backfill — дублей не завожу.

lekss361 referenced this issue

2026-06-27 20:03:34 +00:00

[tradein][scrapers] avito: changeip-recovery одношотный (30s timeout роняет run) + статус 'banned' завышен когда SERP отработал #1950

bot-backend referenced this issue from a commit

2026-06-27 20:28:17 +00:00

fix(tradein/avito): hard-timeout on detail-backfill fetch — prevent zombie-hang (#1950)

lekss361 referenced this issue

2026-06-27 20:28:46 +00:00

fix(tradein/avito): hard-timeout on detail-backfill fetch — prevent zombie-hang (#1950) #2028

lekss361 referenced this issue from a commit

2026-06-27 20:29:28 +00:00

fix(tradein/avito): hard-timeout on detail-backfill fetch — prevent zombie-hang (#1950)

lekss361 referenced this issue

2026-06-27 20:38:51 +00:00

[tradein][scrapers] avito: changeip-recovery одношотный (30s timeout роняет run) + статус 'banned' завышен когда SERP отработал #1950

bot-backend referenced this issue from a commit

2026-06-28 07:52:26 +00:00

fix(tradein/avito): detect HTTP-200 soft-block as block + coords-priority backfill ordering (#1950, #1967)

lekss361 referenced this issue

2026-06-28 07:53:00 +00:00

fix(tradein/avito): detect HTTP-200 soft-block → rotate (vs silent failed) + coords-priority backfill ordering #2034

lekss361 referenced this issue from a commit

2026-06-28 08:06:14 +00:00

fix(tradein/avito): detect HTTP-200 soft-block → rotate + coords-priority backfill ordering (#1950, #1967)

lekss361 referenced this issue

2026-06-28 08:16:46 +00:00

[tradein][scrapers] avito: changeip-recovery одношотный (30s timeout роняет run) + статус 'banned' завышен когда SERP отработал #1950

lekss361 referenced this issue

2026-06-28 08:58:38 +00:00

[tradein][scrapers] avito: changeip-recovery одношотный (30s timeout роняет run) + статус 'banned' завышен когда SERP отработал #1950

lekss361 referenced this issue

2026-06-28 11:15:52 +00:00

fix(tradein/avito): reap dead 404 listings in detail backfill (don't trip block breaker) #2047

lekss361 referenced this issue

2026-07-03 23:01:13 +00:00

[tradein] Аудит покрытия полей скрапперов avito/cian/yandex — сводка + прод-замер (2026-06-27) #2011

lekss361 commented

2026-07-03 23:01:36 +00:00

Author

Owner

Working on this (автономный проход по backlog) — ветка fix/tradein-avito-geo-backfill. Учитывая размер DoD (2 разных концерна: geo-backfill/ingest-геокодинг + ingest-дедуп), делаю первым геокодинг-часть (наибольший рычаг per формулировка issue); dedup-на-ингесте — отдельным follow-up, если не влезет в этот заход.

Working on this (автономный проход по backlog) — ветка `fix/tradein-avito-geo-backfill`. Учитывая размер DoD (2 разных концерна: geo-backfill/ingest-геокодинг + ingest-дедуп), делаю первым геокодинг-часть (наибольший рычаг per формулировка issue); dedup-на-ингесте — отдельным follow-up, если не влезет в этот заход.

lekss361 referenced this issue from a commit

2026-07-03 23:23:03 +00:00

fix(tradein/scrapers): подключить geoportal coords backfill в scheduler (#1967)

lekss361 referenced this issue from a pull request that will close it,

2026-07-03 23:23:19 +00:00

fix(tradein/scrapers): подключить geoportal coords backfill в scheduler (#1967) #2346

lekss361 closed this issue

2026-07-03 23:25:48 +00:00

lekss361 referenced this issue from a commit

2026-07-03 23:25:50 +00:00

fix(tradein/scrapers): подключить geoportal coords backfill в scheduler (#1967) (#2346)

lekss361 commented

2026-07-03 23:26:19 +00:00

Author

Owner

Закрыто PR #2346. Важная поправка метрики для будущих читателей: живой прод-замер на момент фикса (2026-07-04) показал NULL lat = 4.3% (393/9181 active avito), а не 47% как в исходной постановке issue (аудит 06-27) — разрыв уже почти закрыт побочно dedup-миграциями 159-167 (active avito-set 30k→9.2k) и nightly geocode_missing_listings (крутится с PR #1549). Задача была уже маргинальной на момент выполнения, не "наибольшим рычагом" как изначально казалось.

Сделано: подключил существующий, но никогда не запускавшийся recurring точный street+house геокодер (backfill_listings_coords_geoportal.py, #1841) в scheduler, окном перед грубым Nominatim-геокодом. Эффект — единицы-десятки строк (текущих live-кандидатов ~210), но устраняет up-to-24h задержку для новых NULL-coord листингов.

Dedup-на-ингесте (вторая половина исходного DoD) — НЕ сделан, отдельный follow-up при необходимости.

Закрыто PR #2346. Важная поправка метрики для будущих читателей: живой прод-замер на момент фикса (2026-07-04) показал NULL lat = **4.3%** (393/9181 active avito), а не 47% как в исходной постановке issue (аудит 06-27) — разрыв уже почти закрыт побочно dedup-миграциями 159-167 (active avito-set 30k→9.2k) и nightly `geocode_missing_listings` (крутится с PR #1549). Задача была уже маргинальной на момент выполнения, не "наибольшим рычагом" как изначально казалось. Сделано: подключил существующий, но никогда не запускавшийся recurring точный street+house геокодер (`backfill_listings_coords_geoportal.py`, #1841) в scheduler, окном перед грубым Nominatim-геокодом. Эффект — единицы-десятки строк (текущих live-кандидатов ~210), но устраняет up-to-24h задержку для новых NULL-coord листингов. Dedup-на-ингесте (вторая половина исходного DoD) — НЕ сделан, отдельный follow-up при необходимости.