fix(scrapers): geocode-missing listings nightly scheduler — listings geom coverage backfill (all sources) #1549

Merged

lekss361 merged 2 commits from fix/geocode-missing-listings-scheduler into main

2026-06-16 08:32:23 +00:00

lekss361 commented

2026-06-16 07:08:32 +00:00

Owner

Проблема (verified на проде)

Покрытие geom по listings: avito 55%, yandex 82%, n1 41%, cian 99.8%. На свежих данных avito проседает до 10–18%.

Корневая причина: нет крона, геокодящего listings. На проде:

listings: 6959 avito + 590 yandex + 125 n1 объявлений имеют address, но geocode_tried_at IS NULL — ни разу не пробованы (последняя попытка 2026-05-23, разовый ручной прогон).
OS-crontab геокодит только deals (geocode_deals_from_houses, geocode_deals_nominatim) — никогда listings.
Скраперы сохраняют search-карточки с lat=lon=NULL в расчёте на «geocode-missing cron подтянет из address» (avito.py:419,685, n1.py:17, cian.py:749) — но такого крона для listings не существует.

Dry-run существующего batch-таска на проде: 85% успех (51/60 на топ-адресах) → подключение материально поднимет покрытие.

Фикс

Подключаем существующий address-dedup batch-backfill в in-app scheduler (repo-tracked, как yandex_address_backfill):

tasks/geocode_missing.py — (A) SELECT теперь учитывает geocode_tried_at (IS NULL OR < NOW()-7d) → loop-safe; на провале/исключении ставит geocode_tried_at=NOW() (7-дн backoff, failed-адреса не реселектятся); на успехе тоже ставит geocode_tried_at=NOW() (audit-контракт). (B) новый run_geocode_missing_listings(run_id, params) — batch-loop с wall-clock бюджетом + run-lifecycle (update_heartbeat/mark_done/mark_failed).
services/scheduler.py — trigger_geocode_missing_listings_run (зеркало yandex_address_backfill) + dispatch elif.
data/sql/110_scrape_schedules_seed_geocode_missing_listings.sql — seed-строка enabled=true, окно 6–9 UTC (после city-sweeps ~3–4 UTC и deals-геокода 5:30/5:45 UTC), batch_size=200, budget_sec=1800, idempotent ON CONFLICT DO NOTHING.
tests — обновлён tests/tasks/test_geocode_missing.py + новые: failure/exception marks tried_at, dry_run НЕ ставит tried_at, 7d-фильтр, все 3 break-условия loop'а.

Проверки

uv run pytest (полный suite, CI deselect): 1794 passed, 2 deselected.
ruff check + ruff format --check: clean.
code-reviewer: ✅ APPROVE (loop-termination доказана, без блокеров).
Затрагивает manual-эндпоинт /scrape/geocode-missing-listings (тот же geocode_missing_listings) — новый 7-дн backoff для него тоже желателен; dry_run не маркирует tried_at.

После мержа

Авто-применится миграция 110 (deploy strict). Первый прогон — завтра 06:00 UTC; покрытие avito ожидаемо растёт по мере очистки ~2000 distinct pending-адресов (~1 req/s Nominatim). Сверю coverage до/после.

## Проблема (verified на проде) Покрытие `geom` по listings: avito **55%**, yandex 82%, n1 41%, cian 99.8%. На свежих данных avito проседает до **10–18%**. Корневая причина: **нет крона, геокодящего listings**. На проде: - `listings`: 6959 avito + 590 yandex + 125 n1 объявлений имеют `address`, но `geocode_tried_at IS NULL` — **ни разу не пробованы** (последняя попытка 2026-05-23, разовый ручной прогон). - OS-crontab геокодит только `deals` (`geocode_deals_from_houses`, `geocode_deals_nominatim`) — **никогда listings**. - Скраперы сохраняют search-карточки с `lat=lon=NULL` в расчёте на «geocode-missing cron подтянет из address» (`avito.py:419,685`, `n1.py:17`, `cian.py:749`) — но такого крона для listings **не существует**. Dry-run существующего batch-таска на проде: **85% успех** (51/60 на топ-адресах) → подключение материально поднимет покрытие. ## Фикс Подключаем существующий address-dedup batch-backfill в in-app scheduler (repo-tracked, как `yandex_address_backfill`): - **`tasks/geocode_missing.py`** — (A) SELECT теперь учитывает `geocode_tried_at` (`IS NULL OR < NOW()-7d`) → loop-safe; на провале/исключении ставит `geocode_tried_at=NOW()` (7-дн backoff, failed-адреса не реселектятся); на успехе тоже ставит `geocode_tried_at=NOW()` (audit-контракт). (B) новый `run_geocode_missing_listings(run_id, params)` — batch-loop с wall-clock бюджетом + run-lifecycle (`update_heartbeat`/`mark_done`/`mark_failed`). - **`services/scheduler.py`** — `trigger_geocode_missing_listings_run` (зеркало `yandex_address_backfill`) + dispatch elif. - **`data/sql/110_scrape_schedules_seed_geocode_missing_listings.sql`** — seed-строка `enabled=true`, окно 6–9 UTC (после city-sweeps ~3–4 UTC и deals-геокода 5:30/5:45 UTC), `batch_size=200, budget_sec=1800`, idempotent `ON CONFLICT DO NOTHING`. - **tests** — обновлён `tests/tasks/test_geocode_missing.py` + новые: failure/exception marks tried_at, dry_run НЕ ставит tried_at, 7d-фильтр, все 3 break-условия loop'а. ## Проверки - `uv run pytest` (полный suite, CI deselect): **1794 passed, 2 deselected**. - `ruff check` + `ruff format --check`: clean. - code-reviewer: ✅ APPROVE (loop-termination доказана, без блокеров). - Затрагивает manual-эндпоинт `/scrape/geocode-missing-listings` (тот же `geocode_missing_listings`) — новый 7-дн backoff для него тоже желателен; dry_run не маркирует tried_at. ## После мержа Авто-применится миграция 110 (deploy strict). Первый прогон — завтра 06:00 UTC; покрытие avito ожидаемо растёт по мере очистки ~2000 distinct pending-адресов (~1 req/s Nominatim). Сверю coverage до/после.

Rows
Columns