fix(tradein/avito): обогащать деталями листинги всей области, не только ЕКБ (#2576) #2578

Merged

lekss361 merged 2 commits from fix/tradein-avito-detail-oblast into main

2026-07-31 15:16:50 +00:00

lekss361 commented

2026-07-31 13:35:19 +00:00

Owner

Эпик #2576, этап B. Тихий дефект: avito_detail_backfill.py:208 жёстко фильтровал source_url LIKE '%/ekaterinburg/%' → у листингов области detail_enriched_at навсегда NULL, а detail-страница это источник координат и 30+ полей. Без координат карточка молча выпадает из подбора аналогов по радиусу. Стало актуально сейчас: развёртки по городам области включены, Каменск-Уральский уже даёт объявления.

Решение — два CTE в одном запросе:

ekb — прежний паттерн, прежний LIMIT :batch_size, прежний ORDER BY: для Екатеринбурга поведение байт-в-байт.
oblast — LIKE ANY(CAST(:oblast_patterns AS text[])), паттерны строятся из CITY_LOCATIONS (единственный источник правды по avito-слагам: kamensk-uralskiy через дефис, verhnyaya_pyshma без «kh») — не дублируются вручную. Свой LIMIT :oblast_batch_size (default 100).

Почему не единый WHERE ... OR ...: общий ORDER BY scraped_at DESC отдавал бы приоритет свежим строкам независимо от города, и всплеск области (первичный краул нового города) вытеснил бы часть ЕКБ из фиксированного батча. Раздельные квоты гарантируют, что ЕКБ не урезается, а область не конкурирует за его слоты. Чужие регионы (Москва/СПб) по-прежнему вне выборки.

Грепом проверено: в yandex_detail_backfill.py / domclick_detail_backfill.py фильтра по городу нет вовсе (дефект не продублирован). product_handlers.py:226 — конфигурируемый дефолт планировщика, другая природа, вне scope.

Нагрузка на прокси: потолок за прогон 800 → 900 (+12.5%), частота запросов и ротации не менялись. Worst case +10 мин к прогону при budget_sec=3600.

Тесты: +2 новых (реальные прод-паттерны, семантика Postgres LIKE через fnmatch; ЕКБ и область проходят, Москва/СПб — нет), обновлён существующий. Новый тест на старом коде падал (ImportError: _OBLAST_AVITO_URL_PATTERNS). Полный uv run pytest -q: 2828 passed, 1 pre-existing fail.

Эпик #2576, этап B. Тихий дефект: `avito_detail_backfill.py:208` жёстко фильтровал `source_url LIKE '%/ekaterinburg/%'` → у листингов области `detail_enriched_at` навсегда `NULL`, а detail-страница это источник координат и 30+ полей. Без координат карточка молча выпадает из подбора аналогов по радиусу. Стало актуально сейчас: развёртки по городам области включены, Каменск-Уральский уже даёт объявления. **Решение — два CTE в одном запросе:** - `ekb` — прежний паттерн, прежний `LIMIT :batch_size`, прежний `ORDER BY`: для Екатеринбурга поведение байт-в-байт. - `oblast` — `LIKE ANY(CAST(:oblast_patterns AS text[]))`, паттерны строятся из `CITY_LOCATIONS` (единственный источник правды по avito-слагам: `kamensk-uralskiy` через дефис, `verhnyaya_pyshma` без «kh») — не дублируются вручную. Свой `LIMIT :oblast_batch_size` (default 100). Почему не единый `WHERE ... OR ...`: общий `ORDER BY scraped_at DESC` отдавал бы приоритет свежим строкам независимо от города, и всплеск области (первичный краул нового города) вытеснил бы часть ЕКБ из фиксированного батча. Раздельные квоты гарантируют, что ЕКБ не урезается, а область не конкурирует за его слоты. Чужие регионы (Москва/СПб) по-прежнему вне выборки. **Грепом проверено:** в `yandex_detail_backfill.py` / `domclick_detail_backfill.py` фильтра по городу нет вовсе (дефект не продублирован). `product_handlers.py:226` — конфигурируемый дефолт планировщика, другая природа, вне scope. **Нагрузка на прокси:** потолок за прогон 800 → 900 (+12.5%), частота запросов и ротации не менялись. Worst case +10 мин к прогону при `budget_sec=3600`. Тесты: +2 новых (реальные прод-паттерны, семантика Postgres `LIKE` через `fnmatch`; ЕКБ и область проходят, Москва/СПб — нет), обновлён существующий. Новый тест на старом коде падал (`ImportError: _OBLAST_AVITO_URL_PATTERNS`). Полный `uv run pytest -q`: 2828 passed, 1 pre-existing fail.

Rows
Columns