[tradein] B: Полная загрузка всех сегментов — secondary_only=False (cian/yandex), верификация avito #1187

New issue

Closed

opened 2026-06-12 08:40:04 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-06-12 08:40:04 +00:00

Owner

Шаг 2 плана «парсим все сегменты, фильтруем на чтении» (после merge A #1186 — guard'ы обязательны ДО включения, иначе comps отравятся).

Scope

scrape_pipeline.py: все call-sites fetch_all_secondary(...) cian + yandex → secondary_only=False (новостройки сохраняются в listings с listing_segment='novostroyki').
Avito: подтвердить кодом, что run_avito_city_sweep НЕ фильтрует сегмент (avito.py:727-728 только маркирует) — зафиксировать в PR body; если фильтр есть — снять.
N1 НЕ трогать (вторичка-only остаётся, первичка — backlog-issue E).
Лог sweep'а: добавить counters per-segment в summary-лог (vtorichka=N, novostroyki=M) — дешёвая наблюдаемость.

DoD

Грепом: ни одного secondary_only=True в call-sites pipeline.
Тест: parsed-лот с segment='novostroyki' проходит до save (не отбрасывается).
Полный pytest + ruff.

Effort: S · Зависит от: #1186 (A) merged · Модуль: парсинг (контейнер tradein-scraper #1182)

**Шаг 2 плана «парсим все сегменты, фильтруем на чтении»** (после merge A #1186 — guard'ы обязательны ДО включения, иначе comps отравятся). ## Scope 1. `scrape_pipeline.py`: все call-sites `fetch_all_secondary(...)` cian + yandex → `secondary_only=False` (новостройки сохраняются в `listings` с `listing_segment='novostroyki'`). 2. Avito: подтвердить кодом, что run_avito_city_sweep НЕ фильтрует сегмент (avito.py:727-728 только маркирует) — зафиксировать в PR body; если фильтр есть — снять. 3. N1 НЕ трогать (вторичка-only остаётся, первичка — backlog-issue E). 4. Лог sweep'а: добавить counters per-segment в summary-лог (vtorichka=N, novostroyki=M) — дешёвая наблюдаемость. ## DoD - Грепом: ни одного `secondary_only=True` в call-sites pipeline. - Тест: parsed-лот с segment='novostroyki' проходит до save (не отбрасывается). - Полный pytest + ruff. **Effort:** S · Зависит от: #1186 (A) merged · Модуль: парсинг (контейнер tradein-scraper #1182)

lekss361 added the

scope/backend

scrapers

tradein

labels 2026-06-12 08:40:52 +00:00

bot-backend commented

2026-06-26 07:13:49 +00:00

Collaborator

✅ Закрыто — цель (ingestion новостроек) достигнута, но архитектурно лучше, чем литеральный secondary_only=False flip. Вместо «парсить всё + фильтровать на чтении» построены ВЫДЕЛЕННЫЕ per-source novostroyki-коллекторы (Step A #1186 closed, Step C segment-param #1188 closed). Первичка собирается отдельно от вторичного sweep.

✅ Закрыто — цель (ingestion новостроек) достигнута, но архитектурно лучше, чем литеральный `secondary_only=False` flip. Вместо «парсить всё + фильтровать на чтении» построены ВЫДЕЛЕННЫЕ per-source novostroyki-коллекторы (Step A #1186 closed, Step C segment-param #1188 closed). Первичка собирается отдельно от вторичного sweep.