tradein-mvp/backend/data/sql/204_cian_oblast_sweeps_secondary.sql

@@ -0,0 +1,87 @@
+-- 204_cian_oblast_sweeps_secondary.sql
+-- Включить сбор вторички Циана по 4 областным city-sweep'ам (Свердловская обл.,
+-- миграция 179 — nizhniy_tagil/kamensk_uralskiy/pervouralsk/serov).
+--
+-- ПРОБЛЕМА: _job_cian_city_sweep (scraper_kit.orchestration.scheduler:570) читает
+--   newbuilding_only = bool(default_params.get("newbuilding_only", True)) — дефолт True.
+--   run_cian_city_sweep (pipeline.py:2436) фильтрует SERP-результат на
+--   listing_segment == "novostroyki" ДО save_listings, вторичку отбрасывает
+--   (counters.lots_dropped_secondary).
+--
+--   Дефолт осмыслен для ЕКБ: docstring run_cian_city_sweep прямо говорит, что
+--   вторичку авторитетно собирает run_cian_full_load (exhaustive региональный сбор).
+--   НО run_cian_full_load (pipeline.py:2790) хардкодит city=EKATERINBURG_CITY_NAME —
+--   параметра города там нет вообще, область не покрывает. Итог: областную вторичку
+--   Циана не собирает НИКТО (городская развёртка её выбрасывает, full_load туда не
+--   ходит) — областные schedule'ы склонированы с ЕКБ (миграция 179) и унаследовали
+--   предположение, которое для них неверно.
+--
+--   Прод-счётчики (scrape_runs.counters, последние runs на 2026-08-02) подтверждают:
+--     pervouralsk          55 увидено, 53 выброшено (сохранено  2)
+--     kamensk_uralskiy     113 увидено, 108 выброшено (сохранено  5)
+--     nizhniy_tagil        184 увидено, 176 выброшено (сохранено  3)
+--     verkhnyaya_pyshma    38 увидено, 16 выброшено (сохранено  9)  -- см. EXCLUSION ниже
+--
+-- FIX: newbuilding_only: false для ЧЕТЫРЁХ областных source'ов. cian_city_sweep (ЕКБ,
+--   БЕЗ суффикса города) НЕ трогаем — для него дефолт корректен (вторичку ЕКБ
+--   собирает cian_full_load), включение дало бы дублирующую нагрузку на источник.
+--
+-- !!! EXCLUSION: cian_city_sweep_verkhnyaya_pyshma НЕ включён в эту миграцию !!!
+--   Верхняя Пышма физически ~15 км от центра Екатеринбурга — geo-проверка по
+--   ST_DWithin (координаты listings vs центр города) показала, что 5 из 22 (23%)
+--   текущих cian-строк с меткой city="Верхняя Пышма" физически лежат в 15 км от
+--   центра ЕКБ, т.е. это загрязнённая городская разметка (sweep по anchor'у В.Пышмы
+--   зацепляет краевые екатеринбургские объявления и подписывает их не тем городом).
+--   Колонка listings.city — money-critical: её читает asking_to_sold_ratio.py
+--   (city-скоуп ASKING vs SOLD стороны, #2583 H2) — неверная метка двигает выкупные
+--   цены. При newbuilding_only=false объём cian-строк под меткой В.Пышма вырастет с
+--   22 до нескольких сотен (те же ~38 увидено/16 выброшено за один run, помноженные
+--   на число прогонов) — 23%-загрязнение умножилось бы пропорционально.
+--   nizhniy_tagil/kamensk_uralskiy/pervouralsk/serov — загрязнение по той же
+--   geo-проверке НУЛЕВОЕ (0 из 8/5/2 соответственно физически в ЕКБ) — включать
+--   безопасно. cian_city_sweep_verkhnyaya_pyshma будет включён ОТДЕЛЬНОЙ миграцией
+--   после починки городской разметки sweep'а (правится параллельно) — НЕ забыт.
+--
+-- Нагрузка на источник (см. PR description / vault fix-запись для полного разбора):
+--   fetch_around_multi_room (providers/cian/serp.py:209) НЕ принимает newbuilding_only/
+--   secondary_only — SERP-фаза (все rooms×pages) выполняется ОДИНАКОВО независимо от
+--   этого флага. Фильтр в pipeline.py:2436 применяется ПОСЛЕ фетча, ДО save — чисто
+--   in-memory отсечение уже оплаченных запросов. HTTP-нагрузка на cian.ru НЕ меняется;
+--   меняется только объём save_listings (DB-writes) — на порядок больше СОХРАНЯЕМЫХ
+--   строк, не больше запросов к источнику. detail_top_n=10 detail-фетчей тоже не растёт
+--   (LIMIT :lim константен, лишь конкурирующий пул кандидатов расширяется).
+--
+-- Дубли: run_cian_full_load всегда region_code=EKB (city_region_id=4743 через
+--   CianScraper() без city_slug), областные sweeps используют CITY_LOCATIONS[<slug>]
+--   .cian_region_id (4886/4781/4925/4982 — все != 4743) — SERP-запросы физически
+--   разных региональных выдач. dedup_hash = sha256(source|source_id) — глобальный
+--   Cian offer_id, ON CONFLICT (dedup_hash) DO UPDATE — даже в теоретическом edge-case
+--   совпадения upsert НЕ создаёт дубль-строку.
+--
+-- listing_segment: providers/cian/serp.py:892 — вторичка получает
+--   listing_segment = "vtorichka" (НЕ NULL) → проходит фильтр
+--   "listing_segment IS NULL OR listing_segment = 'vtorichka'" в asking_to_sold_ratio.py
+--   и buildings_query.py — новые лоты попадут в оценку без доп. кода.
+--
+-- Мердж jsonb (COALESCE || ...), НЕ перезапись — сохраняет city/radius_m/detail_top_n/
+--   enrich_houses/pages_per_anchor/request_delay_sec (см. 179_scrape_schedules_seed_oblast_city_sweeps.sql
+--   за текущими прод-значениями). Idempotent: повторный прогон ставит то же значение.
+--
+-- ЗАВИСИМОСТИ: 052_scrape_schedules.sql (таблица), 179 (seed этих source'ов).
+-- deploy order: только миграция — код scheduler.py/pipeline.py НЕ меняется в этом PR,
+-- дефолт newbuilding_only=True в коде остаётся (правильный fallback для будущих
+-- source'ов без явного default_params override).
+
+BEGIN;
+
+UPDATE scrape_schedules
+SET default_params = COALESCE(default_params, '{}'::jsonb)
+    || '{"newbuilding_only": false}'::jsonb
+WHERE source IN (
+    'cian_city_sweep_nizhniy_tagil',
+    'cian_city_sweep_kamensk_uralskiy',
+    'cian_city_sweep_pervouralsk',
+    'cian_city_sweep_serov'
+);
+
+COMMIT;

tradein-mvp/backend/tests/test_migration_204_cian_oblast_sweeps_secondary.py

@@ -0,0 +1,136 @@
+"""Static guards for migration 204 (включить сбор вторички Циана по 4 областным
+city-sweep'ам — Свердловская обл., см. миграцию 179).
+
+Прод применяет data/sql построчно строго (ON_ERROR_STOP). Полный DB-прогон требует
+живой БД; здесь фиксируем структурные инварианты: транзакционность, отсутствие DDL,
+отсутствие psycopg CAST-ловушки, jsonb-мердж (не перезапись), ровно 4 таргетных
+source'а — и, главное, ДВА regression-guard'а:
+  1. 'cian_city_sweep' (ЕКБ, без суффикса города) НЕ фигурирует — для него текущий
+     дефолт newbuilding_only=True в коде корректен (вторичку ЕКБ авторитетно собирает
+     run_cian_full_load; включение дало бы дублирующую нагрузку на источник).
+  2. 'cian_city_sweep_verkhnyaya_pyshma' НЕ фигурирует — geo-проверка (ST_DWithin от
+     центра ЕКБ) показала 23% (5 из 22) загрязнение городской метки cian-строк В.Пышмы
+     екатеринбургскими объявлениями; listings.city — money-critical (читает
+     asking_to_sold_ratio.py). Включат отдельной миграцией после починки разметки.
+"""
+
+from __future__ import annotations
+
+import re
+from pathlib import Path
+
+_SQL_DIR = Path(__file__).resolve().parents[1] / "data" / "sql"
+_MIGRATION_204 = _SQL_DIR / "204_cian_oblast_sweeps_secondary.sql"
+
+_OBLAST_SOURCES = (
+    "cian_city_sweep_nizhniy_tagil",
+    "cian_city_sweep_kamensk_uralskiy",
+    "cian_city_sweep_pervouralsk",
+    "cian_city_sweep_serov",
+)
+
+
+def _sql() -> str:
+    return _MIGRATION_204.read_text(encoding="utf-8")
+
+
+def _executable_sql() -> str:
+    """SQL без построчных `--`-комментариев — только исполняемый код."""
+    lines = []
+    for raw in _sql().splitlines():
+        code = raw.split("--", 1)[0]
+        if code.strip():
+            lines.append(code)
+    return "\n".join(lines)
+
+
+def _flat(text: str) -> str:
+    return re.sub(r"\s+", " ", text).strip().lower()
+
+
+def test_migration_204_exists() -> None:
+    assert _MIGRATION_204.exists(), f"missing migration: {_MIGRATION_204}"
+
+
+def test_migration_204_is_transactional() -> None:
+    sql = _sql()
+    assert "BEGIN;" in sql
+    assert "COMMIT;" in sql
+
+
+def test_migration_204_no_ddl() -> None:
+    """Только UPDATE данных (default_params) — никакого ALTER/CREATE/DROP TABLE/TRUNCATE."""
+    flat = _flat(_executable_sql())
+    assert "alter table" not in flat
+    assert "create table" not in flat
+    assert "drop table" not in flat
+    assert "truncate" not in flat
+
+
+def test_migration_204_updates_default_params_via_jsonb_merge() -> None:
+    """COALESCE(default_params, '{}'::jsonb) || '{...}'::jsonb — мердж, НЕ перезапись
+    (соседние ключи city/radius_m/detail_top_n/enrich_houses/pages_per_anchor/
+    request_delay_sec должны сохраниться)."""
+    flat = _flat(_executable_sql())
+    assert "update scrape_schedules" in flat
+    assert "set default_params = coalesce(default_params, '{}'::jsonb)" in flat
+    assert "|| '{\"newbuilding_only\": false}'::jsonb" in flat
+    # Regression guard: перезапись без COALESCE/|| стёрла бы соседние ключи.
+    assert "set default_params = '{" not in flat
+
+
+def test_migration_204_targets_exactly_four_oblast_sources() -> None:
+    flat = _flat(_executable_sql())
+    for source in _OBLAST_SOURCES:
+        assert f"'{source}'" in flat, f"missing target source: {source}"
+    # Ровно 4 закавыченных source-литерала в WHERE ... IN (...) — не больше, не меньше.
+    quoted = re.findall(r"'(cian_city_sweep_[a-z_]+)'", flat)
+    assert sorted(set(quoted)) == sorted(_OBLAST_SOURCES)
+    assert len(quoted) == 4
+
+
+def test_migration_204_does_not_touch_ekaterinburg_schedule() -> None:
+    """Regression-guard против «включили всем»: 'cian_city_sweep' (ЕКБ, БЕЗ суффикса
+    города) НЕ должен фигурировать в списке таргетов миграции. Для него текущий
+    дефолт newbuilding_only=True (код) корректен — вторичку ЕКБ авторитетно собирает
+    run_cian_full_load; включение дало бы дублирующий сбор той же вторички."""
+    sql = _sql()
+    # Каждое вхождение 'cian_city_sweep' в исполняемом SQL обязано иметь city-суффикс —
+    # ищем токен 'cian_city_sweep' НЕ followed immediately by "_<city>" внутри кавычек.
+    for match in re.finditer(r"'cian_city_sweep([a-z_]*)'", sql):
+        suffix = match.group(1)
+        assert suffix.startswith("_"), (
+            "нашли bare 'cian_city_sweep' (ЕКБ-расписание) среди таргетов миграции — "
+            "это регресс: ЕКБ-вторичку собирает run_cian_full_load, включать её здесь нельзя"
+        )
+        assert suffix[1:] in {
+            "nizhniy_tagil",
+            "kamensk_uralskiy",
+            "pervouralsk",
+            "serov",
+        }
+
+
+def test_migration_204_does_not_touch_verkhnyaya_pyshma() -> None:
+    """Regression-guard против «Пышму забыли обратно включить»: geo-проверка
+    (ST_DWithin от центра ЕКБ) показала 23% (5 из 22) cian-строк с меткой
+    city="Верхняя Пышма" физически лежат в 15 км от центра Екатеринбурга — загрязнённая
+    городская разметка. listings.city — money-critical (asking_to_sold_ratio.py читает
+    его для city-скоупа ASKING vs SOLD стороны). Включение вторички умножило бы это
+    загрязнение (22 → несколько сотен строк). Пышму включат отдельной миграцией
+    ПОСЛЕ починки городской разметки sweep'а — сейчас её НЕ должно быть в WHERE."""
+    flat = _flat(_executable_sql())
+    assert "cian_city_sweep_verkhnyaya_pyshma" not in flat
+
+
+def test_migration_204_no_psycopg_cast_trap() -> None:
+    """Никаких :param::type — psycopg v3 требует CAST(... AS type) (не применимо
+    в чистом .sql без bind params, но проверяем на регресс copy-paste из Python)."""
+    assert not re.search(r":\w+::", _sql())
+
+
+def test_migration_204_idempotent_by_construction() -> None:
+    """UPDATE ... SET x = merge(x, const) — повторный прогон ставит то же значение,
+    отдельного guard-условия (IF NOT EXISTS/ON CONFLICT) не требуется."""
+    flat = _flat(_executable_sql())
+    assert flat.count("update scrape_schedules") == 1