tradein-mvp/backend/app/api/v1/admin.py

@@ -1288,15 +1288,6 @@ class CianFullLoadRequest(BaseModel):
             "cian_full_load прогона для resume. Без этого поля — full walk с нуля."
         ),
     )
-    secondary_only: bool = Field(
-        default=True,
-        description=(
-            "True (дефолт, поведение без изменений) — новостройки отбрасываются "
-            "после разбора. False — сохраняются вместе со вторичкой. Дополнительных "
-            "HTTP-запросов не стоит: страницы с ними всё равно скачиваются, "
-            "totalOffers бакета считает обе категории (#1781)."
-        ),
-    )
 
 
 @router.post("/scrape/cian-full-load", response_model=CitySweepStartResponse)
@@ -1335,7 +1326,6 @@ async def start_cian_full_load(
                 enrich_detail=payload.enrich_detail,
                 detail_top_n=payload.detail_top_n,
                 resume_run_id=payload.resume_run_id,
-                secondary_only=payload.secondary_only,
             )
         except Exception:
             logger.exception("cian-full-load background task run_id=%d crashed", run_id)

tradein-mvp/backend/tests/test_1781_secondary_only_param.py

@@ -1,123 +0,0 @@
-"""`secondary_only` — параметр расписания, а не хардкод; выброшенное считается (#1781).
-
-`run_cian_full_load` передавал `secondary_only=True` жёстко (`pipeline.py:3328`), поэтому
-включить новостройки в полный обход можно было только деплоем. При этом новостройки
-НЕ пропускаются при запросе — они скачиваются, разбираются и выбрасываются последним
-шагом (`cian/serp.py:671`), потому что SERP-параметр `object_type=1` у Cian ненадёжен
-(~5 % выдачи) и фильтруют по authoritative `listing_segment` уже после парсинга.
-
-Следствие, проверенное по коду: проба бакета берёт `totalOffers` из Redux-состояния
-SERP и считает `pages_needed = ceil(totalOffers / offers_per_page)`; `totalOffers`
-включает обе категории. То есть страницы с новостройками уже скачаны, лимит страниц и
-антибан-бюджет за них уже заплачены — включение стоит НОЛЬ дополнительных запросов.
-
-Дефолт НЕ меняется: `True`, поведение прода прежнее. Меняется только то, что решение
-становится правкой одной ячейки `scrape_schedules.default_params`, а не деплоем.
-
-Замер прода 21.08.2026, ради которого это и делается: месячный охват свипа
-cian/novostroyki — 11.7 % против 100 % у cian/vtorichka и avito/novostroyki;
-11 993 активные строки, медианный возраст 81 сутки.
-"""
-
-from __future__ import annotations
-
-import os
-
-os.environ.setdefault("DATABASE_URL", "postgresql+psycopg://test:test@localhost:5432/test")
-
-import inspect
-
-
-def test_full_load_no_longer_hardcodes_secondary_only() -> None:
-    """Головной: значение берётся из параметра, а не из литерала.
-
-    На origin/main в теле стоит `secondary_only=True` — включить новостройки
-    можно только правкой кода.
-    """
-    from scraper_kit.orchestration import pipeline
-
-    src = inspect.getsource(pipeline.run_cian_full_load)
-    assert "secondary_only=secondary_only" in src, "значение не пробрасывается из параметра"
-    assert (
-        "secondary_only=True," not in src
-    ), "в теле остался хардкод — расписание на него повлиять не сможет"
-
-
-def test_default_is_unchanged() -> None:
-    """Контроль: дефолт остаётся True — поведение прода не меняется этим PR.
-
-    Без этого контроля правка «сделать параметром» могла бы тихо включить сбор
-    новостроек на проде, а это отдельное решение с замером (#1781, #2994).
-    """
-    from scraper_kit.orchestration.pipeline import run_cian_full_load
-
-    params = inspect.signature(run_cian_full_load).parameters
-    assert "secondary_only" in params, (
-        "параметра нет в сигнатуре — значение задано в теле, расписание на него "
-        f"повлиять не может; параметры: {list(params)}"
-    )
-    default = params["secondary_only"].default
-    assert default is True, f"дефолт изменён на {default!r} — это не входило в правку"
-
-
-def test_admin_request_exposes_the_flag_with_same_default() -> None:
-    """Параметр доезжает до расписания: у эндпоинта есть поле с тем же дефолтом."""
-    from app.api.v1.admin import CianFullLoadRequest
-
-    поля = CianFullLoadRequest.model_fields
-    assert "secondary_only" in поля, (
-        "поля нет в запросе — параметр не доедет из scrape_schedules.default_params; "
-        f"поля: {sorted(поля)}"
-    )
-    assert поля["secondary_only"].default is True
-    req = CianFullLoadRequest()
-    assert req.secondary_only is True
-    assert CianFullLoadRequest(secondary_only=False).secondary_only is False
-
-
-def test_counters_persist_dropped_novostroyki() -> None:
-    """Выброшенное обязано сохраняться, а не только логироваться.
-
-    Счётчик `dropped_nb` печатался в лог, но в `scrape_runs.counters` не попадал, и
-    ответить «сколько инвентаря выбрасывает полный обход» задним числом было нечем:
-    логи за нужную дату уже ротировались. Тот же довод, по которому рядом заведён
-    `partial_buckets`.
-    """
-    from scraper_kit.orchestration.pipeline import CianFullLoadCounters
-
-    c = CianFullLoadCounters()
-    assert "dropped_novostroyki" in c.to_dict(), c.to_dict()
-    c.dropped_novostroyki = 7
-    assert c.to_dict()["dropped_novostroyki"] == 7
-
-
-def test_scraper_resets_the_counter_per_run() -> None:
-    """Контроль: счётчик сбрасывается на каждый прогон.
-
-    Инстанс скрапера переиспользуется; без сброса второй прогон унаследовал бы
-    число первого и записал бы в counters завышенное значение.
-    """
-    from scraper_kit.providers.cian.serp import CianScraper
-
-    src = inspect.getsource(CianScraper.fetch_all_secondary)
-    assert "self.last_dropped_nb = 0" in src, "нет сброса в начале прогона"
-    assert "self.last_dropped_nb += " in inspect.getsource(
-        CianScraper._paginate_leaf_bucket
-    ), "накопление не там, где считается dropped_nb"
-    assert (
-        getattr(CianScraper, "last_dropped_nb", None) == 0
-    ), "нет класс-дефолта: атрибут не прочитается, если прогон упал до первого бакета"
-
-
-def test_filter_still_drops_when_flag_is_on() -> None:
-    """Контроль от переусердствования: при secondary_only=True фильтр остаётся.
-
-    Правка делает флаг управляемым, а не отменяет его.
-    """
-    from scraper_kit.providers.cian.serp import CianScraper
-
-    # Фильтр лежит в _paginate_leaf_bucket — том методе, что собирает страницы
-    # бакета; fetch_all_secondary только раздаёт флаг вниз.
-    src = inspect.getsource(CianScraper._paginate_leaf_bucket)
-    assert 'lot.listing_segment != "novostroyki"' in src, "фильтр пропал"
-    assert "if secondary_only:" in src, "фильтр перестал зависеть от флага"

tradein-mvp/packages/scraper-kit/src/scraper_kit/orchestration/pipeline.py

@@ -3147,14 +3147,6 @@ class CianFullLoadCounters:
     # Без этого счётчика «сколько бакетов чекпоинт не покрывает» видно только грепом
     # логов, которые теряются при редеплое.
     partial_buckets: int = 0
-    # Новостройки, отброшенные фильтром secondary_only ПОСЛЕ скачивания и разбора
-    # (#1781). Ровно тот же довод, что у partial_buckets выше: счётчик логировался
-    # (`dropped_nb=` в cian/serp.py), но не сохранялся, и ответить «сколько инвентаря
-    # выбрасывает полный обход» задним числом было нечем — логи за нужную дату уже
-    # ротировались. Заодно это цена вопроса при обсуждении secondary_only=False:
-    # страницы с этими лотами УЖЕ скачаны, лимит страниц и антибан-бюджет за них
-    # уже заплачены, выбрасывается только результат разбора.
-    dropped_novostroyki: int = 0
 
     def to_dict(self) -> dict[str, int]:
         return {f.name: getattr(self, f.name) for f in fields(self)}
@@ -3175,7 +3167,6 @@ async def run_cian_full_load(
     concurrency: int = 5,
     resume_run_id: int | None = None,
     region_code: int = DEFAULT_REGION_CODE,
-    secondary_only: bool = True,
 ) -> CianFullLoadCounters:
     """Exhaustive региональный сбор Cian ЕКБ вторички (БЕЗ anchor'ов).
 
@@ -3334,21 +3325,18 @@ async def run_cian_full_load(
             await scraper.fetch_all_secondary(
                 price_cap_per_bucket=price_cap_per_bucket,
                 concurrency=concurrency,
-                secondary_only=secondary_only,
+                secondary_only=True,
                 on_bucket=_on_bucket,
                 on_progress=_on_progress,
                 skip_buckets=skip_set if skip_set else None,
             )
 
-        counters.dropped_novostroyki = getattr(scraper, "last_dropped_nb", 0)
         logger.info(
-            "cian-full-load run_id=%d: fetch done — unique=%d ins=%d upd=%d "
+            "cian-full-load run_id=%d: fetch done — unique=%d ins=%d upd=%d",
-            "dropped_novostroyki=%d",
             run_id,
             counters.unique_fetched,
             counters.saved_inserted,
             counters.saved_updated,
-            counters.dropped_novostroyki,
         )
         runs.update_heartbeat(db, run_id, counters.to_dict())
 

tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/cian/serp.py

@@ -122,10 +122,6 @@ class CianScraper(BaseScraper):
     base_url = "https://ekb.cian.ru"
     # Класс-дефолт; реальное значение загружается из scraper_settings при создании экземпляра.
     request_delay_sec = 5.0  # консервативно: Cian менее агрессивен чем Avito, но 5s безопасно
-    # Сколько новостроек отброшено фильтром secondary_only за последний прогон
-    # fetch_all_secondary (#1781). Класс-дефолт нужен, чтобы атрибут читался даже
-    # если прогон упал до первого бакета.
-    last_dropped_nb: int = 0
 
     def __init__(
         self,
@@ -405,9 +401,6 @@ class CianScraper(BaseScraper):
         """
         _buckets = rooms_buckets if rooms_buckets is not None else _DEFAULT_ROOMS_BUCKETS
         seen: dict[str, ScrapedLot] = {}
-        # Сброс на КАЖДЫЙ прогон (#1781): инстанс скрапера переиспользуется, и без
-        # сброса счётчик копился бы между вызовами и врал бы в counters второго.
-        self.last_dropped_nb = 0
 
         for rooms in _buckets:
             room_label = f"room{'_'.join(str(r) for r in rooms)}"
@@ -678,10 +671,6 @@ class CianScraper(BaseScraper):
             filtered = [lot for lot in bucket_lots if lot.listing_segment != "novostroyki"]
             dropped_nb = collected_this_bucket - len(filtered)
             bucket_lots = filtered
-        # Копим по всему прогону в атрибут инстанса (#1781): вызывающий кладёт это
-        # в counters прогона. Атрибут, а не аргумент on_bucket — у колбэка уже есть
-        # внешние реализации, менять его сигнатуру ради счётчика нельзя.
-        self.last_dropped_nb += dropped_nb
 
         # Дедуп в общий seen
         for lot in bucket_lots: