Merge pull request 'feat(tradein/yandex): is_pro_seller из агентского блока + бэкфилл (#3063 п.2)' (#3100) from fix/3063-pro-seller-derive into main

tradein-mvp/backend/data/sql/271_listings_pro_seller_from_agency.sql

@@ -0,0 +1,17 @@
+-- 271_listings_pro_seller_from_agency.sql
+-- #3063 п.2: is_pro_seller выводим из уже известного agency_name.
+-- Прод-факт (замер владельца 23-24.08): 4 469 активных yandex-листингов имеют
+-- заполненный agency_name (из detail-бэкфилла, где COALESCE-защита была), но
+-- is_pro_seller у них NULL — признак эрозирован SERP-затиранием до PR #3067.
+-- Починка разбора не чинит строки (ON CONFLICT/UPDATE прошлого не перезапишет
+-- задним числом) — поэтому одноразовый бэкфилл.
+--
+-- Скоуп: ВСЕ источники, не только yandex — правило «есть имя агентства ⇒ продаёт
+-- профи» источник-независимо. is_homeowner не трогаем: отсутствие агентства не
+-- доказывает «частник» (п.3 задачи — отдельное решение).
+-- Идемпотентно: повторный прогон обновит 0 строк.
+UPDATE listings
+   SET is_pro_seller = TRUE
+ WHERE agency_name IS NOT NULL
+   AND agency_name <> ''
+   AND is_pro_seller IS DISTINCT FROM TRUE;

tradein-mvp/backend/tests/test_3063_pro_seller_from_agency.py

@@ -0,0 +1,82 @@
+"""#3063 п.2: is_pro_seller выводится из наличия агентского блока на детальной.
+
+Прод-факт (23-24.08): 4 469 активных yandex-листингов с заполненным agency_name
+(из detail-бэкфилла) имели is_pro_seller = NULL — признак эрозирован
+SERP-затиранием до PR #3067, а detail-обогащение его и не выводило, хотя данных
+достаточно. Признак идёт в оценщик trade-in.
+
+Два конца:
+- save_detail_enrichment пишет is_pro_seller=TRUE при известном agency_name
+  (fill-only COALESCE; отсутствие блока НЕ доказывает «частник» — п.3 задачи);
+- миграция 271 бэкфиллит уже существующие строки («починка разбора ≠ починка
+  строк»: UPDATE прошлого задним числом никто не перезапишет).
+
+Красный на origin/main по ЗНАЧЕНИЮ: в параметрах UPDATE нет ключа
+is_pro_seller → .get() даёт None, не True.
+"""
+
+from __future__ import annotations
+
+import os
+
+os.environ.setdefault("DATABASE_URL", "postgresql+psycopg://test:test@localhost:5432/test")
+
+from pathlib import Path
+from typing import Any
+from unittest.mock import MagicMock
+
+from scraper_kit.providers.yandex.detail import DetailEnrichment, save_detail_enrichment
+
+_MIGRATION = (
+    Path(__file__).resolve().parents[1] / "data" / "sql" / "271_listings_pro_seller_from_agency.sql"
+)
+
+
+class _CaptureDb:
+    def __init__(self) -> None:
+        self.params: list[dict[str, Any]] = []
+
+    def execute(self, _stmt: Any, params: dict[str, Any] | None = None) -> Any:
+        if params:
+            self.params.append(params)
+        return MagicMock(rowcount=1)
+
+    def commit(self) -> None:
+        pass
+
+
+def _update_params(db: _CaptureDb) -> dict[str, Any]:
+    upd = [p for p in db.params if "listing_id" in p]
+    assert upd, "save_detail_enrichment не выполнил UPDATE"
+    return upd[-1]
+
+
+def test_agency_block_derives_pro_seller_true() -> None:
+    db = _CaptureDb()
+    save_detail_enrichment(
+        db, 101, DetailEnrichment(offer_id="o1", source_url="https://x/1", agency_name="Этажи")
+    )  # type: ignore[arg-type]
+    assert _update_params(db).get("is_pro_seller") is True, (
+        "агентский блок известен, а is_pro_seller не выводится — "
+        "4 469 строк на проде копились именно так"
+    )
+
+
+def test_no_agency_block_leaves_pro_seller_untouched() -> None:
+    """Отсутствие блока — NULL в параметре: COALESCE сохранит ранее известное
+    значение, и «частник» из этого НЕ выводится (п.3 задачи — отдельно)."""
+    db = _CaptureDb()
+    save_detail_enrichment(
+        db, 102, DetailEnrichment(offer_id="o2", source_url="https://x/2", agency_name=None)
+    )  # type: ignore[arg-type]
+    assert _update_params(db).get("is_pro_seller") is None
+
+
+def test_backfill_migration_shape() -> None:
+    """Миграция существует, идемпотентна (IS DISTINCT FROM TRUE), не трогает
+    is_homeowner и пустые имена агентств."""
+    sql = _MIGRATION.read_text()
+    assert "SET is_pro_seller = TRUE" in sql
+    assert "agency_name IS NOT NULL" in sql
+    assert "IS DISTINCT FROM TRUE" in sql
+    assert "is_homeowner" not in sql.split("--")[0] or "SET is_homeowner" not in sql

tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/yandex/detail.py

@@ -612,6 +612,10 @@ def save_detail_enrichment(db: Session, listing_id: int, e: DetailEnrichment) ->
                                            publish_date_relative
                                        ),
                 agency_name          = COALESCE(CAST(:agency_name AS text), agency_name),
+                is_pro_seller        = COALESCE(
+                                           CAST(:is_pro_seller AS boolean),
+                                           is_pro_seller
+                                       ),
                 agency_founded_year  = COALESCE(
                                            CAST(:agency_founded_year AS int),
                                            agency_founded_year
@@ -655,6 +659,10 @@ def save_detail_enrichment(db: Session, listing_id: int, e: DetailEnrichment) ->
             "views_total": e.views_total,
             "pub_date_rel": e.publish_date_relative,
             "agency_name": e.agency_name,
+            # #3063 п.2: агентский блок на детальной странице = продаёт профи.
+            # Вывод только в одну сторону (True или NULL): отсутствие блока НЕ
+            # доказывает «частник» — это п.3 задачи, отдельное решение.
+            "is_pro_seller": True if e.agency_name else None,
             "agency_founded_year": e.agency_founded_year,
             "agency_objects_count": e.agency_objects_count,
             "metro_stations": metro_json,