gendesign/tradein-mvp/backend/tests/scrapers/test_admin_avito_kit_parity.py

"""Parity-proof: admin.py Avito debug-роуты (#2305, Group A) — legacy vs scraper_kit.

`app/api/v1/admin.py::scrape_avito_house` / `scrape_avito_imv` теперь зовут
`scraper_kit.providers.avito.{houses,imv}` вместо `app.services.scrapers.avito_*`
(тот же `/scrape` root-роут — `scraper_kit.providers.avito.serp.AvitoScraper`).
Каждая пара функций ниже — чистое, offline-тестируемое parsing-ядро, которое
реально используется соответствующим debug-эндпоинтом (не сам HTTP-fetch —
см. `tests/support/README.md`: "Live network/DB в parity-тестах избегайте").

- `_parse_house_page` — `scrape_avito_house` → `fetch_house_catalog` парсит виджет
  `housePage` этой функцией.
- `_parse_price` — `scrape_avito_imv` → `evaluate_via_imv` парсит top-level `price`
  блок ответа `realty-imv/get-data` этой функцией.
- `_extract_rooms_from_title` / `_extract_area_from_title` — использует
  `AvitoScraper` (SERP-парсинг `/scrape` root-роута) для title-fallback полей.
"""

from __future__ import annotations

import dataclasses
import os

# Соседние модули app.services.scrapers.* импортируют app.core.config при импорте
# пакета — фиктивный DSN мостит офлайн-запуск (mirror test_avito_detail_kit_parity.py).
os.environ.setdefault("DATABASE_URL", "postgresql+psycopg://test:test@localhost/test_db")

from scraper_kit.providers.avito.houses import _parse_house_page as kit_parse_house_page
from scraper_kit.providers.avito.imv import _parse_price as kit_parse_price
from scraper_kit.providers.avito.serp import (
    _extract_area_from_title as kit_extract_area_from_title,
)
from scraper_kit.providers.avito.serp import (
    _extract_rooms_from_title as kit_extract_rooms_from_title,
)

from app.services.scrapers.avito import _extract_area_from_title as legacy_extract_area_from_title
from app.services.scrapers.avito import (
    _extract_rooms_from_title as legacy_extract_rooms_from_title,
)
from app.services.scrapers.avito_houses import _parse_house_page as legacy_parse_house_page
from app.services.scrapers.avito_imv import _parse_price as legacy_parse_price
from tests.support.parity import assert_parity

_HOUSE_WIDGET = {
    "props": {
        "developmentData": {
            "avitoId": 3171365,
            "id": "abc123hash",
            "title": "ЖК Тестовый",
            "address": "ул. Тестовая, 1",
            "fullAddress": "Екатеринбург, ул. Тестовая, 1",
            "coords": {"lat": 56.8, "lng": 60.6},
            "aboutDevelopment": {
                "expandParams": {
                    "items": [
                        {
                            "params": [
                                {"type": "Год постройки", "value": "2020"},
                                {"type": "Этажей", "value": "16"},
                                {"type": "Пассажирский лифт", "value": "2"},
                            ]
                        }
                    ]
                }
            },
            "ratingBadge": {"info": {"score": 4.5, "scoreString": "4.5"}},
            "ratingSummaryStat": {"reviewCount": 10, "ratingStat": []},
            "mapPreview": {"objects": "школа рядом", "distance": "5 мин", "pins": []},
            "developer": {"name": "ООО Застройщик", "key": "dev1"},
        }
    }
}

_IMV_GETDATA = {
    "price": {
        "recommendedPrice": 8500000,
        "lowerPrice": 7800000,
        "higherPrice": 9200000,
        "count": 42,
        "addItemUrl": "/add",
    }
}


def test_avito_house_page_parse_are_class_distinct() -> None:
    """Sanity: legacy/kit HouseInfo — разные классы, обычный `==` даёт False."""
    legacy_result = legacy_parse_house_page(_HOUSE_WIDGET)
    kit_result = kit_parse_house_page(_HOUSE_WIDGET)

    assert type(legacy_result) is not type(kit_result)
    assert legacy_result != kit_result
    assert dataclasses.asdict(legacy_result) == dataclasses.asdict(kit_result)


def test_parity_avito_house_page() -> None:
    """`scrape_avito_house` (admin.py) → fetch_house_catalog → _parse_house_page."""
    assert_parity(
        legacy_fn=legacy_parse_house_page,
        kit_fn=kit_parse_house_page,
        fixtures=[(_HOUSE_WIDGET,)],
    )


def test_parity_avito_imv_price() -> None:
    """`scrape_avito_imv` (admin.py) → evaluate_via_imv → _parse_price."""
    assert_parity(
        legacy_fn=legacy_parse_price,
        kit_fn=kit_parse_price,
        fixtures=[(_IMV_GETDATA,)],
    )


def test_parity_avito_serp_title_extract() -> None:
    """`/scrape` root-роут (admin.py) → AvitoScraper SERP title-fallback fields."""
    titles = [
        "2-к. квартира, 54.3 м², 3/9 эт.",
        "Студия, 25 м², 1/5 эт.",
        "3-к. кв., 75,5 м², 12/16 эт.",
    ]
    assert_parity(
        legacy_fn=legacy_extract_rooms_from_title,
        kit_fn=kit_extract_rooms_from_title,
        fixtures=titles,
    )
    assert_parity(
        legacy_fn=legacy_extract_area_from_title,
        kit_fn=kit_extract_area_from_title,
        fixtures=titles,
    )