gendesign/tradein-mvp/backend/tests/scrapers/test_admin_avito_kit_parity.py

"""Parity-proof: admin.py Avito debug-роуты (#2305, Group A) — legacy vs scraper_kit.

`app/api/v1/admin.py::scrape_avito_house` теперь зовёт `scraper_kit.providers.avito.houses`
вместо `app.services.scrapers.avito_houses` (тот же `/scrape` root-роут —
`scraper_kit.providers.avito.serp.AvitoScraper`). Каждая пара функций ниже — чистое,
offline-тестируемое parsing-ядро, которое реально используется соответствующим
debug-эндпоинтом (не сам HTTP-fetch — см. `tests/support/README.md`: "Live network/DB
в parity-тестах избегайте").

- `_parse_house_page` — `scrape_avito_house` → `fetch_house_catalog` парсит виджет
  `housePage` этой функцией.
- `_extract_rooms_from_title` / `_extract_area_from_title` — использует
  `AvitoScraper` (SERP-парсинг `/scrape` root-роута) для title-fallback полей.

Легаси `app.services.scrapers.avito_imv` (`scrape_avito_imv` → `evaluate_via_imv` →
`_parse_price`) удалён (#2277 финальный шаг scraper_kit-миграции, 0 runtime
importers) — parity-проверка `_parse_price` убрана вместе с ним; kit-сторона
`_parse_price` покрыта отдельно (`tests/scrapers/test_avito_imv_kit_parity.py` /
`tests/test_avito_imv_parse.py`).
"""

from __future__ import annotations

import dataclasses
import os

# Соседние модули app.services.scrapers.* импортируют app.core.config при импорте
# пакета — фиктивный DSN мостит офлайн-запуск (mirror test_avito_detail_kit_parity.py).
os.environ.setdefault("DATABASE_URL", "postgresql+psycopg://test:test@localhost/test_db")

from scraper_kit.providers.avito.houses import _parse_house_page as kit_parse_house_page
from scraper_kit.providers.avito.serp import (
    _extract_area_from_title as kit_extract_area_from_title,
)
from scraper_kit.providers.avito.serp import (
    _extract_rooms_from_title as kit_extract_rooms_from_title,
)

from app.services.scrapers.avito import _extract_area_from_title as legacy_extract_area_from_title
from app.services.scrapers.avito import (
    _extract_rooms_from_title as legacy_extract_rooms_from_title,
)
from app.services.scrapers.avito_houses import _parse_house_page as legacy_parse_house_page
from tests.support.parity import assert_parity

_HOUSE_WIDGET = {
    "props": {
        "developmentData": {
            "avitoId": 3171365,
            "id": "abc123hash",
            "title": "ЖК Тестовый",
            "address": "ул. Тестовая, 1",
            "fullAddress": "Екатеринбург, ул. Тестовая, 1",
            "coords": {"lat": 56.8, "lng": 60.6},
            "aboutDevelopment": {
                "expandParams": {
                    "items": [
                        {
                            "params": [
                                {"type": "Год постройки", "value": "2020"},
                                {"type": "Этажей", "value": "16"},
                                {"type": "Пассажирский лифт", "value": "2"},
                            ]
                        }
                    ]
                }
            },
            "ratingBadge": {"info": {"score": 4.5, "scoreString": "4.5"}},
            "ratingSummaryStat": {"reviewCount": 10, "ratingStat": []},
            "mapPreview": {"objects": "школа рядом", "distance": "5 мин", "pins": []},
            "developer": {"name": "ООО Застройщик", "key": "dev1"},
        }
    }
}


def test_avito_house_page_parse_are_class_distinct() -> None:
    """Sanity: legacy/kit HouseInfo — разные классы, обычный `==` даёт False."""
    legacy_result = legacy_parse_house_page(_HOUSE_WIDGET)
    kit_result = kit_parse_house_page(_HOUSE_WIDGET)

    assert type(legacy_result) is not type(kit_result)
    assert legacy_result != kit_result
    assert dataclasses.asdict(legacy_result) == dataclasses.asdict(kit_result)


def test_parity_avito_house_page() -> None:
    """`scrape_avito_house` (admin.py) → fetch_house_catalog → _parse_house_page."""
    assert_parity(
        legacy_fn=legacy_parse_house_page,
        kit_fn=kit_parse_house_page,
        fixtures=[(_HOUSE_WIDGET,)],
    )


def test_parity_avito_serp_title_extract() -> None:
    """`/scrape` root-роут (admin.py) → AvitoScraper SERP title-fallback fields."""
    titles = [
        "2-к. квартира, 54.3 м², 3/9 эт.",
        "Студия, 25 м², 1/5 эт.",
        "3-к. кв., 75,5 м², 12/16 эт.",
    ]
    assert_parity(
        legacy_fn=legacy_extract_rooms_from_title,
        kit_fn=kit_extract_rooms_from_title,
        fixtures=titles,
    )
    assert_parity(
        legacy_fn=legacy_extract_area_from_title,
        kit_fn=kit_extract_area_from_title,
        fixtures=titles,
    )