gendesign/tradein-mvp/backend/tests/test_geocoder_city_hint.py

"""Тесты #2576 — geocoder больше НЕ подставляет "Екатеринбург" молча.

Проблема (issue #2576 / эпик расширения на область): `_nominatim_lookup`,
`_nominatim_suggest` при отсутствии маркера города/области в самом адресе
всегда молча подставляли "Екатеринбург" — житель Нижнего Тагила, вводя
«Ленина, 1», получал уверенно неверную цену по екатеринбургской улице Ленина
(обе улицы называются одинаково).

#2593: Yandex Geocoder (`_yandex_lookup`/`_yandex_suggest`) удалён из geocoder —
их тесты здесь удалены вместе с ним; покрытие тех же сценариев (bias/prefix
без молчаливого "Екатеринбург") осталось на `_nominatim_lookup`.

Покрывают:
- `_resolve_city_for_geocode` — приоритет: маркер в адресе > `city_hint` > None.
- `_nominatim_suggest` — без города НЕ форсит city-суффикс молчаливо (dual-query);
  с `city_hint` — суффикс из hint'а; с явным "Екатеринбург" в адресе — поведение
  НЕ изменилось (как раньше).
- `geocode()` — `city_ambiguous=True` когда город не указан ни в адресе, ни в
  `city_hint`; `False` когда указан явно (текстом или через `city_hint`).
- Cache-ключ (`_cache_key`) — разные `city_hint` для одного текста адреса НЕ
  делят одну запись кэша (regression test на cache poisoning).
"""

from __future__ import annotations

import contextlib
import os
from unittest.mock import AsyncMock, MagicMock, patch

os.environ.setdefault("DATABASE_URL", "postgresql://test:test@localhost/test_db")

import pytest

from app.services.geocoder import (
    GeocodeResult,
    GeocodeSuggestion,
    _cache_key,
    _nominatim_suggest,
    _resolve_city_for_geocode,
    geocode,
    known_city_hint,
    suggest,
)

# ── known_city_hint (#2603) ──────────────────────────────────────────────────


@pytest.mark.parametrize(
    "value,expected",
    [
        # Известные города области — значение проходит КАК ЕСТЬ (регистр/пробелы
        # нормализует сам геокодер, caller'ы не должны его причёсывать).
        ("Екатеринбург", "Екатеринбург"),
        ("Нижний Тагил", "Нижний Тагил"),
        ("нижний  тагил", "нижний  тагил"),
        ("Каменск-Уральский", "Каменск-Уральский"),
        # Мусор из хвоста росреестрового deals.city — это улицы/урочища, а не
        # города; хинт из них закрыл бы EKB-тиры и уехал префиксом в запрос.
        ("Бессонова", None),
        ("Бердюгина", None),
        ("Билейский рыбопитомник", None),
        # Пусто — хинта нет.
        (None, None),
        ("", None),
        ("   ", None),
    ],
)
def test_known_city_hint(value: str | None, expected: str | None) -> None:
    assert known_city_hint(value) == expected


# ── _resolve_city_for_geocode ────────────────────────────────────────────────


@pytest.mark.parametrize(
    "address,city_hint,expected",
    [
        # Ни маркер, ни hint — раньше здесь молча подставлялся "Екатеринбург".
        ("Ленина, 1", None, (None, False)),
        ("Ленина, 1", "", (None, False)),
        ("Ленина, 1", "   ", (None, False)),
        # city_hint передан явно вызывающим кодом.
        ("Ленина, 1", "Нижний Тагил", ("Нижний Тагил", True)),
        # Маркер уже в адресе — hint игнорируется (marker имеет приоритет).
        ("Нижний Тагил, Ленина, 1", "Серов", (None, True)),
        ("Екатеринбург, Малышева 30", None, (None, True)),
        ("Екатеринбург, Малышева 30", "Серов", (None, True)),
    ],
)
def test_resolve_city_for_geocode(
    address: str, city_hint: str | None, expected: tuple[str | None, bool]
) -> None:
    assert _resolve_city_for_geocode(address, city_hint) == expected


# ── _cache_key — cache poisoning между городами ──────────────────────────────


def test_cache_key_without_hint_unchanged() -> None:
    """Без city_hint формат ключа НЕ меняется — backward-compat с накопленным кэшем."""
    assert _cache_key("ленина, 1", None) == "ленина, 1"
    assert _cache_key("ленина, 1", "") == "ленина, 1"


def test_cache_key_different_cities_do_not_collide() -> None:
    """#2576: разные города для одного текста адреса — разные cache-ключи."""
    key_tagil = _cache_key("ленина, 1", "Нижний Тагил")
    key_ekb = _cache_key("ленина, 1", "Екатеринбург")
    key_none = _cache_key("ленина, 1", None)

    assert key_tagil != key_ekb
    assert key_tagil != key_none
    assert key_ekb != key_none


def test_cache_key_hint_normalized() -> None:
    """city_hint нормализуется (case/whitespace) — не создаёт лишних ключей."""
    assert _cache_key("ленина, 1", "Нижний Тагил") == _cache_key("ленина, 1", "нижний тагил ")


# ── _nominatim_suggest ───────────────────────────────────────────────────────


async def test_nominatim_suggest_no_city_dual_query_both_variants_sent() -> None:
    """#2580 (C2): без города — Nominatim получает ОБА запроса: bare (честный,
    без города) И ЕКБ-suffixed (majority-трафик). Не подмена одним вариантом —
    объединение (см. `test_nominatim_suggest_pobedy20_ekb_result_not_lost` ниже
    — чистое удаление суффикса теряло реальные ЕКБ-адреса).
    """
    calls: list[str] = []

    async def fake_query_multi(client, query, limit, **_kw):
        calls.append(query)
        return []

    with (
        patch(
            "app.services.geocoder._nominatim_query_multi",
            new=AsyncMock(side_effect=fake_query_multi),
        ),
        patch("app.services.geocoder.asyncio.sleep", new=AsyncMock()),
    ):
        result = await _nominatim_suggest("Ленина, 1")

    assert result == []
    assert "Ленина, 1" in calls  # bare — честный, без города
    assert "Ленина, 1, Екатеринбург" in calls  # ЕКБ-вариант — не потерян


async def test_nominatim_suggest_city_hint_suffix() -> None:
    calls: list[str] = []

    async def fake_query_multi(client, query, limit, **_kw):
        calls.append(query)
        return []

    with patch(
        "app.services.geocoder._nominatim_query_multi", new=AsyncMock(side_effect=fake_query_multi)
    ):
        await _nominatim_suggest("Ленина, 1", city_hint="Нижний Тагил")

    assert calls[0] == "Ленина, 1, Нижний Тагил"


async def test_nominatim_suggest_explicit_ekb_unchanged() -> None:
    calls: list[str] = []

    async def fake_query_multi(client, query, limit, **_kw):
        calls.append(query)
        return []

    with patch(
        "app.services.geocoder._nominatim_query_multi", new=AsyncMock(side_effect=fake_query_multi)
    ):
        await _nominatim_suggest("Екатеринбург, Малышева 30")

    assert calls[0] == "Екатеринбург, Малышева 30"


async def test_nominatim_suggest_pobedy20_ekb_result_not_lost() -> None:
    """#2580 (C2) regression — "Победы 20" (реальный кейс с прода, подтверждён
    ревьюером): без города ЕКБ-кандидат ('Парк Победы' ЖК, Екатеринбург) должен
    остаться в подсказках, НЕ потеряться в пользу похожего street-level матча
    в Верхней Пышме.

    Симулирует реальные координаты:
      'Победы 20, Екатеринбург' → 56.899, 60.579  (ЖК "Парк Победы", Екатеринбург)
      'Победы 20'                → 56.964, 60.610  (ул. Победы, Верхняя Пышма)
    """
    ekb_item = {
        "place_id": 1001,
        "lat": "56.899",
        "lon": "60.579",
        "display_name": 'ЖК "Парк Победы", Орджоникидзевский район, Екатеринбург',
        "address": {"road": "Победы", "house_number": "20", "suburb": "Орджоникидзевский район"},
    }
    pyshma_item = {
        "place_id": 1002,
        "lat": "56.964",
        "lon": "60.610",
        "display_name": "улица Победы, 20, Верхняя Пышма",
        "address": {"road": "улица Победы", "house_number": "20"},
    }

    async def fake_query_multi(client, query, limit, **_kw):
        if query.endswith(", Екатеринбург"):
            return [ekb_item]
        return [pyshma_item]

    with (
        patch(
            "app.services.geocoder._nominatim_query_multi",
            new=AsyncMock(side_effect=fake_query_multi),
        ),
        patch("app.services.geocoder.asyncio.sleep", new=AsyncMock()),
    ):
        result = await _nominatim_suggest("Победы 20")

    assert result, "ожидались подсказки"
    ekb_hits = [r for r in result if r.lat == pytest.approx(56.899)]
    assert ekb_hits, "ЕКБ-кандидат ('Парк Победы') должен остаться в подсказках, не потеряться"
    # ЕКБ-кандидат идёт первым (majority-трафик — привычный порядок для основных пользователей).
    assert result[0].lat == pytest.approx(56.899)
    # Верхняя Пышма тоже осталась в списке — honest alternative, не подменена.
    pyshma_hits = [r for r in result if r.lat == pytest.approx(56.964)]
    assert pyshma_hits, "не-ЕКБ кандидат тоже должен остаться (объединение, не замена)"


async def test_nominatim_suggest_dedupe_across_dual_query() -> None:
    """Если bare и ЕКБ-suffixed запросы возвращают ОДИН и тот же item (по place_id)
    — он не дублируется в итоговом списке подсказок."""
    same_item = {
        "place_id": 42,
        "lat": "56.838",
        "lon": "60.605",
        "display_name": "ул. Малышева, 30, Екатеринбург",
        "address": {"road": "ул. Малышева", "house_number": "30"},
    }

    async def fake_query_multi(client, query, limit, **_kw):
        return [same_item]

    with (
        patch(
            "app.services.geocoder._nominatim_query_multi",
            new=AsyncMock(side_effect=fake_query_multi),
        ),
        patch("app.services.geocoder.asyncio.sleep", new=AsyncMock()),
    ):
        result = await _nominatim_suggest("Малышева 30")

    assert len(result) == 1, "одинаковый place_id из обоих запросов не должен дублироваться"


# ── geocode() — city_ambiguous flag ──────────────────────────────────────────


def _geocode_patches(nominatim_result: GeocodeResult | None):
    return (
        patch("app.services.geocoder._cache_get", return_value=None),
        patch("app.services.geocoder._cache_put"),
        patch("app.services.geocoder._geoportal_house_match", return_value=None),
        patch("app.services.geocoder._cadastral_house_match", return_value=None),
        patch("app.services.geocoder._cadastral_forward_sync", return_value=[]),
        patch(
            "app.services.geocoder._nominatim_lookup", new=AsyncMock(return_value=nominatim_result)
        ),
    )


# ── C1 (#2580) — city_hint должен доходить до локальных ЕКБ-only тиров ──────


async def test_geocode_city_hint_non_ekb_skips_local_ekb_tiers() -> None:
    """#2580 (C1): city_hint="Нижний Тагил" должен ЗАПРЕТИТЬ geoportal/cadastral
    (ЕКБ-only базы) — иначе они возвращают "точный" ЕКБ-хит для улицы, которая
    совпадает по названию, а `city_ambiguous=False` (хинт был!) делает такой
    неверный результат ложно-уверенным. Мок geoportal нарочно возвращает ЕКБ-хит
    (как в проде) — фикс должен НЕ дать ему сработать вообще.
    """
    db = MagicMock()
    ekb_hit = GeocodeSuggestion(
        label="Ленина, 1, Екатеринбург",
        full_address="Ленина, 1, Екатеринбург",
        lat=56.83788,
        lon=60.58018,
        kind="house",
    )
    tagil_result = GeocodeResult(
        lat=57.905, lon=59.950, full_address="Ленина, 1, Нижний Тагил", provider="nominatim"
    )
    with contextlib.ExitStack() as stack:
        stack.enter_context(patch("app.services.geocoder._cache_get", return_value=None))
        stack.enter_context(patch("app.services.geocoder._cache_put"))
        geoportal_mock = stack.enter_context(
            patch("app.services.geocoder._geoportal_house_match", return_value=ekb_hit)
        )
        cadastral_mock = stack.enter_context(
            patch("app.services.geocoder._cadastral_house_match", return_value=ekb_hit)
        )
        stack.enter_context(patch("app.services.geocoder._cadastral_forward_sync", return_value=[]))
        stack.enter_context(
            patch(
                "app.services.geocoder._nominatim_lookup",
                new=AsyncMock(return_value=tagil_result),
            )
        )
        result = await geocode("Ленина, 1", db, city_hint="Нижний Тагил")

    geoportal_mock.assert_not_called()
    cadastral_mock.assert_not_called()
    assert result is not None
    assert result.lat == pytest.approx(57.905)  # Тагил, НЕ подставленный ЕКБ-хит (56.838)
    assert result.lat != pytest.approx(56.83788)


async def test_geocode_real_ekb_address_still_uses_local_tiers() -> None:
    """Сквозной кейс: реальный ЕКБ-адрес БЕЗ city_hint по-прежнему резолвится через
    локальный geoportal-тир (ЕКБ-путь не деградировал после C1-фикса)."""
    db = MagicMock()
    ekb_hit = GeocodeSuggestion(
        label="Малышева, 30, Екатеринбург",
        full_address="Малышева, 30, Екатеринбург",
        lat=56.8389,
        lon=60.6057,
        kind="house",
    )
    with contextlib.ExitStack() as stack:
        stack.enter_context(patch("app.services.geocoder._cache_get", return_value=None))
        stack.enter_context(patch("app.services.geocoder._cache_put"))
        geoportal_mock = stack.enter_context(
            patch("app.services.geocoder._geoportal_house_match", return_value=ekb_hit)
        )
        result = await geocode("Малышева, 30", db)

    geoportal_mock.assert_called_once()
    assert result is not None
    assert result.lat == pytest.approx(56.8389)
    assert result.confidence == "exact"
    assert result.city_ambiguous is True  # город не указан — честный флаг


async def test_suggest_city_hint_non_ekb_skips_cadastral_tier1() -> None:
    """#2580 (C1): suggest(city_hint="Нижний Тагил") — Tier 1 (кадастр ЕКБ) НЕ должен
    вызываться (раньше был мёртвым параметром для этого тира)."""
    db = MagicMock()
    with contextlib.ExitStack() as stack:
        house_mock = stack.enter_context(patch("app.services.geocoder._cadastral_house_match"))
        forward_mock = stack.enter_context(patch("app.services.geocoder._cadastral_forward_sync"))
        mock_settings = stack.enter_context(patch("app.services.geocoder.settings"))
        mock_settings.dadata_api_token = None
        stack.enter_context(
            patch("app.services.geocoder._nominatim_suggest", new=AsyncMock(return_value=[]))
        )
        await suggest("Ленина, 1", db=db, city_hint="Нижний Тагил")

    house_mock.assert_not_called()
    forward_mock.assert_not_called()


async def test_geocode_city_ambiguous_true_when_no_city_known() -> None:
    """Ни адрес, ни city_hint не называют город → city_ambiguous=True."""
    db = MagicMock()
    nominatim_result = GeocodeResult(
        lat=56.838, lon=60.605, full_address="что-то", provider="nominatim"
    )
    with contextlib.ExitStack() as stack:
        for cm in _geocode_patches(nominatim_result):
            stack.enter_context(cm)
        result = await geocode("Малышева, 30", db)

    assert result is not None
    assert result.city_ambiguous is True


async def test_geocode_city_ambiguous_false_when_marker_present() -> None:
    """Явный "Екатеринбург" в адресе → город указан пользователем → city_ambiguous=False."""
    db = MagicMock()
    nominatim_result = GeocodeResult(
        lat=56.838, lon=60.605, full_address="Екатеринбург, Малышева, 30", provider="nominatim"
    )
    with contextlib.ExitStack() as stack:
        for cm in _geocode_patches(nominatim_result):
            stack.enter_context(cm)
        result = await geocode("Екатеринбург, Малышева, 30", db)

    assert result is not None
    assert result.city_ambiguous is False


async def test_geocode_city_ambiguous_false_when_city_hint_given() -> None:
    """city_hint передан вызывающим кодом → город указан → city_ambiguous=False."""
    db = MagicMock()
    nominatim_result = GeocodeResult(
        lat=57.905, lon=59.950, full_address="Нижний Тагил, Ленина, 1", provider="nominatim"
    )
    with contextlib.ExitStack() as stack:
        for cm in _geocode_patches(nominatim_result):
            stack.enter_context(cm)
        result = await geocode("Ленина, 1", db, city_hint="Нижний Тагил")

    assert result is not None
    assert result.city_ambiguous is False


# ── geocode() — cache не смешивает города ────────────────────────────────────


async def test_geocode_cache_does_not_mix_cities() -> None:
    """#2576 regression: два города для одного текста адреса не делят cache-запись.

    Без city_hint-aware ключа второй вызов (Тагил) читал бы уже закэшированный
    (первым вызовом, ЕКБ) результат — координаты ЕКБ вместо Тагила.
    """
    store: dict[str, GeocodeResult] = {}

    def fake_cache_get(db, addr_norm):
        return store.get(addr_norm)

    def fake_cache_put(db, addr_norm, result):
        store[addr_norm] = result

    async def fake_nominatim_lookup(address, city_hint=None, region_code=66):
        if city_hint == "Нижний Тагил":
            return GeocodeResult(
                lat=57.905, lon=59.950, full_address="Нижний Тагил, Ленина, 1", provider="nominatim"
            )
        return GeocodeResult(
            lat=56.838, lon=60.605, full_address="Екатеринбург, Ленина, 1", provider="nominatim"
        )

    db = MagicMock()
    with contextlib.ExitStack() as stack:
        stack.enter_context(patch("app.services.geocoder._cache_get", side_effect=fake_cache_get))
        stack.enter_context(patch("app.services.geocoder._cache_put", side_effect=fake_cache_put))
        stack.enter_context(
            patch("app.services.geocoder._geoportal_house_match", return_value=None)
        )
        stack.enter_context(
            patch("app.services.geocoder._cadastral_house_match", return_value=None)
        )
        stack.enter_context(patch("app.services.geocoder._cadastral_forward_sync", return_value=[]))
        stack.enter_context(
            patch(
                "app.services.geocoder._nominatim_lookup",
                new=AsyncMock(side_effect=fake_nominatim_lookup),
            )
        )

        r_ekb = await geocode("Ленина, 1", db, city_hint="Екатеринбург")
        r_tagil = await geocode("Ленина, 1", db, city_hint="Нижний Тагил")
        # Повторный запрос ЕКБ — должен снова попасть в СВОЙ кэш (не Тагила).
        r_ekb_again = await geocode("Ленина, 1", db, city_hint="Екатеринбург")

    assert r_ekb is not None and r_tagil is not None and r_ekb_again is not None
    assert r_ekb.lat == pytest.approx(56.838)
    assert r_tagil.lat == pytest.approx(57.905)
    assert r_ekb_again.lat == pytest.approx(56.838)
    assert r_ekb.lat != r_tagil.lat
    # Два разных ключа реально осели в fake-store (не перезаписали друг друга).
    assert len(store) == 2