From a08e263c60cb247517af87f6cdaadb67223e7a49 Mon Sep 17 00:00:00 2001 From: bot-backend Date: Fri, 3 Jul 2026 10:19:19 +0300 Subject: [PATCH] =?UTF-8?q?fix(tradein/estimator):=20=D0=BA=D1=80=D0=BE?= =?UTF-8?q?=D1=81=D1=81-source=20=D0=B4=D0=B5=D0=B4=D1=83=D0=BF=20?= =?UTF-8?q?=E2=80=94=20=D1=83=D1=81=D1=82=D0=BE=D0=B9=D1=87=D0=B8=D0=B2?= =?UTF-8?q?=D1=8B=D0=B9=20=D0=B0=D0=B4=D1=80=D0=B5=D1=81=D0=BD=D1=8B=D0=B9?= =?UTF-8?q?=20=D0=BA=D0=BB=D1=8E=D1=87=20street+house=20(#2265)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- tradein-mvp/backend/app/services/estimator.py | 248 ++++++++++++++---- .../test_estimator_dedup_cross_source_2087.py | 125 +++++++++ 2 files changed, 323 insertions(+), 50 deletions(-) diff --git a/tradein-mvp/backend/app/services/estimator.py b/tradein-mvp/backend/app/services/estimator.py index f8488ede..a75304b3 100644 --- a/tradein-mvp/backend/app/services/estimator.py +++ b/tradein-mvp/backend/app/services/estimator.py @@ -4537,53 +4537,149 @@ def _apply_corridor_clamp( return new_ppm2, new_price, new_low, new_high, True -# ── #2087 H4: кросс-source физический дедуп аналогов ───────────────────────── +# ── #2087 H4 / #2265: кросс-source физический дедуп аналогов ────────────────── # Radius-дедуп (_RN_DUP_WINDOW) ловит только повторы ВНУТРИ одного source # (source, source_id). Один физический лот, кросс-запостенный на avito+cian+ # domklik, имеет РАЗНЫЕ source → переживает radius-дедуп → считается несколько # раз → раздувает n_analogs И cv (→ шире коридор), может смещать медиану. # _dedup_cross_source схлопывает такие дубли по физическому ключу ДО агрегации. +# +# #2265: адресный fallback-ключ ужесточён. Раньше building = lower + схлопнутая +# пунктуация ВСЕГО адреса → три source-формата одного дома дают три разных +# building-компонента и один физлот считается тремя. Прод-пример (оценка +# d5fc3841): один лот 33.6 м²/3 этаж/4.0М на ул. Сыромолотова показан как 3 +# аналога, т.к. cadnum пуст у всех троих, а адреса форматированы по-разному: +# cian «р-н Кировский, мкр. ЖБИ, улица Сыромолотова, …» +# domklik «Россия, Екатеринбург, ЖБИ м-н, улица Сыромолотова…» +# yandex «Екатеринбург, улица Сыромолотова, 11» +# domklik building_cadastral_number ВСЕГДА пуст (0/6296), yandex/avito/cian — +# 17/29/33% → cadnum-ключ между источниками тоже не совпадает. +# +# Фикс: из адреса извлекаем нормализованный street_token (тип улицы + город + +# район + «Россия» выброшены) и строим композит (street_token, floor, area, +# price). house_no СОЗНАТЕЛЬНО не входит в equality-ключ — он присутствует +# непоследовательно (yandex несёт номер, cian/domklik часто нет), включение +# помешало бы слить именно тот кросс-пост, ради которого дедуп существует. +# Разные физлоты остаются разными через floor/area/price (требование «не +# over-merge»). Дедуп union-find по ЛЮБОМУ совпавшему ключу (cadnum-композит ИЛИ +# street-композит) → закрывает и «у одного cadnum есть, у другого нет, адрес +# совпадает». Два РАЗНЫХ кадастра (авторитетный сигнал разных зданий) НЕ +# сливаются, даже если street-композит совпал. _DEDUP_PRICE_BUCKET_RUB = 100_000 -_ADDR_NORM_RE = re.compile(r"[^0-9a-zа-яё]+", flags=re.IGNORECASE) + +# Типы улиц (для отсечения от названия). District-маркеры (мкр/м-н/квартал/ +# район) СЮДА НЕ входят — иначе «мкр. ЖБИ, улица Сыромолотова» матчилось бы на +# «мкр ЖБИ» вместо реальной улицы; они убираются как шум в _ADDR_NOISE_WORDS. +_STREET_TYPE_WORDS = ( + "улица", + "ул", + "переулок", + "пер", + "проспект", + "просп", + "пр-кт", + "пр-т", + "пр", + "бульвар", + "б-р", + "бул", + "проезд", + "шоссе", + "ш", + "набережная", + "наб", + "площадь", + "пл", + "аллея", + "тупик", + "тракт", + "линия", +) +# Длинные типы раньше коротких, чтобы «улица» матчилось раньше «ул». +_STREET_TYPE_ALT = "|".join(re.escape(w) for w in sorted(_STREET_TYPE_WORDS, key=len, reverse=True)) +# «<тип>[.] <название>»: название = 1-3 буквенных слова, до запятой/цифры. +_STREET_NAME_RE = re.compile( + rf"(?:^|[,\s])(?:{_STREET_TYPE_ALT})\.?\s+([а-яё][а-яё\-]+(?:\s+[а-яё][а-яё\-]+){{0,2}})", + flags=re.IGNORECASE, +) +# Слова-маркеры дома, которые могли попасть в захват названия (напр. «ленина д 5»). +_HOUSE_MARKER_WORDS = frozenset( + {"дом", "д", "корпус", "корп", "к", "строение", "стр", "литера", "лит", "владение", "вл"} +) +# Шум-токены (город/страна/район/микрорайон) на случай, если попали в название. +_ADDR_NOISE_WORDS = frozenset( + { + "россия", + "рф", + "екатеринбург", + "г", + "город", + "область", + "обл", + "район", + "р-н", + "мкр", + "м-н", + "микрорайон", + "квартал", + } +) -def _norm_addr_for_dedup(addr: str | None) -> str: - """Нормализация адреса для физического ключа: lower + схлопнутая пунктуация. +def _extract_street_token(addr: str | None) -> str: + """Нормализованный уличный токен для дедуп-ключа (#2265). - Кросс-source адреса форматируются по-разному («ул. Ленина, д.5» vs - «Ленина 5») — нормализуем к сравнимому виду. Пустой/None → "". + Из адреса произвольного source-формата вытаскивает название улицы без типа + (улица/пер/пр…), города, района и «Россия». Не распознан / пусто → "". """ if not addr: return "" - return _ADDR_NORM_RE.sub(" ", addr.strip().lower()).strip() + m = _STREET_NAME_RE.search(addr.strip().lower()) + if not m: + return "" + words = [ + w + for w in m.group(1).split() + if w and w not in _HOUSE_MARKER_WORDS and w not in _ADDR_NOISE_WORDS + ] + return " ".join(words).strip() -def _phys_dedup_key(lot: dict[str, Any]) -> tuple[str, Any, int, int] | None: - """Физический ключ лота (building, floor, area_bucket, price_bucket). +def _lot_dedup_components( + lot: dict[str, Any], +) -> tuple[str, tuple[str, Any, int, int] | None, tuple[str, Any, int, int] | None]: + """(cadnum, cadnum-композит, street-композит) лота для union-find дедупа. - None, если нет данных для ключа (нет площади/цены/building) — такой лот - НЕ дедупим (оставляем как уникальный, чтобы не сливать неоднозначное). - building = building_cadastral_number (надёжнее) ИЛИ нормализованный address. - area_bucket = round(area_m2) (~±0.5 м² — поглощает округление 66.9 vs 67.0). - price_bucket = round(price_rub / _DEDUP_PRICE_BUCKET_RUB): у настоящего - кросс-поста цена идентична (тот же продавец), допуск лишь гасит округление. + Каждый композит = (building, floor, area_bucket, price_bucket) или None, + если нет соответствующего сигнала. area_bucket = round(area_m2) (~±0.5 м² — + гасит 66.9 vs 67.0), price_bucket = round(price_rub / _DEDUP_PRICE_BUCKET_RUB) + (у настоящего кросс-поста цена идентична, допуск лишь гасит округление). + Нет площади/цены → оба None (лот уникален, не дедупится). """ area = lot.get("area_m2") price = lot.get("price_rub") if not area or not price: - return None + return "", None, None + floor = lot.get("floor") + area_b = round(float(area)) + price_b = round(float(price) / _DEDUP_PRICE_BUCKET_RUB) cad = lot.get("building_cadastral_number") - building = ( - str(cad).strip() if cad and str(cad).strip() else _norm_addr_for_dedup(lot.get("address")) - ) - if not building: - return None - return ( - building, - lot.get("floor"), - round(float(area)), - round(float(price) / _DEDUP_PRICE_BUCKET_RUB), - ) + cad_s = str(cad).strip() if cad and str(cad).strip() else "" + cad_key = (cad_s, floor, area_b, price_b) if cad_s else None + street = _extract_street_token(lot.get("address")) + street_key = (street, floor, area_b, price_b) if street else None + return cad_s, cad_key, street_key + + +def _phys_dedup_key(lot: dict[str, Any]) -> tuple[str, Any, int, int] | None: + """Первичный физический ключ (building, floor, area_bucket, price_bucket). + + building = cadnum (надёжнее) ИЛИ street_token (#2265). None, если нет + площади/цены или не из чего построить building. Сохраняет 4-кортежную форму + (canonical-ключ; union-find в _dedup_cross_source использует оба композита). + """ + _cad_s, cad_key, street_key = _lot_dedup_components(lot) + return cad_key or street_key def _dedup_rep_key(lot: dict[str, Any]) -> tuple[float, int, str, str]: @@ -4599,36 +4695,88 @@ def _dedup_rep_key(lot: dict[str, Any]) -> tuple[float, int, str, str]: def _dedup_cross_source(lots: list[dict[str, Any]]) -> list[dict[str, Any]]: - """Схлопывает кросс-source дубли одного физического лота (#2087 H4). + """Схлопывает кросс-source дубли одного физического лота (#2087 H4 / #2265). - Из группы с общим физическим ключом (_phys_dedup_key) оставляет ОДНОГО - представителя (свежайший scraped_at), НЕ суммирует. Порядок вывода — по - первому появлению группы (сохраняет relevance-сортировку из _fetch_analogs - для top-N UI). Представитель несёт свой source → n_analogs/median/cv/ - source_counts/sources_used считаются по физическим лотам («лот считается - один раз»; source кросс-поста, не ставший представителем, выпадает из - выборки — по нему нет независимой ценовой точки). Флаг OFF → no-op - (байт-идентичный проход). Лоты без ключа (нет площади/цены/building) не - дедупятся — остаются уникальными. + Union-find по физическим композитам: два лота — дубли, если совпал ЛЮБОЙ + ключ — cadnum-композит ИЛИ street-композит (_lot_dedup_components). Из группы + оставляет ОДНОГО представителя (свежайший scraped_at), НЕ суммирует. Порядок + вывода — по первому появлению группы (сохраняет relevance-сортировку из + _fetch_analogs для top-N UI). Представитель несёт свой source → n_analogs/ + median/cv/source_counts/sources_used считаются по физическим лотам («лот + считается один раз»; source кросс-поста, не ставший представителем, выпадает + из выборки — по нему нет независимой ценовой точки). + + #2265: cadnum-композит обрабатывается первым (авторитетный), затем street- + композит — но union по street НЕ сливает два РАЗНЫХ непустых кадастра + (разные здания). Флаг OFF → no-op (байт-идентичный проход). Лоты без + площади/цены не дедупятся — остаются уникальными. """ if not settings.estimate_dedup_analogs_enabled or len(lots) < 2: return lots - groups: dict[Any, list[dict[str, Any]]] = {} - order: list[Any] = [] - for lot in lots: - key: Any = _phys_dedup_key(lot) - if key is None: - key = ("__nodup__", id(lot)) # неоднозначный → уникальный псевдоключ - if key not in groups: - groups[key] = [] - order.append(key) - groups[key].append(lot) + n = len(lots) + parent = list(range(n)) + comps = [_lot_dedup_components(lot) for lot in lots] + # cadnum группы (root → кадастр «» если группа без/со смешанным кадастром). + root_cad = [c[0] for c in comps] + + def find(x: int) -> int: + while parent[x] != x: + parent[x] = parent[parent[x]] # path-halving + x = parent[x] + return x + + def union(a: int, b: int) -> None: + ra, rb = find(a), find(b) + if ra == rb: + return + ca, cb = root_cad[ra], root_cad[rb] + if ca and cb and ca != cb: + return # разные кадастры → разные здания, не сливаем + merged = ca or cb + # меньший индекс — корень: сохраняет first-seen порядок групп. + if ra < rb: + parent[rb] = ra + root_cad[ra] = merged + else: + parent[ra] = rb + root_cad[rb] = merged + + # 1) cadnum-композит — авторитетный (тот же кадастр = то же здание). + cad_owner: dict[tuple[str, Any, int, int], int] = {} + for i, (_cad_s, cad_key, _street_key) in enumerate(comps): + if cad_key is None: + continue + prev = cad_owner.get(cad_key) + if prev is None: + cad_owner[cad_key] = i + else: + union(prev, i) + + # 2) street-композит — union при отсутствии cadnum-конфликта. + street_owner: dict[tuple[str, Any, int, int], int] = {} + for i, (_cad_s, _cad_key, street_key) in enumerate(comps): + if street_key is None: + continue + prev = street_owner.get(street_key) + if prev is None: + street_owner[street_key] = i + else: + union(prev, i) + + groups: dict[int, list[dict[str, Any]]] = {} + order: list[int] = [] + for i, lot in enumerate(lots): + root = find(i) + if root not in groups: + groups[root] = [] + order.append(root) + groups[root].append(lot) result: list[dict[str, Any]] = [] collapsed = 0 - for key in order: - group = groups[key] + for root in order: + group = groups[root] if len(group) == 1: result.append(group[0]) else: @@ -4636,7 +4784,7 @@ def _dedup_cross_source(lots: list[dict[str, Any]]) -> list[dict[str, Any]]: collapsed += len(group) - 1 if collapsed: logger.info( - "cross-source dedup #2087 H4: %d lots → %d unique (-%d dups)", + "cross-source dedup #2087/#2265: %d lots → %d unique (-%d dups)", len(lots), len(result), collapsed, diff --git a/tradein-mvp/backend/tests/test_estimator_dedup_cross_source_2087.py b/tradein-mvp/backend/tests/test_estimator_dedup_cross_source_2087.py index 725922d4..da38437f 100644 --- a/tradein-mvp/backend/tests/test_estimator_dedup_cross_source_2087.py +++ b/tradein-mvp/backend/tests/test_estimator_dedup_cross_source_2087.py @@ -179,3 +179,128 @@ def test_dedup_lots_without_key_stay_unique(monkeypatch: pytest.MonkeyPatch) -> ] out = estimator._dedup_cross_source(lots) assert len(out) == 2 + + +# --------------------------------------------------------------------------- # +# #2265 — устойчивый адресный street-токен (кросс-source форматы) +# --------------------------------------------------------------------------- # + + +def test_extract_street_token_across_source_formats() -> None: + # Три РЕАЛЬНЫХ прод-формата одного дома (ул. Сыромолотова) → один токен. + cian = estimator._extract_street_token("р-н Кировский, мкр. ЖБИ, улица Сыромолотова, 11") + domklik = estimator._extract_street_token("Россия, Екатеринбург, ЖБИ м-н, улица Сыромолотова") + yandex = estimator._extract_street_token("Екатеринбург, улица Сыромолотова, 11") + assert cian == domklik == yandex == "сыромолотова" + + +def test_extract_street_token_strips_house_and_noise() -> None: + assert estimator._extract_street_token("Екатеринбург, ул. Ленина, д. 5") == "ленина" + assert estimator._extract_street_token("проспект Космонавтов 15") == "космонавтов" + assert estimator._extract_street_token("пер. Банковский, 8а") == "банковский" + # Нет типа улицы → распознать нельзя → пусто (безопасный fallback, лот уникален). + assert estimator._extract_street_token("Екатеринбург, ЖК Дружба") == "" + assert estimator._extract_street_token("") == "" + assert estimator._extract_street_token(None) == "" + + +def test_dedup_collapses_three_source_formats(monkeypatch: pytest.MonkeyPatch) -> None: + # Прод-дефект (оценка d5fc3841): один физлот 33.6 м²/этаж 3/4.0М показан + # как 3 аналога — cadnum пуст у всех троих, адреса в трёх форматах. + monkeypatch.setattr(estimator.settings, "estimate_dedup_analogs_enabled", True) + lots = [ + _lot( + source="cian", + address="р-н Кировский, мкр. ЖБИ, улица Сыромолотова, 11", + area=33.6, + price=4_000_000, + floor=3, + cad=None, + ), + _lot( + source="domklik", + address="Россия, Екатеринбург, ЖБИ м-н, улица Сыромолотова", + area=33.6, + price=4_000_000, + floor=3, + cad=None, + ), + _lot( + source="yandex", + address="Екатеринбург, улица Сыромолотова, 11", + area=33.6, + price=4_000_000, + floor=3, + cad=None, + ), + ] + out = estimator._dedup_cross_source(lots) + assert len(out) == 1 # один физлот, не три + + +def test_dedup_merges_cadnum_asymmetry_same_street(monkeypatch: pytest.MonkeyPatch) -> None: + # У одного cadnum есть, у другого нет, адрес совпадает → сливаются по + # street-композиту (#2265: union по любому совпавшему ключу). + monkeypatch.setattr(estimator.settings, "estimate_dedup_analogs_enabled", True) + lots = [ + _lot( + source="cian", + address="улица Сыромолотова, 11", + area=33.6, + price=4_000_000, + floor=3, + cad="66:41:0601011:1234", + ), + _lot( + source="domklik", + address="ЖБИ м-н, улица Сыромолотова", + area=33.6, + price=4_000_000, + floor=3, + cad=None, + ), + ] + out = estimator._dedup_cross_source(lots) + assert len(out) == 1 + + +def test_dedup_distinct_cadnums_same_metrics_do_not_merge( + monkeypatch: pytest.MonkeyPatch, +) -> None: + # Две башни на одной улице с одинаковыми floor/area/price, но РАЗНЫМИ + # кадастрами — авторитетный сигнал разных зданий → НЕ сливаем. + monkeypatch.setattr(estimator.settings, "estimate_dedup_analogs_enabled", True) + lots = [ + _lot( + source="cian", + address="улица Сыромолотова, 11", + area=33.6, + price=4_000_000, + floor=3, + cad="66:41:0601011:1234", + ), + _lot( + source="avito", + address="улица Сыромолотова, 13", + area=33.6, + price=4_000_000, + floor=3, + cad="66:41:0601011:9999", + ), + ] + out = estimator._dedup_cross_source(lots) + assert len(out) == 2 + + +def test_dedup_same_street_different_metrics_stay_distinct( + monkeypatch: pytest.MonkeyPatch, +) -> None: + # Разные лоты на одной улице с разной ценой/площадью/этажом → остаются + # разными (защита от over-merge при отсутствии cadnum). + monkeypatch.setattr(estimator.settings, "estimate_dedup_analogs_enabled", True) + lots = [ + _lot(source="cian", address="улица Сыромолотова, 11", area=33.6, price=4_000_000, floor=3), + _lot(source="avito", address="улица Сыромолотова, 11", area=45.0, price=6_500_000, floor=8), + ] + out = estimator._dedup_cross_source(lots) + assert len(out) == 2