feat(tradein/estimator): кросс-source физдедуп аналогов за флагом (#2087 H4) #2173

Merged

lekss361 merged 2 commits from fix/tradein-analog-dedup-cv into main

2026-07-02 18:04:39 +00:00

lekss361 commented

2026-07-02 17:23:59 +00:00

Owner

Summary

#2087 H4 — кросс-source физический дедуп аналогов. Один физлот, кросс-запостенный на avito+cian+domklik, имеет разные source/source_id → existing radius-дедуп по (source, source_id) его НЕ ловит → n_analogs и source_counts раздуты кросс-постами.
_dedup_cross_source схлопывает дубли по физическому ключу building_cadastral | нормализованный address + floor + area-bucket round(m²) + price-bucket round(₽/100k) ДО подсчёта n_analogs/median/cv, оставляя свежайшего (scraped_at) представителя. «Лот считается один раз».
За флагом estimate_dedup_analogs_enabled (default OFF = байт-идентично; регресс-гейт зелёный).
out-рычаг (post-weight MAD-clip, estimate_sb_clip_after_weight) — УЖЕ default ON в проде, ничего менять не потребовалось.

Бэктест #1966 (400 ДКП, full spine, OFF vs ON, тот же детерминир. сэмпл, прод-контейнер)

Метрика	OFF	ON
overall MAPE	13.89%	13.89%
coverage	83.33%	83.33%
bias	−3.83%	−3.83%
median width	0.743	0.743
median cv	0.0988	0.0988
avg n_analogs	27.64	27.57

per-rooms MAPE идентичны (студия 18.93 / 1к 11.95 / 2к 17.4 / 3к 12.27). Дедуп отработал 107× на 335 оценках (OFF: 0×).

Вывод: кросс-посты имеют identical price → нулевой вклад в дисперсию → cv/коридор НЕ сужаются. Это фикс честности счёта (n_analogs не раздут ×3, source_counts по физлотам), accuracy-нейтральный, а НЕ рычаг cv-сужения. Рычаг cv→коридор — estimate_sb_clip_after_weight (уже ON).

Рекомендация default: OFF — narrowing не продемонстрирован бэктестом (гейт «держит accuracy И сужает коридор» выполнен только наполовину); флаг готов к canary/монкипатч-бэктесту; включение = решение продукта (меняет user-visible n_analogs).

Test plan

ruff check зелёно, pre-commit passed
tests/test_estimator_dedup_cross_source_2087.py (10 юнитов: физключ, представитель, флаг OFF=no-op, дубли схлопываются / не-дубли нет)
175 estimator+backtest тестов зелёно, вкл. test_backtest_regression_gate (флаг OFF байт-идентичен)

Refs #2087

## Summary - **#2087 H4** — кросс-source физический дедуп аналогов. Один физлот, кросс-запостенный на avito+cian+domklik, имеет разные `source`/`source_id` → existing radius-дедуп по `(source, source_id)` его НЕ ловит → `n_analogs` и `source_counts` раздуты кросс-постами. - `_dedup_cross_source` схлопывает дубли по физическому ключу `building_cadastral | нормализованный address + floor + area-bucket round(m²) + price-bucket round(₽/100k)` ДО подсчёта `n_analogs/median/cv`, оставляя свежайшего (`scraped_at`) представителя. «Лот считается один раз». - За флагом `estimate_dedup_analogs_enabled` (**default OFF** = байт-идентично; регресс-гейт зелёный). - `out`-рычаг (post-weight MAD-clip, `estimate_sb_clip_after_weight`) — УЖЕ default ON в проде, ничего менять не потребовалось. ## Бэктест #1966 (400 ДКП, full spine, OFF vs ON, тот же детерминир. сэмпл, прод-контейнер) | Метрика | OFF | ON | |---|---|---| | overall MAPE | 13.89% | 13.89% | | coverage | 83.33% | 83.33% | | bias | −3.83% | −3.83% | | median width | 0.743 | 0.743 | | median cv | 0.0988 | 0.0988 | | avg n_analogs | 27.64 | 27.57 | per-rooms MAPE идентичны (студия 18.93 / 1к 11.95 / 2к 17.4 / 3к 12.27). Дедуп отработал **107×** на 335 оценках (OFF: 0×). **Вывод:** кросс-посты имеют identical price → нулевой вклад в дисперсию → cv/коридор НЕ сужаются. Это фикс **честности счёта** (n_analogs не раздут ×3, source_counts по физлотам), **accuracy-нейтральный**, а НЕ рычаг cv-сужения. Рычаг cv→коридор — `estimate_sb_clip_after_weight` (уже ON). **Рекомендация default:** OFF — narrowing не продемонстрирован бэктестом (гейт «держит accuracy И сужает коридор» выполнен только наполовину); флаг готов к canary/монкипатч-бэктесту; включение = решение продукта (меняет user-visible n_analogs). ## Test plan - [x] `ruff check` зелёно, pre-commit passed - [x] `tests/test_estimator_dedup_cross_source_2087.py` (10 юнитов: физключ, представитель, флаг OFF=no-op, дубли схлопываются / не-дубли нет) - [x] 175 estimator+backtest тестов зелёно, вкл. `test_backtest_regression_gate` (флаг OFF байт-идентичен) Refs #2087

Rows
Columns