fix(objective): physflat-dedup objective_lots — view + inline (request-path) + n_sold window-fix (#1964) #2032

Merged

bot-backend merged 2 commits from fix/objective-lots-dedup-1964 into main

2026-06-28 00:21:46 +00:00

bot-backend commented

2026-06-28 00:07:06 +00:00

Collaborator

Закрывает #1964 (эпик #1953). deep-review базы ✅ + code-review дельты ✅. Прод-verified.

Корень (переаттрибуция)

objective_lots НЕ append-per-snapshot (lot_id UNIQUE, 5 snapshot_dates) — Objective даёт несколько lot_id одной физ-квартире (ре-листинги) → 2.91× (1.75M строк / 603k физ-квартир). История — отдельная objective_lots_history (не тронута). #1959 уже дедупнул горячий forecast-путь (compute_market_metrics + 9 консьюмеров) — не дублировал.

Что

Миграция 175 v_objective_lots_latest (DISTINCT ON физ-ключа, latest snapshot). Прод: 603k vs 1.75M, колонки 51==51.
Репойнт на view — batch/cached/background консьюмеры: supply_layers._L1_OPEN_SQL (главный — 3× over-count в дефицит-прогноз), competitors._SOLD_COUNT_SQL, special_indices (в /forecast background-таске), admin, landing.
Inline DISTINCT ON (фильтр пушится в CTE) — 4 request-path консьюмера в analyze_parcel (concepts median, parcels district price + geo-median + obj_pricing). Почему не view: view выбирает ol.* → Index-Only-Unique невозможен, планировщик игнорит full-индекс (142МБ write-amp за ноль выгоды, доказано EXPLAIN); inline пушит district/geo/project-фильтр на существующие индексы. EXPLAIN: 5854мс (view) → 122-1640мс (inline), те же дедуп-значения.
n_sold window-fix: report_assembler._deal_count = n_sold (cumulative all-time ~380k) → round(unit_velocity × window_months) (windowed ~24.9k EKB/6мес) → честный лейбл «за 6 мес» + рабочий gate (high≥50).

Безопасность / blast-radius

Дефицит-прогноз НЕ регрессирует: #1959 per-segment supply = deduped market_metrics (не тронут); L1-репойнт чинит асимметрию НЕ-сегментного агрегата (supply был раздут, demand уже deduped). Прод: Академический supply комфорт 9149/стандарт 9001, demand 1398/631 → дифференцируется.
Счётчики падают ~3× (реальные физ-квартиры), рейшио стабильны (симметричная инфляция). 2 обоснованные девиации: competitors COUNT(DISTINCT lot_id) (fan-out safety), admin raw lots+новое lots_physflat (ETL-fidelity). Истории/лоадера не трогаем.
ruff ✅; mypy (strict-scope) ✅; no :name::type; 965 passed (+5 guard-тестов: view/inline-пушдаун, n_sold windowed). Без OpenAPI-изменений.

Closes #1964.

Закрывает #1964 (эпик #1953). **deep-review базы ✅ + code-review дельты ✅.** Прод-verified. ## Корень (переаттрибуция) `objective_lots` НЕ append-per-snapshot (lot_id UNIQUE, 5 snapshot_dates) — Objective даёт **несколько lot_id одной физ-квартире** (ре-листинги) → **2.91×** (1.75M строк / 603k физ-квартир). История — отдельная `objective_lots_history` (не тронута). #1959 уже дедупнул горячий forecast-путь (`compute_market_metrics` + 9 консьюмеров) — не дублировал. ## Что - **Миграция 175** `v_objective_lots_latest` (`DISTINCT ON` физ-ключа, latest snapshot). Прод: 603k vs 1.75M, колонки 51==51. - **Репойнт на view** — batch/cached/background консьюмеры: `supply_layers._L1_OPEN_SQL` (главный — 3× over-count в дефицит-прогноз), `competitors._SOLD_COUNT_SQL`, `special_indices` (в /forecast background-таске), admin, landing. - **Inline `DISTINCT ON`** (фильтр пушится в CTE) — 4 **request-path** консьюмера в `analyze_parcel` (concepts median, parcels district price + geo-median + obj_pricing). **Почему не view:** view выбирает `ol.*` → Index-Only-Unique невозможен, планировщик игнорит full-индекс (142МБ write-amp за ноль выгоды, доказано EXPLAIN); inline пушит district/geo/project-фильтр на существующие индексы. EXPLAIN: **5854мс (view) → 122-1640мс (inline)**, те же дедуп-значения. - **n_sold window-fix**: `report_assembler._deal_count` = `n_sold` (cumulative all-time ~380k) → `round(unit_velocity × window_months)` (windowed ~24.9k EKB/6мес) → честный лейбл «за 6 мес» + рабочий gate (high≥50). ## Безопасность / blast-radius - **Дефицит-прогноз НЕ регрессирует**: #1959 per-segment supply = deduped market_metrics (не тронут); L1-репойнт чинит асимметрию НЕ-сегментного агрегата (supply был раздут, demand уже deduped). Прод: Академический supply комфорт 9149/стандарт 9001, demand 1398/631 → дифференцируется. - Счётчики падают ~3× (реальные физ-квартиры), рейшио стабильны (симметричная инфляция). 2 обоснованные девиации: competitors `COUNT(DISTINCT lot_id)` (fan-out safety), admin raw `lots`+новое `lots_physflat` (ETL-fidelity). Истории/лоадера не трогаем. - ruff ✅; mypy (strict-scope) ✅; no `:name::type`; **965 passed** (+5 guard-тестов: view/inline-пушдаун, n_sold windowed). Без OpenAPI-изменений. Closes #1964.

bot-backend added 2 commits 2026-06-28 00:07:07 +00:00

fix(objective): physflat-dedup current-state consumers + honest n_sold window (#1964 ) e67cb721bf

objective_lots — current-state UPSERT (UNIQUE objective_lot_id, 5 snapshot_date),
но Объектив присваивает ОДНОМУ физлоту (project,corpus,section,floor,lot_number)
несколько lot_id за пере-листинги → таблица раздута ~2.91× (прод: 1.75M квартир-
строк vs 603k физлотов). История — в отдельной objective_lots_history (не трогаем).

STEP 1: миграция 175 — VIEW v_objective_lots_latest (DISTINCT ON physflat-ключ,
последний снапшот). ol.* стабилен (51==51 колонок). DRY-RUN на проде: 603 049
квартир vs 1 753 283 raw.

STEP 2: репойнт current-state консьюмеров objective_lots → v_objective_lots_latest:
- supply_layers._L1_OPEN_SQL (L1 открытое предложение → дефицит-форсайт; прод:
  Юго-Западный комфорт 58 606 → 12 620)
- competitors._SOLD_COUNT_SQL (+ комментарий: COUNT(DISTINCT lot_id) СОХРАНЁН для
  fan-out-защиты маппинга, не COUNT(*) — view гарантирует physflat-дедуп, DISTINCT
  гарантирует mapping-fan-out-safety)
- parcels.py obj_pricing CTE (карточка конкурента units_sold/available)
- special_indices._ARTIFICIAL_DEMAND_SQL
- parcels.py district price block + geo-radius median (sample_size/n)
- concepts._OBJECTIVE_MEDIAN_SQL (гейт n≥10)
- landing KPI3 (% квартир с ценой)
- admin_scrape coverage: `lots` оставлен сырым (ETL-fidelity vs SQLite), добавлен
  `lots_physflat`
#1959 inline-дедуп в market_metrics НЕ рефакторим — добавлен комментарий об общем
physflat-ключе с view.

STEP 3: report_assembler._deal_count теперь = unit_velocity × window_months
(оконные продажи), НЕ кумулятивный n_sold. confidence_engine помечает фактор
«за 6 мес» и гейтит порогами окна (high≥50) — кумулятив (прод EKB ~380 921) делал
гейт бессмысленным и подпись лживой; оконное (~24 876 за 6 мес) честно.

Тесты: +guard'ы (L1/sold-count читают view, deal_count оконный). 963 passed.

perf(objective): request-path consumers dedup inline, not via whole-table view (#1964 )

CI / changes (pull_request) Successful in 6s

Details

CI / frontend-tests (pull_request) Has been skipped

Details

CI / openapi-codegen-check (pull_request) Successful in 1m49s

Details

CI / backend-tests (pull_request) Successful in 13m58s

Details

74f1ffb500

deep-review #1964: v_objective_lots_latest has NO premise/district filter inside,
so a consumer's outer WHERE cannot push below DISTINCT ON → the view materializes
the WHOLE table (Parallel Seq Scan + external Sort 1.76M rows, ~55MB spill) on
every query. For REQUEST-PATH consumers inside analyze_parcel this is a ~19x latency
regression vs the pre-#1964 raw-table plan.

DISPROVEN remedy (NOT applied): a full index on the physflat-key does NOT help —
DISTINCT ON selects ol.* (51 cols, width≈945) so index-only-unique is impossible;
the planner ignores the index (seq-scan+sort still cheaper) and even forced it is
~3.9 s. A 142MB index for zero request-path benefit + slower bulk-INSERT during
objective-scrape is wrong. Honors original #1964 decision "no new index".

Prod EXPLAIN (Академический / 3km radius, 2026-06-28):
  consumer            via view      inline (this commit)
  concepts median     5854 ms       1640 ms   (bitmap district + sort)
  parcels district    5854 ms       1640 ms
  parcels geo-median  6443 ms        122 ms   (NestedLoop geo->complex bitmap)
  parcels obj_pricing 5721 ms        441 ms   (project bitmap per nearby ЖК)

FIX: keep v_objective_lots_latest ONLY for batch/background/cached consumers
(supply_layers L1, competitors._SOLD_COUNT_SQL, special_indices [/forecast bg task
30-180s], admin, landing). Revert the 4 request-path consumers inside analyze_parcel
to inline DISTINCT ON (physflat-key, latest snapshot) with the filter pushed INTO the
CTE so the district/spatial/project index applies:
- concepts._OBJECTIVE_MEDIAN_SQL
- parcels.py district price block
- parcels.py geo-radius median (complex_id-scoped)
- parcels.py obj_pricing CTE (project_name-scoped; aggregates over deduped set)

Migration 175 header CORRECTED: accurately states the partial mig-173 index does NOT
serve the view (qual can't push below DISTINCT ON), the full index is disproven/not
added, and which consumers use the view vs inline. No DDL change (still view-only).

Tests: +guards (concepts/obj_pricing dedup inline, not view; obj_pricing physflat
DISTINCT ON; perf-pushdown scope preserved). 965 passed.