lekss361/gendesign

Fork 0

[tradein] A: Query-side guard вторички — estimator/asking_to_sold/matview не должны читать novostroyki из listings #1186

New issue

Closed

opened 2026-06-12 08:39:23 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-06-12 08:39:23 +00:00

Owner

Часть плана «парсим все сегменты, фильтруем на чтении» (Anton, 2026-06-12). Шаг 1 из 4 (A→B #след., C, D). ⚠️ Это не подготовка, а багфикс: avito-sweep не имеет scrape-time фильтра сегмента → строки listing_segment='novostroyki' уже есть в проде, а читатели listings не guard'ятся → comps estimator'а возможно уже подмешаны первичкой.

Ground truth

listing_segment колонка существует (миграция 011), значения 'vtorichka'/'novostroyki'/NULL (NULL = строки до 011, по построению вторичка — sweep'ы были secondary-only).
cian.py:583-584 / yandex_realty.py:521 фильтруют на scrape (пока), avito.py:727-728 только маркирует segment, НЕ фильтрует.

Scope

Инвентаризация: rg "FROM listings" -t py по tradein-backend + rg -i "from listings" tradein-mvp/backend/data/sql/ — таблица ВСЕХ читателей в PR body: file:line → вердикт (нужен guard / не нужен + почему).
Guard-предикат (КАНОН): AND (listing_segment IS NULL OR listing_segment = 'vtorichka') — НЕ = 'vtorichka' (иначе выкинем NULL-строки до-011 и сузим comps). Комментарий у каждого guard'а.
Применить guard минимум в: estimator.py (fetch_analogs и все listings-SELECT'ы comps), tasks/asking_to_sold_ratio.py (re-derive SQL), search matview (refresh_search_matview) — если matview кормит UI-выдачу estimator-контекста; миграция нового определения matview если SQL в data/sql (NN idempotent, авто-applied!).
Тесты: estimator-тест «новостройка в listings НЕ попадает в аналоги»; существующие тесты не ломать.

DoD

Инвентаризационная таблица в PR body, каждый читатель разобран.
Guard'ы с каноничным предикатом + комменты.
Полный pytest tradein-backend (меняем estimator — shared!), ruff.
Поведение для текущих НЕ-novostroyki данных не изменилось (NULL включены).

Effort: M · Блокирует: B (полная загрузка), C (API segment) · Связано: ADR market-слой, #944 (#952 supply)

**Часть плана «парсим все сегменты, фильтруем на чтении» (Anton, 2026-06-12).** Шаг 1 из 4 (A→B #след., C, D). ⚠️ Это не подготовка, а **багфикс**: avito-sweep не имеет scrape-time фильтра сегмента → строки `listing_segment='novostroyki'` уже есть в проде, а читатели listings не guard'ятся → comps estimator'а возможно уже подмешаны первичкой. ## Ground truth - `listing_segment` колонка существует (миграция 011), значения `'vtorichka'/'novostroyki'/NULL` (NULL = строки до 011, по построению вторичка — sweep'ы были secondary-only). - cian.py:583-584 / yandex_realty.py:521 фильтруют на scrape (пока), avito.py:727-728 только маркирует segment, НЕ фильтрует. ## Scope 1. **Инвентаризация:** `rg "FROM listings" -t py` по tradein-backend + `rg -i "from listings" tradein-mvp/backend/data/sql/` — таблица ВСЕХ читателей в PR body: file:line → вердикт (нужен guard / не нужен + почему). 2. **Guard-предикат (КАНОН):** `AND (listing_segment IS NULL OR listing_segment = 'vtorichka')` — НЕ `= 'vtorichka'` (иначе выкинем NULL-строки до-011 и сузим comps). Комментарий у каждого guard'а. 3. Применить guard минимум в: `estimator.py` (_fetch_analogs и все listings-SELECT'ы comps), `tasks/asking_to_sold_ratio.py` (re-derive SQL), search matview (`refresh_search_matview`) — если matview кормит UI-выдачу estimator-контекста; миграция нового определения matview если SQL в data/sql (NN_ idempotent, авто-applied!). 4. Тесты: estimator-тест «новостройка в listings НЕ попадает в аналоги»; существующие тесты не ломать. ## DoD - Инвентаризационная таблица в PR body, каждый читатель разобран. - Guard'ы с каноничным предикатом + комменты. - **Полный pytest** tradein-backend (меняем estimator — shared!), ruff. - Поведение для текущих НЕ-novostroyki данных не изменилось (NULL включены). **Effort:** M · Блокирует: B (полная загрузка), C (API segment) · Связано: ADR market-слой, #944 (#952 supply)

lekss361 referenced this issue

2026-06-12 08:40:04 +00:00

[tradein] B: Полная загрузка всех сегментов — secondary_only=False (cian/yandex), верификация avito #1187

lekss361 referenced this issue

2026-06-12 08:40:10 +00:00

[tradein] C: API-параметр segment=vtorichka|novostroyki|all в выдаче listings #1188

lekss361 referenced this issue

2026-06-12 08:40:21 +00:00

[tradein] D: QA полной загрузки сегментов на проде — counts, стабильность estimator, EXPLAIN → решение об индексе #1189

lekss361 referenced this issue

2026-06-12 08:40:37 +00:00

[market-слой] F: GRANT listings для gendesign_reader — unit-level квартиры доступны Site Finder'у запросом #1191

lekss361 added the

labels 2026-06-12 08:40:51 +00:00

bot-backend referenced this issue from a commit

2026-06-12 09:01:30 +00:00

fix(tradein): guard listing_segment во всех читателях listings — novostroyki вне comps (#1186)

bot-backend referenced this issue from a commit

2026-06-12 09:01:30 +00:00

refactor(tradein): убрать dead listing_segment param из _fetch_anchor_comps + негативные guard-asserts (review fixup, #1186)

lekss361 referenced this issue

2026-06-12 09:01:58 +00:00

fix(tradein): guard listing_segment во всех оценочных читателях listings — novostroyki вне comps (#1186) #1192

lekss361 added

status/review

and removed

status/ready

labels 2026-06-12 09:02:11 +00:00

lekss361 referenced this issue

2026-06-12 09:05:49 +00:00

feat(market): GRANT listings + offer_price_history → gendesign_reader (#1191) #1193

lekss361 referenced this issue from a commit

2026-06-12 09:06:29 +00:00

Merge pull request 'fix(tradein): guard listing_segment во всех оценочных читателях listings — novostroyki вне comps (#1186)' (#1192) from fix/tradein-segment-guards into main

bot-backend commented

2026-06-14 15:11:27 +00:00

Collaborator

qa ✅: novostroyki query-side guard задеплоен в prod tradein-backend — подтверждено в asking_to_sold_ratio.py (6 мест, коммент novostroyki guard (#1186)), sber_index.py:397, estimator.py. Скраперы тегируют listing_segment на scrape-time (avito.py:728, cian.py:340). Read-side фильтрация на существующих данных (не зависит от scraping/browser) → verifiable. PR #1192/#1193 merged. Закрываю.

qa ✅: novostroyki query-side guard задеплоен в prod tradein-backend — подтверждено в `asking_to_sold_ratio.py` (6 мест, коммент `novostroyki guard (#1186)`), `sber_index.py:397`, `estimator.py`. Скраперы тегируют `listing_segment` на scrape-time (avito.py:728, cian.py:340). Read-side фильтрация на существующих данных (не зависит от scraping/browser) → verifiable. PR #1192/#1193 merged. Закрываю.

bot-backend closed this issue

2026-06-14 15:11:28 +00:00

bot-backend referenced this issue

2026-06-14 18:09:12 +00:00

(medium) asking→sold ratio: в asking-медиану попадают новостройки (нет listing_segment guard в seed-миграциях 080/098) #1364

lekss361 referenced this issue

2026-06-15 11:14:21 +00:00

(medium) asking→sold ratio: в asking-медиану попадают новостройки (нет listing_segment guard в seed-миграциях 080/098) #1364

lekss361 referenced this issue

2026-06-17 18:51:00 +00:00

feat(tradein): segment=vtorichka|novostroyki|all on listings search (#1188) #1710