lekss361/gendesign
1
0
Fork 0
Code Issues 57 Pull requests Projects Releases Packages Wiki Activity Actions

feat(objective): активировать data goldmine — 303k lots, 81% цен, mapping backfill (P0) #307

New issue
Closed
opened 2026-05-17 15:27:09 +00:00 by lekss361 · 4 comments
lekss361 commented 2026-05-17 15:27:09 +00:00
Owner
Copy link

Severity: P0

Big finding 2026-05-17: у нас уже скрапается 303 677 квартир через Objective с 81.4% покрытием цен. Но:

  • 84% mapping'ов в objective_complex_mapping отсутствуют (129 из ~800)
  • bank_name 100% NULL (scraper не маппит из payload)
  • Site Finder ищет цены в domrf_kn_flats (0.3% покрытие) вместо objective_lots (81%)
  • TradeIn Estimator brief писал «нужны 7 внешних API» — на самом деле Objective покрывает Свердл

Решение: ~10 рабочих дней backend, без новых скраперов, без новых таблиц — активация существующих данных.

Подзадачи

🔴 OBJ-1 — Mapping fix bank_name / encumbrance_* в scraper (P1, 1d)

objective_lots schema имеет bank_name, encumbrance_type, encumbrance_start_date — но 0 значений в 303k строк.

Audit: запросить raw payload Objective API (через objective_raw_reports если будет заполнен, или live request), сравнить с маппингом в objective_backfill.py. Скорее всего поле есть в payload, scraper его не извлекает (то же что было с energy_eff в DOM.РФ).

Acceptance: ≥50% sold lots с заполненным bank_name после следующего sync.

🔴 OBJ-2 — Massive backfill objective_complex_mapping (P0, 2d)

Сейчас 129 mappings. Нужно: ~800 (покрытие 90%+ ЖК Свердл).

Алгоритм:

  1. Получить distinct (project_name, developer, district) из objective_lots (не в mapping)
  2. Для каждого — fuzzy match с domrf_kn_objects.comm_name + dev_name + district_name (pg_trgm)
  3. Записать match с match_score, match_method='auto'
  4. Manual review топ-100 (sample 1-2 часа)
  5. REFRESH mv_layout_velocity

Acceptance: mapping.count() >= 800, Малевич → obj_id=64701 присутствует. После REFRESH MV — Малевич показывается в Site Finder velocity для PRINZIP.

Note: Связано с issue #295 (weighted AVG в MV — должно быть исправлено до этого backfill, иначе площади будут продолжать ехать).

🔴 OBJ-3 — Site Finder migration на Objective ground truth (P0, 1.5d)

backend/app/services/site_finder/best_layouts.py и competitors.py сейчас используют:

  • domrf_kn_flats.price_rub — 0.3% coverage
  • mv_layout_velocity (унаследовано от Objective с weighted AVG bug #295)

После OBJ-2 (mapping backfill) — поменять источник на objective_lots напрямую для:

  • Цены квартир (price_per_m2_rub, price_calculated_total_rub)
  • Статус продажи (is_sold, status)
  • Тип сделки (contract_type)
  • Аналитика по комнатности (rooms_int + area_pd)

Acceptance: На участке 66:41:0204016:10 все блоки конкурентов / Best Layouts показывают реалистичные цены (~110-220 тыс ₽/м² вместо «3-к за 30 тыс»), площади (28-80 м² вместо «студия 12 м²»).

🔴 OBJ-4 — TradeIn Estimator MVP на Objective (P0, 2-3d, упрощение)

code/patterns/TradeIn_Estimator_Brief_May17.md Phase 1 MVP писал «нужны 7 внешних API» (Cian/Avito/ДомКлик/Yandex/Дом.РФ/Restate/N1) — это 2-3 недели работы со скрапингом.

Реальность: objective_lots покрывает Свердл с 81% ground truth — нужен только агрегатор + UI + PDF.

Action:

  1. Обновить TradeIn brief с упрощённой архитектурой (vault edit)
  2. MVP за 5 дней: form ввода → SQL aggregate из objective_lots по фильтрам адреса/площади/комнат → DiapазON цен + analogs + actual deals + PDF
  3. Внешние API (Cian/Avito) — только для регионов вне Объектива

Acceptance: Working /trade-in page с формой + результатом, 3 sample addresses в Екб дают реалистичную оценку ±15% от рынка.

🟡 OBJ-5 — objective_scrape_runs пустое (P2, 0.5d)

Schema готова, но 0 строк. Heartbeat либо не пишется (bug), либо пишется в другое место. Нужно verify run history существует — иначе нельзя trace когда упал sync.

Acceptance: После следующего вторничного sync — в таблице ≥1 строка с status='done' или 'failed' + heartbeat.

🟢 OBJ-6 — objective_lots_history для time-series (P2, 1d)

Заполнение lots_history при каждом sync для трекинга:

  • Изменение цены лота (price_delta_pct per snapshot_date)
  • Переход status free → reserved → sold
  • Длительность экспозиции (sales_start_date → contract_date)

Pattern: на каждый sync — INSERT в history если diff с предыдущим snapshot.

Use case: «Видеть как менялись цены на квартиру X за 12 мес» для TradeIn / для аналитики дев-стратегий.

🟢 OBJ-7 — objective_raw_reports для audit (P2, 0.5d)

Сохранять raw payload API в JSONB для:

  • Debug new field mappings (как OBJ-1)
  • Backfill после schema change

Pattern аналогичный domrf_raw_endpoints.

Зависимости

OBJ-1 (mapping fix bank_name)     — независимо, в любое время
OBJ-2 (massive mapping backfill)  — должно быть после #295 weighted AVG fix
  ↓
OBJ-3 (Site Finder migration)     — зависит от OBJ-2 (без mapping JOIN не даёт результат)
  ↓
OBJ-4 (TradeIn MVP)               — может параллельно с OBJ-3, если есть отдельный worker

OBJ-5/6/7 — operational improvements, независимо, любое время

Связь с другими issues

  • #295 weighted AVG MV — должен быть до OBJ-2 (иначе backfill mapping вернёт ту же broken aggregation)
  • #297 DOM.РФ scraper — sub-task 22d (catalog scraper для цен) становится obsolete после OBJ-3. Можно закрыть 22d как «cancelled — цены через Objective».
  • TradeIn brief — переписать (OBJ-4 == упрощение)
  • mv_layout_velocity definition — может стать proxy view над objective_lots напрямую, если решим что MV больше не нужен. (Отдельное решение — не в scope этого issue.)

Полный inventory данных Objective

См. vault code/patterns/Objective_Data_Source_May17.md — single source of truth с описанием всех 7 таблиц, coverage метриками и structure.

Total effort

Sub-task Effort Priority Worker
OBJ-1 1d P1 backend-engineer
OBJ-2 2d P0 database-expert + backend-engineer
OBJ-3 1.5d P0 backend-engineer + frontend-engineer
OBJ-4 2-3d P0 full-stack
OBJ-5 0.5d P2 backend-engineer
OBJ-6 1d P2 backend-engineer
OBJ-7 0.5d P2 backend-engineer
Total ~10d

Параллелизация

  • Wave 1 (1 неделя): OBJ-1 + OBJ-2 + #295 (worktree, разные file scopes)
  • Wave 2 (1 неделя): OBJ-3 + OBJ-4 (worktree)
  • Wave 3: OBJ-5/6/7 в фоне

ROI

DOM.РФ scraper roadmap (issue #297) занимает 13 дней для покрытия новых полей с 30% → 95%.

Objective roadmap занимает 10 дней для активации того, что уже скрапится — покрытие цен с 0.3% → 81%, открытие 303k lots для downstream.

ROI Objective работ выше.

Discovered: 2026-05-17 by Ghost в ходе DOM.РФ field audit.

## Severity: P0 **Big finding 2026-05-17**: у нас уже скрапается **303 677 квартир** через Objective с **81.4% покрытием цен**. Но: - 84% mapping'ов в `objective_complex_mapping` отсутствуют (129 из ~800) - `bank_name` 100% NULL (scraper не маппит из payload) - Site Finder ищет цены в `domrf_kn_flats` (0.3% покрытие) вместо `objective_lots` (81%) - TradeIn Estimator brief писал «нужны 7 внешних API» — на самом деле Objective покрывает Свердл **Решение**: ~10 рабочих дней backend, без новых скраперов, без новых таблиц — **активация существующих данных**. ## Подзадачи ### 🔴 OBJ-1 — Mapping fix `bank_name` / `encumbrance_*` в scraper (P1, 1d) `objective_lots` schema имеет `bank_name`, `encumbrance_type`, `encumbrance_start_date` — **но 0 значений в 303k строк**. Audit: запросить raw payload Objective API (через `objective_raw_reports` если будет заполнен, или live request), сравнить с маппингом в `objective_backfill.py`. Скорее всего поле есть в payload, scraper его не извлекает (то же что было с `energy_eff` в DOM.РФ). **Acceptance**: ≥50% sold lots с заполненным `bank_name` после следующего sync. ### 🔴 OBJ-2 — Massive backfill `objective_complex_mapping` (P0, 2d) Сейчас 129 mappings. Нужно: **~800** (покрытие 90%+ ЖК Свердл). Алгоритм: 1. Получить distinct `(project_name, developer, district)` из `objective_lots` (не в mapping) 2. Для каждого — fuzzy match с `domrf_kn_objects.comm_name + dev_name + district_name` (pg_trgm) 3. Записать match с `match_score`, `match_method='auto'` 4. Manual review топ-100 (sample 1-2 часа) 5. REFRESH `mv_layout_velocity` **Acceptance**: `mapping.count() >= 800`, `Малевич → obj_id=64701` присутствует. После REFRESH MV — Малевич показывается в Site Finder velocity для PRINZIP. **Note**: Связано с issue #295 (weighted AVG в MV — должно быть исправлено до этого backfill, иначе площади будут продолжать ехать). ### 🔴 OBJ-3 — Site Finder migration на Objective ground truth (P0, 1.5d) `backend/app/services/site_finder/best_layouts.py` и `competitors.py` сейчас используют: - `domrf_kn_flats.price_rub` — **0.3% coverage** - `mv_layout_velocity` (унаследовано от Objective с weighted AVG bug #295) После OBJ-2 (mapping backfill) — поменять источник на `objective_lots` напрямую для: - Цены квартир (`price_per_m2_rub`, `price_calculated_total_rub`) - Статус продажи (`is_sold`, `status`) - Тип сделки (`contract_type`) - Аналитика по комнатности (`rooms_int` + `area_pd`) **Acceptance**: На участке `66:41:0204016:10` все блоки конкурентов / Best Layouts показывают реалистичные цены (~110-220 тыс ₽/м² вместо «3-к за 30 тыс»), площади (28-80 м² вместо «студия 12 м²»). ### 🔴 OBJ-4 — TradeIn Estimator MVP на Objective (P0, 2-3d, упрощение) `code/patterns/TradeIn_Estimator_Brief_May17.md` Phase 1 MVP писал «нужны 7 внешних API» (Cian/Avito/ДомКлик/Yandex/Дом.РФ/Restate/N1) — это **2-3 недели работы со скрапингом**. **Реальность**: `objective_lots` покрывает Свердл с 81% ground truth — нужен только агрегатор + UI + PDF. Action: 1. Обновить TradeIn brief с упрощённой архитектурой (vault edit) 2. MVP за 5 дней: form ввода → SQL aggregate из `objective_lots` по фильтрам адреса/площади/комнат → DiapазON цен + analogs + actual deals + PDF 3. Внешние API (Cian/Avito) — только для регионов вне Объектива **Acceptance**: Working `/trade-in` page с формой + результатом, 3 sample addresses в Екб дают реалистичную оценку ±15% от рынка. ### 🟡 OBJ-5 — `objective_scrape_runs` пустое (P2, 0.5d) Schema готова, но 0 строк. Heartbeat либо не пишется (bug), либо пишется в другое место. Нужно verify run history существует — иначе нельзя trace когда упал sync. **Acceptance**: После следующего вторничного sync — в таблице ≥1 строка с `status='done'` или `'failed'` + heartbeat. ### 🟢 OBJ-6 — `objective_lots_history` для time-series (P2, 1d) Заполнение `lots_history` при каждом sync для трекинга: - Изменение цены лота (`price_delta_pct` per snapshot_date) - Переход status `free → reserved → sold` - Длительность экспозиции (sales_start_date → contract_date) Pattern: на каждый sync — INSERT в history если diff с предыдущим snapshot. **Use case**: «Видеть как менялись цены на квартиру X за 12 мес» для TradeIn / для аналитики дев-стратегий. ### 🟢 OBJ-7 — `objective_raw_reports` для audit (P2, 0.5d) Сохранять raw payload API в JSONB для: - Debug new field mappings (как OBJ-1) - Backfill после schema change Pattern аналогичный `domrf_raw_endpoints`. ## Зависимости ``` OBJ-1 (mapping fix bank_name) — независимо, в любое время OBJ-2 (massive mapping backfill) — должно быть после #295 weighted AVG fix ↓ OBJ-3 (Site Finder migration) — зависит от OBJ-2 (без mapping JOIN не даёт результат) ↓ OBJ-4 (TradeIn MVP) — может параллельно с OBJ-3, если есть отдельный worker OBJ-5/6/7 — operational improvements, независимо, любое время ``` ## Связь с другими issues - **#295** weighted AVG MV — должен быть до OBJ-2 (иначе backfill mapping вернёт ту же broken aggregation) - **#297** DOM.РФ scraper — sub-task 22d (catalog scraper для цен) **становится obsolete** после OBJ-3. Можно закрыть 22d как «cancelled — цены через Objective». - **TradeIn brief** — переписать (OBJ-4 == упрощение) - **`mv_layout_velocity`** definition — может стать proxy view над `objective_lots` напрямую, если решим что MV больше не нужен. (Отдельное решение — не в scope этого issue.) ## Полный inventory данных Objective См. vault `code/patterns/Objective_Data_Source_May17.md` — single source of truth с описанием всех 7 таблиц, coverage метриками и structure. ## Total effort | Sub-task | Effort | Priority | Worker | |---|---|---|---| | OBJ-1 | 1d | P1 | backend-engineer | | OBJ-2 | 2d | P0 | database-expert + backend-engineer | | OBJ-3 | 1.5d | P0 | backend-engineer + frontend-engineer | | OBJ-4 | 2-3d | P0 | full-stack | | OBJ-5 | 0.5d | P2 | backend-engineer | | OBJ-6 | 1d | P2 | backend-engineer | | OBJ-7 | 0.5d | P2 | backend-engineer | | **Total** | **~10d** | | | ## Параллелизация - **Wave 1** (1 неделя): OBJ-1 + OBJ-2 + #295 (worktree, разные file scopes) - **Wave 2** (1 неделя): OBJ-3 + OBJ-4 (worktree) - **Wave 3**: OBJ-5/6/7 в фоне ## ROI DOM.РФ scraper roadmap (issue #297) занимает **13 дней** для покрытия **новых** полей с 30% → 95%. Objective roadmap занимает **10 дней** для **активации того, что уже скрапится** — покрытие цен с 0.3% → 81%, открытие 303k lots для downstream. **ROI Objective работ выше**. Discovered: 2026-05-17 by Ghost в ходе DOM.РФ field audit.
lekss361 added the
data
site-finder
enhancement
 labels 2026-05-17 15:27:09 +00:00
lekss361 commented 2026-05-17 16:28:42 +00:00
Author
Owner
Copy link

Update — 2026-05-17: split на data-only vs UI track

OBJ-4 (TradeIn Estimator MVP) перенесён в отдельный issue для разделения треков:

  • Этот issue (#307) — теперь data-only: OBJ-1, OBJ-2, OBJ-3 (backend части), OBJ-5, OBJ-6, OBJ-7. Total: ~7 дней. 95% backend / SQL / ETL работ.
  • Новый issue для UI TradeIn MVP — frontend + thin backend + PDF. Total: ~5 дней. Зависит от закрытия OBJ-1 + OBJ-2 в этом issue.

Что меняется в этом issue

  • ❌ OBJ-4 (TradeIn MVP) — удалён из этого issue
  • ✅ OBJ-3 (Site Finder migration) — теперь backend-only (~1.5d), frontend codegen + минорные правки переносятся в OBJ-4 track или делаются автоматически как side-effect

Обновлённый total для этого issue

ID Effort Status
OBJ-1 (bank_name mapping) 1d P1
OBJ-2 (mapping backfill) 2d P0
OBJ-3 (Site Finder migration backend) 1d P0
OBJ-5 (scrape_runs heartbeat) 0.5d P2
OBJ-6 (lots_history) 1d P2
OBJ-7 (raw_reports audit) 0.5d P2
Total ~6d

Параллелизация

  • Wave 1 (1 неделя): OBJ-1 + OBJ-2 + #295 (3 параллельных worktree)
  • Wave 2: OBJ-3 backend
  • Wave 3: OBJ-5/6/7 в фоне

После Wave 2 — TradeIn MVP в новом issue может стартовать (другое окно).

Discovered: 2026-05-17 — User requested clean separation of data work from UI track.

## Update — 2026-05-17: split на data-only vs UI track **OBJ-4 (TradeIn Estimator MVP) перенесён в отдельный issue** для разделения треков: - **Этот issue (#307)** — теперь **data-only**: OBJ-1, OBJ-2, OBJ-3 (backend части), OBJ-5, OBJ-6, OBJ-7. **Total: ~7 дней**. 95% backend / SQL / ETL работ. - **Новый issue** для UI TradeIn MVP — frontend + thin backend + PDF. **Total: ~5 дней**. Зависит от закрытия OBJ-1 + OBJ-2 в этом issue. ### Что меняется в этом issue - ❌ OBJ-4 (TradeIn MVP) — **удалён** из этого issue - ✅ OBJ-3 (Site Finder migration) — теперь **backend-only** (~1.5d), frontend codegen + минорные правки переносятся в OBJ-4 track или делаются автоматически как side-effect ### Обновлённый total для этого issue | ID | Effort | Status | |---|---|---| | OBJ-1 (bank_name mapping) | 1d | P1 | | OBJ-2 (mapping backfill) | 2d | **P0** | | OBJ-3 (Site Finder migration backend) | 1d | **P0** | | OBJ-5 (scrape_runs heartbeat) | 0.5d | P2 | | OBJ-6 (lots_history) | 1d | P2 | | OBJ-7 (raw_reports audit) | 0.5d | P2 | | **Total** | **~6d** | | ### Параллелизация - Wave 1 (1 неделя): OBJ-1 + OBJ-2 + #295 (3 параллельных worktree) - Wave 2: OBJ-3 backend - Wave 3: OBJ-5/6/7 в фоне После Wave 2 — TradeIn MVP в новом issue может стартовать (другое окно). Discovered: 2026-05-17 — User requested clean separation of data work from UI track.
bot-backend commented 2026-06-13 14:04:15 +00:00
Collaborator
Copy link

Статус (2026-06-13): OBJ-2 + OBJ-3 done в проде; OBJ-1 defer (scraping).

Ground-truth показал drift с момента создания (May17): objective_lots 303k → 1.12M.

  • OBJ-3 (Site Finder читает objective_lots вместо domrf_kn_flats) ✅ DONE — objective_lots используется в supply_layers/market_metrics/competitors/velocity/future_supply/best_layouts.
  • OBJ-2 (mapping backfill) ✅ DONE в проде (PR #1310, миграция 150 применена): fuzzy-match objective↔domrf через pg_trgm на нормализованных именах, dev-corroborated порог (nsim≥0.62 AND dsim≥0.5). mapping 148 → 263 (+115, 107 high + 8 mid). mv_layout_velocity 555 → 885 rows (+330 — покрытие velocity выросло на 60%). Precision over recall для P0: generic-имена с разным застройщиком отклонены (Солнечный/Прекрасный/Стрелки). 115 матчей is_reviewed=false + confidence-tier в note → нужен human-review топ-кандидатов (особенно mid-tier).
  • OBJ-1 (bank_name/encumbrance mapping) 🟡 DEFER — objective_raw_reports=28 строк (мало), bank_name=0/1.12M. Требует (1) scraper-маппинга из raw payload + (2) больше raw_reports через sync — но external scraping на проде намеренно на паузе. Разблокируется при возобновлении scraping.

Остаётся для закрытия #307: OBJ-1 (scraping-blocked) + human-review 115 auto-mappings (опц., is_reviewed-флаг). Понизил бы severity P0→P1 — основная ценность (Site Finder на objective-ценах + расширенный mapping) уже в проде.

**Статус (2026-06-13): OBJ-2 + OBJ-3 done в проде; OBJ-1 defer (scraping).** Ground-truth показал drift с момента создания (May17): objective_lots **303k → 1.12M**. - **OBJ-3 (Site Finder читает objective_lots вместо domrf_kn_flats)** ✅ DONE — `objective_lots` используется в supply_layers/market_metrics/competitors/velocity/future_supply/best_layouts. - **OBJ-2 (mapping backfill)** ✅ DONE в проде (PR #1310, миграция 150 применена): fuzzy-match objective↔domrf через pg_trgm на нормализованных именах, dev-corroborated порог (nsim≥0.62 AND dsim≥0.5). **mapping 148 → 263** (+115, 107 high + 8 mid). **mv_layout_velocity 555 → 885 rows** (+330 — покрытие velocity выросло на 60%). Precision over recall для P0: generic-имена с разным застройщиком отклонены (Солнечный/Прекрасный/Стрелки). 115 матчей `is_reviewed=false` + confidence-tier в note → **нужен human-review топ-кандидатов** (особенно mid-tier). - **OBJ-1 (bank_name/encumbrance mapping)** 🟡 DEFER — `objective_raw_reports`=28 строк (мало), `bank_name`=0/1.12M. Требует (1) scraper-маппинга из raw payload + (2) больше raw_reports через sync — но external scraping на проде намеренно на паузе. Разблокируется при возобновлении scraping. **Остаётся для закрытия #307:** OBJ-1 (scraping-blocked) + human-review 115 auto-mappings (опц., is_reviewed-флаг). Понизил бы severity P0→P1 — основная ценность (Site Finder на objective-ценах + расширенный mapping) уже в проде.
bot-backend commented 2026-06-14 16:02:25 +00:00
Collaborator
Copy link

Прогресс по подзадачам (автономно, на существующих данных):

  • ✅ OBJ-2 — консервативный trgm-backfill objective_complex_mapping +23 near-exact (PR #1331, merged f9dd903). 286 маппингов, 18/23 сразу расширяют velocity MV. 133 на manual (задокументировано).
  • ✅ OBJ-3 — additive objective_lots price fallback для competitors (PR #1332). Открытие: на последнем snapshot domrf_kn_flats.price = 0 строк (скрапер перестал отдавать per-flat цены ~2026-06-03) → live price-сигнал SF был мёртв; fallback восстановил (262/263 mapped obj_id, median 136k руб/м²). best_layouts price уже был на objective. Веса/MV не тронуты.
  • ⏳ OBJ-1 (bank_name) — остаётся proxy-blocked: objective_raw_reports хранит только 28 агрегатных отчётов (часть с NULL payload), не per-lot → offline-backfill 1.1M лотов невозможен, нужен re-scrape Objective (прокси). Фикс извлечения в скрапере имеет смысл только когда скрапинг возобновится.

OBJ-2+OBJ-3 = data goldmine активирован для SF (81.8% цен vs 3.66% domrf). Остаток OBJ-1 — после восстановления прокси.

Прогресс по подзадачам (автономно, на существующих данных): - ✅ **OBJ-2** — консервативный trgm-backfill `objective_complex_mapping` +23 near-exact (PR #1331, merged `f9dd903`). 286 маппингов, 18/23 сразу расширяют velocity MV. 133 на manual (задокументировано). - ✅ **OBJ-3** — additive objective_lots price fallback для competitors (PR #1332). Открытие: на последнем snapshot `domrf_kn_flats.price` = **0 строк** (скрапер перестал отдавать per-flat цены ~2026-06-03) → live price-сигнал SF был мёртв; fallback восстановил (262/263 mapped obj_id, median 136k руб/м²). `best_layouts` price уже был на objective. Веса/MV не тронуты. - ⏳ **OBJ-1** (bank_name) — **остаётся proxy-blocked**: `objective_raw_reports` хранит только 28 агрегатных отчётов (часть с NULL payload), не per-lot → offline-backfill 1.1M лотов невозможен, нужен re-scrape Objective (прокси). Фикс извлечения в скрапере имеет смысл только когда скрапинг возобновится. OBJ-2+OBJ-3 = data goldmine активирован для SF (81.8% цен vs 3.66% domrf). Остаток OBJ-1 — после восстановления прокси.
lekss361 commented 2026-06-17 19:51:32 +00:00
Author
Owner
Copy link

Статус OBJ-1..7 на 2026-06-17 (верифицировано по коду + живой БД)

  • OBJ-1 — НЕ баг маппинга: парсер мапит все 3 поля; encumbrance_* заполнены на 36%, bank_name=0 т.к. вендор не отдаёт ЕГРН-поле на текущем тарифе. Вынесено в отдельный needs-human issue.
  • OBJ-2 — ✅ backfill #1331/#1333 (mapping 148→263) + is_reviewed/confidence-гейт velocity добит сегодня (PR #1720, миграция 165: гейт is_reviewed OR manual OR score>=0.85, MV-объекты 275→236).
  • OBJ-3 — ✅ уже DONE (PR #1332: competitors/best_layouts на objective_lots, 81% цен).
  • OBJ-5 — objective_scrape_runs = 18 строк (heartbeat пишется ✅); ждёт resume скрапинга.
  • OBJ-6 — ✅ diff-gated триггер objective_lots_history добит сегодня (PR #1719, миграция 164). Вскрылось: history раньше не дельта-трекался (wholesale insert).
  • OBJ-7 — objective_raw_reports = 28 строк (schema-only, минимальный payload-store).
  • #295 weighted-AVG — ✅ DONE (PR #626).

Остаток (OBJ-1 tariff, OBJ-5/7 resume) — capability/ops, не code. Эпик можно закрывать после решения по OBJ-1-тарифу.

## Статус OBJ-1..7 на 2026-06-17 (верифицировано по коду + живой БД) - **OBJ-1** — НЕ баг маппинга: парсер мапит все 3 поля; `encumbrance_*` заполнены на 36%, `bank_name`=0 т.к. вендор не отдаёт ЕГРН-поле на текущем тарифе. Вынесено в отдельный needs-human issue. - **OBJ-2** — ✅ backfill #1331/#1333 (mapping 148→263) + **is_reviewed/confidence-гейт velocity** добит сегодня (PR #1720, миграция 165: гейт `is_reviewed OR manual OR score>=0.85`, MV-объекты 275→236). - **OBJ-3** — ✅ уже DONE (PR #1332: competitors/best_layouts на objective_lots, 81% цен). - **OBJ-5** — `objective_scrape_runs` = 18 строк (heartbeat пишется ✅); ждёт resume скрапинга. - **OBJ-6** — ✅ diff-gated триггер `objective_lots_history` добит сегодня (PR #1719, миграция 164). Вскрылось: history раньше не дельта-трекался (wholesale insert). - **OBJ-7** — `objective_raw_reports` = 28 строк (schema-only, минимальный payload-store). - **#295** weighted-AVG — ✅ DONE (PR #626). Остаток (OBJ-1 tariff, OBJ-5/7 resume) — capability/ops, не code. Эпик можно закрывать после решения по OBJ-1-тарифу.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels   
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

No labels
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
Fable 5 ревью
feedback/max
generative
GG-форсайт
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
вторичка
ИРД
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#307
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?