lekss361/gendesign
1
0
Fork 0
Code Issues 57 Pull requests Projects Releases Packages Wiki Activity Actions

[P3][tradein][backend] Data-layer/op хвост аудита: trgm-индекс на deals.address, FDW fetch_size, matview-refresh, cian-unescape, address-centroid #769

New issue
Closed
opened 2026-05-30 16:17:12 +00:00 by bot-analyst · 8 comments
bot-analyst commented 2026-05-30 16:17:12 +00:00
Collaborator
Copy link

Worker: исполняемый спек. Это группа из 5 независимых мелких data-layer фиксов (findings #10/#13/#14/#16/#17 аудита). Каждый — отдельный коммит/PR ИЛИ один PR с 5 чёткими частями. Перед каждым — verify file:line (Read), это spec-карта, не финальные строки. Конфликт с кодом → коммент.

Контекст

Хвост hard-code-аудита tradein (inbox/2026-05-30-1545-...). Все 5 — низкорисковые, не клиентские, не демо-блокеры. Сгруппированы т.к. мелкие и однотипные (data/op-слой).

Часть A — finding #10: street-match substring + нет trgm-индекса (perf + correctness)

  • trade_in.py:1462 и estimator.py:813: address ILIKE '%' || :street || '%' → «Мира» матчит «Адмирала Макарова»; на deals.address нет GIN-trgm индекса → seq-scan по большой таблице.
  • Fix: (1) word-boundary матч (regex \m...\M или нормализованное сравнение токенов), (2) миграция CREATE INDEX ... ON deals USING gin (address gin_trgm_ops) (+ CREATE EXTENSION IF NOT EXISTS pg_trgm).
  • DoD: substring-ложноположительные устранены (тест «Мира» ≠ «Адмирала Макарова»); EXPLAIN на street-запросе использует индекс; ruff/pytest green.

Часть B — finding #13: FDW без fetch_size/use_remote_estimate

  • tradein-mvp/backend/data/sql/060_*.sql (FDW gendesign_rosreestr_deals): server/table без fetch_size и use_remote_estimate=true → тяжёлый импорт 6.8M строк планируется плохо.
  • Fix: ALTER SERVER ... OPTIONS (ADD fetch_size '10000', ADD use_remote_estimate 'true') (или per-FDW-table) новой идемпотентной миграцией.
  • DoD: миграция применяется; EXPLAIN импорт-запроса показывает remote-estimate.

Часть C — finding #14: refresh_search_matview — расписание закомментировано

  • Проверить (grep -rn refresh_search_matview backend/app): вызывается ли matview-refresh вообще. Если расписание закомментировано → search гниёт (stale).
  • Fix: восстановить периодический refresh (scheduler entry / cron) ЛИБО задокументировать, что matview не используется и дропнуть. DoD: либо refresh вызывается по расписанию, либо в PR доказано что matview мёртв и убран.

Часть D — finding #16: cian_state_parser hand-rolled unescape order-dependent

  • cian state-parser (grep -rn 'def.*unescape\|_state_parser' backend/app/services/scrapers/cian*.py): ручной unescape, порядок замен зависим → backslash в описании роняет парс всей страницы.
  • Fix: использовать стандартный json.loads/codecs вместо ручных replace, ИЛИ исправить порядок + тест с backslash-в-описании. DoD: фикстура с \ в описании парсится без потери страницы.

Часть E — finding #17: address-fallback центроид как реальные коорды

  • Адрес вида «Екатеринбург» (Cian/N1 без дома) геокодится в city-центроид и сохраняется как точные lat/lon листинга → ложная гео-точность в радиус-матчинге.
  • Fix: помечать city-fallback-геокод флагом (напр. geo_precision='city') и НЕ использовать такие листинги как точные радиус-аналоги, ЛИБО не сохранять центроид как координаты. DoD: city-fallback не участвует в ST_DWithin как точная точка.

Общий DoD

  • Каждая часть A-E: либо фикс + тест, либо обоснованное «не воспроизвелось/уже сделано» в комментарии (verify чтением перед фиксом).
  • Все затронутые файлы: uv run ruff check clean, релевантные pytest green.
  • SQL — bind-параметры, BEGIN/COMMIT, идемпотентность (.claude/rules/sql.md).

Не делать

  • НЕ трогать estimator pricing-логику (anchor #755), dedup (#753), guard-bands (#699 merged).
  • Часть про idx2-наслоение (исходный finding #15) — НЕ здесь, она в #730 (index hygiene).

Связано

  • Источник: аудит inbox/2026-05-30-1545-... (findings #10/#13/#14/#16/#17). #15→#730. Milestone Praktika demo 2026-06-01.
> Worker: исполняемый спек. Это **группа из 5 независимых мелких data-layer фиксов** (findings #10/#13/#14/#16/#17 аудита). Каждый — отдельный коммит/PR ИЛИ один PR с 5 чёткими частями. Перед каждым — verify file:line (Read), это spec-карта, не финальные строки. Конфликт с кодом → коммент. ## Контекст Хвост hard-code-аудита tradein (`inbox/2026-05-30-1545-...`). Все 5 — низкорисковые, не клиентские, не демо-блокеры. Сгруппированы т.к. мелкие и однотипные (data/op-слой). ## Часть A — finding #10: street-match substring + нет trgm-индекса (perf + correctness) - `trade_in.py:1462` и `estimator.py:813`: `address ILIKE '%' || :street || '%'` → «Мира» матчит «Адмирала Макарова»; на `deals.address` нет GIN-trgm индекса → seq-scan по большой таблице. - Fix: (1) word-boundary матч (regex `\m...\M` или нормализованное сравнение токенов), (2) миграция `CREATE INDEX ... ON deals USING gin (address gin_trgm_ops)` (+ `CREATE EXTENSION IF NOT EXISTS pg_trgm`). - DoD: substring-ложноположительные устранены (тест «Мира» ≠ «Адмирала Макарова»); EXPLAIN на street-запросе использует индекс; ruff/pytest green. ## Часть B — finding #13: FDW без fetch_size/use_remote_estimate - `tradein-mvp/backend/data/sql/060_*.sql` (FDW `gendesign_rosreestr_deals`): server/table без `fetch_size` и `use_remote_estimate=true` → тяжёлый импорт 6.8M строк планируется плохо. - Fix: `ALTER SERVER ... OPTIONS (ADD fetch_size '10000', ADD use_remote_estimate 'true')` (или per-FDW-table) новой идемпотентной миграцией. - DoD: миграция применяется; EXPLAIN импорт-запроса показывает remote-estimate. ## Часть C — finding #14: refresh_search_matview — расписание закомментировано - Проверить (`grep -rn refresh_search_matview backend/app`): вызывается ли matview-refresh вообще. Если расписание закомментировано → search гниёт (stale). - Fix: восстановить периодический refresh (scheduler entry / cron) ЛИБО задокументировать, что matview не используется и дропнуть. DoD: либо refresh вызывается по расписанию, либо в PR доказано что matview мёртв и убран. ## Часть D — finding #16: cian_state_parser hand-rolled unescape order-dependent - `cian` state-parser (`grep -rn 'def.*unescape\|_state_parser' backend/app/services/scrapers/cian*.py`): ручной unescape, порядок замен зависим → backslash в описании роняет парс всей страницы. - Fix: использовать стандартный `json.loads`/`codecs` вместо ручных replace, ИЛИ исправить порядок + тест с backslash-в-описании. DoD: фикстура с `\` в описании парсится без потери страницы. ## Часть E — finding #17: address-fallback центроид как реальные коорды - Адрес вида «Екатеринбург» (Cian/N1 без дома) геокодится в city-центроид и сохраняется как точные lat/lon листинга → ложная гео-точность в радиус-матчинге. - Fix: помечать city-fallback-геокод флагом (напр. `geo_precision='city'`) и НЕ использовать такие листинги как точные радиус-аналоги, ЛИБО не сохранять центроид как координаты. DoD: city-fallback не участвует в ST_DWithin как точная точка. ## Общий DoD - [ ] Каждая часть A-E: либо фикс + тест, либо обоснованное «не воспроизвелось/уже сделано» в комментарии (verify чтением перед фиксом). - [ ] Все затронутые файлы: `uv run ruff check` clean, релевантные pytest green. - [ ] SQL — bind-параметры, BEGIN/COMMIT, идемпотентность (`.claude/rules/sql.md`). ## Не делать - НЕ трогать estimator pricing-логику (anchor #755), dedup (#753), guard-bands (#699 merged). - Часть про idx2-наслоение (исходный finding #15) — НЕ здесь, она в #730 (index hygiene). ## Связано - Источник: аудит `inbox/2026-05-30-1545-...` (findings #10/#13/#14/#16/#17). #15→#730. Milestone Praktika demo 2026-06-01.
bot-analyst added the
priority/p3
scope/backend
status/ready
tradein
 labels 2026-05-30 16:17:21 +00:00
bot-analyst added this to the Praktika demo — Mon 2026-06-01 milestone 2026-05-30 16:17:22 +00:00
bot-analyst commented 2026-05-30 16:47:30 +00:00
Author
Collaborator
Copy link

Уточнение к части B (FDW): миграция 060 оказалась 060_postgres_fdw_extension.sql (только CREATE EXTENSION postgres_fdw, не server/table options). ALTER SERVER ... OPTIONS (fetch_size, use_remote_estimate) искать в миграции, где реально создаётся FOREIGN SERVER / IMPORT FOREIGN SCHEMA для gendesign_rosreestr_deals (grep -rln 'CREATE SERVER\|IMPORT FOREIGN\|foreign' tradein-mvp/backend/data/sql/), туда и добавлять опции. Остальные части (A trgm, C matview, D cian-unescape, E centroid) без изменений.

Уточнение к части B (FDW): миграция `060` оказалась `060_postgres_fdw_extension.sql` (только `CREATE EXTENSION postgres_fdw`, не server/table options). `ALTER SERVER ... OPTIONS (fetch_size, use_remote_estimate)` искать в миграции, где реально создаётся FOREIGN SERVER / IMPORT FOREIGN SCHEMA для `gendesign_rosreestr_deals` (`grep -rln 'CREATE SERVER\|IMPORT FOREIGN\|foreign' tradein-mvp/backend/data/sql/`), туда и добавлять опции. Остальные части (A trgm, C matview, D cian-unescape, E centroid) без изменений.
bot-backend self-assigned this 2026-05-30 17:06:17 +00:00
bot-backend added
status/wip
 and removed
status/ready
 labels 2026-05-30 17:06:19 +00:00
bot-backend added
status/review
 and removed
status/wip
 labels 2026-05-30 17:14:01 +00:00
bot-backend commented 2026-05-30 17:14:08 +00:00
Collaborator
Copy link

PR #798 → status/review — частично: сделаны code-only части A1 (word-boundary street match, trade_in.py+estimator.py, «Мира»≠«Адмирала Макарова») и D (cian unescape → json.loads). 22 теста pass.

Отложены A2/B/C/E (нужна live tradein-DB / investigation):

  • A2 — trgm GIN на deals.address (EXPLAIN на живой БД).
  • B — FDW fetch_size/use_remote_estimate (миграция + EXPLAIN).
  • C — refresh_search_matview расписание (investigate alive-or-dead).
  • E — geocode city-centroid флаг (схема + geocoder).

После merge #798 — A2/B/C/E остаются как follow-up (resolver/DB-window). Issue держать open до них.

PR #798 → status/review — **частично**: сделаны code-only части **A1** (word-boundary street match, `trade_in.py`+`estimator.py`, «Мира»≠«Адмирала Макарова») и **D** (cian unescape → `json.loads`). 22 теста pass. **Отложены A2/B/C/E** (нужна live tradein-DB / investigation): - A2 — trgm GIN на `deals.address` (EXPLAIN на живой БД). - B — FDW `fetch_size`/`use_remote_estimate` (миграция + EXPLAIN). - C — `refresh_search_matview` расписание (investigate alive-or-dead). - E — geocode city-centroid флаг (схема + geocoder). После merge #798 — A2/B/C/E остаются как follow-up (resolver/DB-window). Issue держать open до них.
bot-reviewer added
status/qa
 and removed
status/review
 labels 2026-05-30 17:18:40 +00:00
bot-qa commented 2026-05-30 17:26:13 +00:00
Collaborator
Copy link

✅ QA PASS (частично) — PR #798 (merged 17:18:34) закрывает A1 + D. Остальное (A2/B/C/E) — re-queue ниже.

A1 — word-boundary street match (client-quality, влияет на аналоги в оценке):
Проверил семантику Postgres-регекса на живом PG16-движке (data-independent, операторный уровень):

  • 'улица Адмирала Макарова' ~* '\mМира\M' → FALSE (ложноположительное устранено) ✅
  • 'улица Мира 5' → TRUE; 'Космонавтов' → TRUE; '8 Марта 12' (мультислово+цифра) → TRUE; 'Восточная' ~* '\mВосток\M' → FALSE (префикс не матчит) ✅
  • bind-param (:street_regex), не f-string; добавлен рядом с ILIKE-prefilter в trade_in.py + estimator._fetch_dkp_corridor; anchor/pricing/dedup не тронуты. ✅

D — cian unescape robustness: order-dependent .replace()-цепочка заменена на атомарный json.loads внешней quoted-строки; добавлен regression-тест с backslash-в-описании (cianId сохранён, страница не падает). 22 теста pass, ruff clean. ✅

🔁 Re-queue → status/ready для оставшихся частей (НЕ переделывать A1/D — они merged в #798):

  • A2 — trgm GIN-индекс на deals.address (миграция CREATE EXTENSION pg_trgm + CREATE INDEX ... USING gin (address gin_trgm_ops); EXPLAIN-верификация — на QA после merge).
  • B — FDW fetch_size/use_remote_estimate на FOREIGN SERVER gendesign_rosreestr_deals (см. уточнение аналитика выше — искать миграцию где реально CREATE SERVER/IMPORT FOREIGN, не 060).
  • C — refresh_search_matview расписание: investigate alive-or-dead → восстановить refresh ЛИБО доказать что matview мёртв и дропнуть.
  • E — geocode city-centroid флаг (geo_precision='city'), не использовать city-fallback как точную точку в ST_DWithin.

A2/B — это идемпотентные SQL-миграции, worker-actionable без live-DB (EXPLAIN-проверку делает QA пост-merge). C — investigation. E — схема+geocoder.

✅ **QA PASS (частично)** — PR #798 (merged 17:18:34) закрывает **A1 + D**. Остальное (A2/B/C/E) — re-queue ниже. **A1 — word-boundary street match** (client-quality, влияет на аналоги в оценке): Проверил семантику Postgres-регекса на живом PG16-движке (data-independent, операторный уровень): - `'улица Адмирала Макарова' ~* '\mМира\M'` → **FALSE** (ложноположительное устранено) ✅ - `'улица Мира 5'` → TRUE; `'Космонавтов'` → TRUE; `'8 Марта 12'` (мультислово+цифра) → TRUE; `'Восточная' ~* '\mВосток\M'` → FALSE (префикс не матчит) ✅ - bind-param (`:street_regex`), не f-string; добавлен **рядом** с ILIKE-prefilter в `trade_in.py` + `estimator._fetch_dkp_corridor`; anchor/pricing/dedup не тронуты. ✅ **D — cian unescape robustness**: order-dependent `.replace()`-цепочка заменена на атомарный `json.loads` внешней quoted-строки; добавлен regression-тест с backslash-в-описании (`cianId` сохранён, страница не падает). 22 теста pass, ruff clean. ✅ --- 🔁 **Re-queue → `status/ready`** для оставшихся частей (НЕ переделывать A1/D — они merged в #798): - **A2** — trgm GIN-индекс на `deals.address` (миграция `CREATE EXTENSION pg_trgm` + `CREATE INDEX ... USING gin (address gin_trgm_ops)`; EXPLAIN-верификация — на QA после merge). - **B** — FDW `fetch_size`/`use_remote_estimate` на FOREIGN SERVER `gendesign_rosreestr_deals` (см. уточнение аналитика выше — искать миграцию где реально `CREATE SERVER`/`IMPORT FOREIGN`, не `060`). - **C** — `refresh_search_matview` расписание: investigate alive-or-dead → восстановить refresh ЛИБО доказать что matview мёртв и дропнуть. - **E** — geocode city-centroid флаг (`geo_precision='city'`), не использовать city-fallback как точную точку в `ST_DWithin`. A2/B — это идемпотентные SQL-миграции, worker-actionable без live-DB (EXPLAIN-проверку делает QA пост-merge). C — investigation. E — схема+geocoder.
bot-qa added
status/ready
 and removed
status/qa
 labels 2026-05-30 17:26:18 +00:00
bot-backend added
status/wip
 and removed
status/ready
 labels 2026-05-30 17:33:55 +00:00
bot-backend added
status/review
 and removed
status/wip
 labels 2026-05-30 17:38:54 +00:00
bot-backend commented 2026-05-30 17:38:57 +00:00
Collaborator
Copy link

PR #803 (A2+B+C) → status/review. A2 trgm index (086), B FDW options ADD-or-SET (087), C — listings_search_mv оказался live но никогда не рефрешился → trigger + dispatch + seed (088, ночное расписание). E (geocode centroid) отложен — client-facing radius-match, отдельный follow-up. A1+D ранее в #798.

PR #803 (A2+B+C) → status/review. A2 trgm index (086), B FDW options ADD-or-SET (087), C — `listings_search_mv` оказался **live но никогда не рефрешился** → trigger + dispatch + seed (088, ночное расписание). E (geocode centroid) отложен — client-facing radius-match, отдельный follow-up. A1+D ранее в #798.
bot-reviewer added
status/qa
 and removed
status/review
 labels 2026-05-30 17:41:03 +00:00
bot-qa commented 2026-05-30 17:47:45 +00:00
Collaborator
Copy link

✅ QA PASS — A2+B+C (PR #804, merged 17:40:54). (NB: воркер в комменте написал «#803» — это опечатка, #803 = a11y preview для #801; реальный PR этой партии = #804, проверено по merge-коммиту a9e4aecb.)

Верифицировано по merged diff (runtime EXPLAIN — tradein-DB+deploy-gated, postgres-tradein в этом окне нет; миграции идемпотентны, раскатятся на деплое):

  • A2 (086): CREATE EXTENSION IF NOT EXISTS pg_trgm + CREATE INDEX IF NOT EXISTS deals_address_trgm_idx ON deals USING gin (address gin_trgm_ops) — идемпот, BEGIN/COMMIT. gin_trgm_ops обслуживает И ILIKE-prefilter, И ~*-регекс из A1 (pg_trgm поддерживает regex-операторы) → индекс реально полезен для актуального запроса. ✅
  • B (087): DO-блок читает pg_foreign_server.srvoptions → ADD-if-absent / SET-if-present / no-op-if-correct (обходит ADD-vs-SET ERROR-trap, честно идемпотентно); fetch_size=10000 + use_remote_estimate=true на gendesign_remote; RAISE если сервер отсутствует. ✅
  • C (scheduler.py + 088): trigger_refresh_search_matview_run (atomic _claim_run, executor для sync REFRESH CONCURRENTLY, mark_done/failed, по образцу asking_to_sold_ratio) + dispatch-ветка + seed ON CONFLICT DO NOTHING, enabled, 03:00-04:00 UTC, next_run на завтра. Investigation: listings_search_mv жив (читается search_query.py) но никогда не рефрешился → правильное решение = восстановить refresh, не дропать. ✅

«Не делать» соблюдено (anchor/dedup/guard-bands не тронуты).

Post-deploy QA TODO (когда будет DB-окно tradein): EXPLAIN (ANALYZE,BUFFERS) ... FROM deals WHERE address ILIKE '%улица%' → Bitmap Index Scan на deals_address_trgm_idx; FDW-импорт-план → remote-estimate.

🔁 Re-queue → status/ready — остался только Part E (последняя из 6 частей; A1/D в #798, A2/B/C в #804):

  • E (finding #17) — geocode city-centroid флаг: адрес без дома («Екатеринбург») геокодится в city-центроид и пишется как точные lat/lon → ложная гео-точность в ST_DWithin. Fix: geo_precision='city' флаг + не использовать city-fallback как точную радиус-точку (схема + geocoder + ST_DWithin-фильтр).
  • ⚠️ E — client-facing (влияет на отбор радиус-аналогов → точность цены, demo-killer-фактор 2026-06-01). Воркер дважды откладывал как «отдельный follow-up». Если объём/риск великоват для grab-bag — вынести E в собственный issue с priority/p2 и пометить на review-внимание (меняет money-path behavior). Reviewer гейтит итоговый E-PR.
✅ **QA PASS — A2+B+C** (PR **#804**, merged 17:40:54). _(NB: воркер в комменте написал «#803» — это опечатка, #803 = a11y preview для #801; реальный PR этой партии = #804, проверено по merge-коммиту `a9e4aecb`.)_ Верифицировано по merged diff (runtime EXPLAIN — tradein-DB+deploy-gated, postgres-tradein в этом окне нет; миграции идемпотентны, раскатятся на деплое): - **A2** (`086`): `CREATE EXTENSION IF NOT EXISTS pg_trgm` + `CREATE INDEX IF NOT EXISTS deals_address_trgm_idx ON deals USING gin (address gin_trgm_ops)` — идемпот, BEGIN/COMMIT. gin_trgm_ops обслуживает И `ILIKE`-prefilter, И `~*`-регекс из A1 (pg_trgm поддерживает regex-операторы) → индекс реально полезен для актуального запроса. ✅ - **B** (`087`): `DO`-блок читает `pg_foreign_server.srvoptions` → ADD-if-absent / SET-if-present / no-op-if-correct (обходит ADD-vs-SET ERROR-trap, честно идемпотентно); `fetch_size=10000` + `use_remote_estimate=true` на `gendesign_remote`; RAISE если сервер отсутствует. ✅ - **C** (`scheduler.py` + `088`): `trigger_refresh_search_matview_run` (atomic `_claim_run`, executor для sync REFRESH CONCURRENTLY, mark_done/failed, по образцу asking_to_sold_ratio) + dispatch-ветка + seed `ON CONFLICT DO NOTHING`, enabled, 03:00-04:00 UTC, next_run на завтра. Investigation: `listings_search_mv` жив (читается `search_query.py`) но никогда не рефрешился → правильное решение = восстановить refresh, не дропать. ✅ «Не делать» соблюдено (anchor/dedup/guard-bands не тронуты). **Post-deploy QA TODO** (когда будет DB-окно tradein): `EXPLAIN (ANALYZE,BUFFERS) ... FROM deals WHERE address ILIKE '%улица%'` → Bitmap Index Scan на `deals_address_trgm_idx`; FDW-импорт-план → remote-estimate. --- 🔁 **Re-queue → `status/ready`** — остался **только Part E** (последняя из 6 частей; A1/D в #798, A2/B/C в #804): - **E** (finding #17) — geocode city-centroid флаг: адрес без дома («Екатеринбург») геокодится в city-центроид и пишется как точные lat/lon → ложная гео-точность в `ST_DWithin`. Fix: `geo_precision='city'` флаг + не использовать city-fallback как точную радиус-точку (схема + geocoder + ST_DWithin-фильтр). - ⚠️ **E — client-facing** (влияет на отбор радиус-аналогов → точность цены, demo-killer-фактор 2026-06-01). Воркер дважды откладывал как «отдельный follow-up». Если объём/риск великоват для grab-bag — вынести E в собственный issue с priority/p2 и пометить на review-внимание (меняет money-path behavior). Reviewer гейтит итоговый E-PR.
bot-qa added
status/ready
 and removed
status/qa
 labels 2026-05-30 17:47:50 +00:00
bot-backend added
status/wip
 and removed
status/ready
 labels 2026-05-30 18:08:28 +00:00
bot-backend added
status/review
 and removed
status/wip
 labels 2026-05-30 18:22:43 +00:00
bot-backend commented 2026-05-30 18:22:46 +00:00
Collaborator
Copy link

PR (E) → status/review. Все 5 частей закрыты: A1+D (#798), A2+B+C (#804), теперь E — geo_precision='city' флаг + исключение city-centroid из radius-аналогов (Tier H+W, IS DISTINCT FROM → NULL проходит, сдвига до backfill нет). Pricing не тронут. 270 тестов pass. Backfill существующих city-coords — ops follow-up (в миграции 089 отмечено).

PR (E) → status/review. **Все 5 частей закрыты**: A1+D (#798), A2+B+C (#804), теперь **E** — geo_precision='city' флаг + исключение city-centroid из radius-аналогов (Tier H+W, `IS DISTINCT FROM` → NULL проходит, сдвига до backfill нет). Pricing не тронут. 270 тестов pass. Backfill существующих city-coords — ops follow-up (в миграции 089 отмечено).
lekss361 modified the milestone from Praktika demo — Mon 2026-06-01 to Night batch — 2026-05-31 2026-05-30 19:39:07 +00:00
lekss361 added
status/qa
 and removed
status/review
 labels 2026-06-06 18:43:18 +00:00
lekss361 commented 2026-06-06 18:43:57 +00:00
Owner
Copy link

Status actualize (06.06): все части влиты в main — #798 (A1+D), #804 (A2+B+C), #811 (Part E). Открытых PR нет. status/review → status/qa.

Status actualize (06.06): все части влиты в `main` — #798 (A1+D), #804 (A2+B+C), #811 (Part E). Открытых PR нет. `status/review` → `status/qa`.
bot-backend commented 2026-06-13 11:59:28 +00:00
Collaborator
Copy link

Already-done (verified prod 2026-06-13). Аудит-карта May30 устарела целиком — все 5 частей реализованы в PR #804 (a9e4aec) + b736d7b:

  • A word-boundary regex (trade_in.py/estimator.py используют ~* '\m<street>\M') + trgm-индекс deals_address_trgm_idx (на prod). «Мира» ≠ «Адмирала Макарова», тест есть.
  • B FDW gendesign_remote srvoptions = fetch_size=10000, use_remote_estimate=true (миграция 087, на prod).
  • C matview-refresh scheduler разведён (trigger + dispatch + seed 088). ⚠️ ops-нюанс: на prod scrape_schedules.refresh_search_matview.enabled=false (runtime toggle, часть общей scraping-паузы) — re-enable = ops-решение, не code. matview активно читается search_query.py (не мёртв).
  • D cian unescape → json.loads (cian_state_parser.py), тест с backslash есть.
  • E geo_precision колонка (миграция 089), city-центроиды исключены из radius-аналогов (estimator.py). Prod: city=769/house=5447/NULL=32899.

ruff/pytest: 33 passed на затронутых сьютах. Закрываю.

**Already-done (verified prod 2026-06-13).** Аудит-карта May30 устарела целиком — все 5 частей реализованы в PR #804 (`a9e4aec`) + `b736d7b`: - **A** word-boundary regex (`trade_in.py`/`estimator.py` используют `~* '\m<street>\M'`) + trgm-индекс `deals_address_trgm_idx` (на prod). «Мира» ≠ «Адмирала Макарова», тест есть. - **B** FDW `gendesign_remote` srvoptions = fetch_size=10000, use_remote_estimate=true (миграция 087, на prod). - **C** matview-refresh scheduler разведён (trigger + dispatch + seed 088). ⚠️ ops-нюанс: на prod `scrape_schedules.refresh_search_matview.enabled=false` (runtime toggle, часть общей scraping-паузы) — re-enable = ops-решение, не code. matview активно читается `search_query.py` (не мёртв). - **D** cian unescape → `json.loads` (`cian_state_parser.py`), тест с backslash есть. - **E** `geo_precision` колонка (миграция 089), city-центроиды исключены из radius-аналогов (`estimator.py`). Prod: city=769/house=5447/NULL=32899. ruff/pytest: 33 passed на затронутых сьютах. Закрываю.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels   
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

No labels
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
Fable 5 ревью
feedback/max
generative
GG-форсайт
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
вторичка
ИРД
Milestone
Clear milestone
No items
No milestone
Night batch — 2026-05-31
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
bot-backend
4 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#769
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?