fix(data): партиции rosreestr_deals на Q2–Q4 2026 + загрузчик доходит до файла (#2998) #3014

Merged

bot-backend merged 3 commits from fix/2998-rosreestr-q2-partitions into main 2026-08-21 08:56:25 +00:00

Conversation 0 Commits 3 Files changed 4 +246 -2

bot-backend commented 2026-08-21 07:49:14 +00:00

Collaborator

Copy link

Диагноз задачи был неверным в причине; настоящий корень — структурный

Подробный разбор — в комментарии к #2998. Коротко:

• Импорт исправен. rosreestr_dkp_import ежедневно вычитывает все 96 974 строки FDW-источника и честно пропускает (rows_fetched = rows_skipped = 96974). total_seen — поле админ-витрины, не счётчик импорта.
• Источник стоял на Q1 2026 (загружен 30.04). Q2 опубликован 10.07, rosreestr_quarter_poll заметил его 14.08 (available=1), deals_freshness_monitor с 16.08 ставил alert=1 ежедневно. Семь событий в GlitchTip — 0 правил, 0 адресатов, 0 отправок.
• Корень: rosreestr_deals партиционирована по period_start_date, партиции созданы списком в 01_schema «2024 Q3 — 2026 Q1», и ничто новые не создаёт. Загрузка Q2 21.08 упала:

ERROR:  no partition of relation "rosreestr_deals" found for row
DETAIL:  Partition key of the failing row contains (period_start_date) = (2026-04-01).

Даже оператор, запустив загрузчик по подсказке poll, получил бы отказ.

Что в PR

193_partitions_rosreestr_2026_q2_q4.sql — партиции Q2–Q4 2026 с запасом, IF NOT EXISTS, lock_timeout. Индексы не перечисляю — наследуются от родителя (проверено на проде: 4 на 2026q2).

02_load_all_quarters.sh — две правки:

1. JOBS дополнен 2026Q2–Q4 (квартал без CSV честно SKIP).
2. Ловушка set -e: resolve_csv сигналит «файла нет» кодом 1, и первый же квартал без CSV молча ронял весь прогон до строки SKIP. На проде с одним Q2-файлом в data/raw скрипт завершался rc=0, не напечатав ни строки — поймал при боевой проверке. || true на вызове.

test_2998_rosreestr_partition_horizon.py — сторож, чтобы горизонт не отстал снова. Партиция обязана существовать на последний публикуемый квартал (+20 дней лага: Q2 2026 вышел 10.07) и на следующий — иначе предупреждение придёт в день публикации, когда дамп уже лежит и его уже нельзя загрузить.

Как проверено

• Данные уже на проде, штатным путём: 741 874 строки Q2 в rosreestr_deals (ЕКБ-фильтр 13 654), import-rosreestr.sh → tradein.deals +11 649, max(deal_date) 2026-01-01 → 2026-04-01. deals_freshness_monitor на следующем тике: alert 0, latest_quarter 2 — цикл замкнулся.
• Загрузчик боевым путём на VPS после правки: 12 кварталов, 2026Q2 SKIP — уже загружен (741874 строк), остальные SKIP — нет CSV, rc=0. До правки — пустой вывод, rc=0.
• Сторож двусторонний, и красная сторона воспроизводима на проде, где миграция уже применена: в откатываемой транзакции DETACH PARTITION → головная проверка краснеет по значению («нет партиции на квартал 2026-04-01»), откат возвращает партицию. После теста на проде 12 партиций, 741 874 строки Q2 — цел.
• Без БД — 4 теста skip с причиной (allowlist), календарный идёт везде.
• pytest backend/tests/sql — 55 passed через туннель к проду.

Что остаётся вне PR

• Доставка алертов — сторожа исправны, адресатов нет. Это #2704 (GlitchTip без правил), не новая работа.
• Автосоздание партиций — сейчас каждый новый квартал = новая миграция. Запас до конца 2026; в начале декабря сторож покраснеет на Q1 2027, и это правильно.

## Диагноз задачи был неверным в причине; настоящий корень — структурный Подробный разбор — в комментарии к #2998. Коротко: - **Импорт исправен.** `rosreestr_dkp_import` ежедневно вычитывает все 96 974 строки FDW-источника и честно пропускает (`rows_fetched = rows_skipped = 96974`). `total_seen` — поле админ-витрины, не счётчик импорта. - **Источник стоял на Q1 2026** (загружен 30.04). Q2 опубликован 10.07, `rosreestr_quarter_poll` заметил его 14.08 (`available=1`), `deals_freshness_monitor` с 16.08 ставил `alert=1` ежедневно. Семь событий в GlitchTip — **0 правил, 0 адресатов, 0 отправок**. - **Корень:** `rosreestr_deals` партиционирована по `period_start_date`, партиции созданы списком в `01_schema` «2024 Q3 — 2026 Q1», и ничто новые не создаёт. Загрузка Q2 21.08 упала: ``` ERROR: no partition of relation "rosreestr_deals" found for row DETAIL: Partition key of the failing row contains (period_start_date) = (2026-04-01). ``` Даже оператор, запустив загрузчик по подсказке poll, получил бы отказ. ## Что в PR **`193_partitions_rosreestr_2026_q2_q4.sql`** — партиции Q2–Q4 2026 с запасом, `IF NOT EXISTS`, `lock_timeout`. Индексы не перечисляю — наследуются от родителя (проверено на проде: 4 на `2026q2`). **`02_load_all_quarters.sh`** — две правки: 1. `JOBS` дополнен 2026Q2–Q4 (квартал без CSV честно `SKIP`). 2. Ловушка `set -e`: `resolve_csv` сигналит «файла нет» кодом 1, и первый же квартал без CSV **молча ронял весь прогон** до строки `SKIP`. На проде с одним Q2-файлом в `data/raw` скрипт завершался `rc=0`, не напечатав ни строки — поймал при боевой проверке. `|| true` на вызове. **`test_2998_rosreestr_partition_horizon.py`** — сторож, чтобы горизонт не отстал снова. Партиция обязана существовать на последний публикуемый квартал (+20 дней лага: Q2 2026 вышел 10.07) **и на следующий** — иначе предупреждение придёт в день публикации, когда дамп уже лежит и его уже нельзя загрузить. ## Как проверено - **Данные уже на проде, штатным путём:** 741 874 строки Q2 в `rosreestr_deals` (ЕКБ-фильтр 13 654), `import-rosreestr.sh` → `tradein.deals` **+11 649**, `max(deal_date)` 2026-01-01 → **2026-04-01**. `deals_freshness_monitor` на следующем тике: `alert 0, latest_quarter 2` — цикл замкнулся. - **Загрузчик боевым путём на VPS** после правки: 12 кварталов, `2026Q2 SKIP — уже загружен (741874 строк)`, остальные `SKIP — нет CSV`, `rc=0`. До правки — пустой вывод, `rc=0`. - **Сторож двусторонний, и красная сторона воспроизводима на проде**, где миграция уже применена: в откатываемой транзакции `DETACH PARTITION` → головная проверка краснеет **по значению** («нет партиции на квартал 2026-04-01»), откат возвращает партицию. После теста на проде 12 партиций, 741 874 строки Q2 — цел. - Без БД — 4 теста skip с причиной (allowlist), календарный идёт везде. - `pytest backend/tests/sql` — **55 passed** через туннель к проду. ## Что остаётся вне PR - **Доставка алертов** — сторожа исправны, адресатов нет. Это #2704 (GlitchTip без правил), не новая работа. - **Автосоздание партиций** — сейчас каждый новый квартал = новая миграция. Запас до конца 2026; в начале декабря сторож покраснеет на Q1 2027, и это правильно.

bot-backend added 1 commit 2026-08-21 07:49:14 +00:00

fix(data): партиции rosreestr_deals на Q2–Q4 2026 + загрузчик доходит до файла (#2998) ... e6e5bd962c

Задача формулировала «импорт каждый день рапортует done с total_seen=0».
Проверка на проде показала другое: импорт исправен — ежедневно вычитывает
все 96 974 строки FDW-источника и честно их пропускает (rows_fetched =
rows_skipped = 96974), а `total_seen` — поле админ-витрины, не счётчик
импорта. Источник gendesign.rosreestr_deals стоял на Q1 2026 (загружен
30.04), хотя Q2 2026 опубликован Росреестром 10.07 и poll заметил его
14.08 (available=1). Оба сторожа — poll и deals_freshness_monitor —
сработали и семь событий ушли в GlitchTip, где 0 правил / 0 адресатов /
0 отправок.

Корень, которого в задаче не было: rosreestr_deals партиционирована по
period_start_date, партиции созданы списком в 01_schema «2024 Q3 — 2026
Q1», и ничто новые не создаёт. Загрузка Q2 21.08 упала:

  ERROR: no partition of relation "rosreestr_deals" found for row
  DETAIL: (period_start_date) = (2026-04-01)

То есть даже оператор, запустив загрузчик по подсказке poll, получил бы
отказ. Это и объясняет, почему poll сделан «только сообщить».

Что сделано:
• миграция 193 — партиции Q2, Q3, Q4 2026 с запасом, идемпотентно, с
  lock_timeout; индексы наследуются от родителя (проверено: 4 на 2026q2);
• JOBS загрузчика — 2026Q2–Q4 (квартал без CSV честно SKIP);
• ловушка set -e в загрузчике: resolve_csv сигналит «файла нет» кодом 1,
  и первый же квартал без CSV молча ронял ВЕСЬ прогон до строки SKIP — на
  проде с одним Q2-файлом скрипт завершался rc=0, не напечатав ни строки.
  `|| true` на вызове; после правки боевой прогон на VPS: 12 кварталов,
  2026Q2 «уже загружен (741874 строк)», остальные SKIP, rc=0;
• тест-сторож горизонта: партиция обязана существовать на последний
  публикуемый квартал (+20 дней лага после конца квартала; Q2 2026 вышел
  10.07) и на следующий — чтобы предупреждение приходило за квартал до
  отказа, а не в день публикации. Читает pg_inherits живого Postgres.
  Красная сторона воспроизводима на проде, где миграция уже применена:
  DETACH партиции в откатываемой транзакции → головная краснеет по
  значению («нет партиции на квартал 2026-04-01»), откат возвращает
  партицию (проверено: 12 партиций после теста). Без БД — skip с
  причиной, в allowlist; календарный тест идёт везде.

Сам Q2 загружен на прод по штатному пути: 741 874 строки в
rosreestr_deals (ЕКБ-фильтр 13 654), import-rosreestr.sh → tradein.deals
+11 649 сделок, max(deal_date) 2026-01-01 → 2026-04-01.
deals_freshness_monitor на следующем тике: alert 0, latest_quarter 2.

pytest backend/tests/sql — 55 passed (через туннель к проду).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

Light1YT added 1 commit 2026-08-21 08:04:39 +00:00

ci: перезапуск backend-tests — джоб завис с 07:49 без обновлений (#2998) ... ebb7b7d32d

Остальные семь чеков прошли за минуты, backend-tests стоял 1ч30м без
единого обновления статуса. Actions API на этом Forgejo недоступен
(/actions/tasks обрывает соединение), перезапуск — только новым
коммитом. Код не меняется.

Light1YT referenced this pull request from a commit 2026-08-21 08:34:00 +00:00

test(#2998): сторож партиций — герметично в схеме-песочнице, а не по живому проду

Light1YT added 1 commit 2026-08-21 08:34:01 +00:00

test(#2998): сторож партиций — герметично в схеме-песочнице, а не по живому проду ... 9b54d64bd8

(см. описание в PR #3014)

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

bot-backend merged commit ce466c6d03 into main 2026-08-21 08:56:25 +00:00

bot-backend referenced this pull request 2026-08-21 08:59:54 +00:00

Росреестр не грузится 39 суток: rosreestr_dkp_import каждый день рапортует done с total_seen=0 #2998

bot-backend referenced this pull request 2026-08-21 09:02:17 +00:00

listing_source_snapshot пишет полную копию всех источников каждые сутки — 97,6% строк дубли по построению #2993

bot-backend referenced this pull request 2026-08-21 09:33:20 +00:00

«ФАКТИЧЕСКИЕ СДЕЛКИ» на экране — сделки семимесячной давности, и возраст никуда не доезжает #2846

Sign in to join this conversation.

Reviewers

No reviewers

Labels

Clear labels   

Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  

GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  

admin

Admin UI / internal tools / pipeline tracker

  

analytics

Аналитика данных / matching

  

auth

Authentication / authorization / multi-tenancy

  

automation

Автоматизация / cron / scheduler

  

bug

Something isn't working

  

business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  

chore

Operational housekeeping

  

ci

Forgejo Actions / build pipeline

  

compliance

152-ФЗ / реестр ПО / legal / TOS

  

data

Data sources, parsers, ETL

  

data-moat

Уникальные данные — sales tracker, CRM aggregation

  

docs

README / runbooks / onboarding

  

duplicate

This issue or pull request already exists

  

dx

Developer experience / build speed

  

enhancement

New feature or request

  

feedback/max

Feedback from Max (Senior partner)

  

generative

Generative Design — concept generation engine

  

needs-discussion

Pending team sync / decision

  

needs-human

Human review/decision required

  

observability

Monitoring / metrics / logs / Sentry / Uptime

  

pause-bots

Kill-switch — all autonomous bots pause

  

performance

Latency / throughput / DB query tuning

  

priority/p0

Critical / production-blocker

  

priority/p1

High priority

  

priority/p2

Normal priority

  

priority/p3

Низкий приоритет (follow-up, tech-debt)

  

scope/backend

Backend Python — FastAPI, Celery, scrapers

  

scope/db

DB migrations, indexes, SQL

  

scope/devops

docker-compose, Caddy, workflows

  

scope/frontend

Frontend — Next.js, React, TypeScript

  

scope/qa

Tests, smoke, Playwright

  

scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  

security

Security audit / secrets / vulnerabilities

  

site-finder

Site Finder scoring quality & data layer

  

stage/1

Stage 1: Generative MVP (нед 2-7)

  

stage/2

Stage 2: Site Finder MVP (нед 8-12)

  

status/blocked

Blocked — needs human intervention

  

status/done

Closed, completed

  

status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  

status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  

status/qa

PR merged, awaiting smoke test

  

status/ready

Ready for pickup by worker bot

  

status/review

PR open, awaiting code review

  

status/wip

Work in progress (worker claimed)

  

tech-debt

Технический долг

  

tradein

Trade-In MVP проект

  

ux

User experience / responsive / conversion

  

week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  

wontfix

This will not be worked on

  

ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

  

вторичка

Trade-In Estimator — проект оценки вторичного жилья

No labels

Fable 5 ревью

GG-форсайт

admin

analytics

auth

automation

bug

business

chore

ci

compliance

data

data-moat

docs

duplicate

dx

enhancement

feedback/max

generative

needs-discussion

needs-human

observability

pause-bots

performance

priority/p0

priority/p1

priority/p2

priority/p3

scope/backend

scope/db

scope/devops

scope/frontend

scope/qa

scrapers

security

site-finder

stage/1

stage/2

status/blocked

status/done

status/needs-analysis

status/needs-fix

status/qa

status/ready

status/review

status/wip

tech-debt

tradein

ux

week ревью 1

wontfix

ИРД

вторичка

Milestone

Clear milestone

No items

No milestone

Projects

Clear projects

No items

No project

Assignees

Clear assignees

No assignees

2 participants

Notifications

Subscribe

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#3014

No description provided.