lekss361/gendesign
1
0
Fork 0
Code Issues 57 Pull requests Projects Releases Packages Wiki Activity Actions

fix(vodokanal): column-aligned парсинг DOCX — реальные резервы вместо № п/п (#2119/#2126) #2238

Merged
bot-backend merged 2 commits from fix/vodokanal-column-parse into main 2026-07-02 22:03:16 +00:00
Conversation 0 Commits 2 Files changed 2 +492 -71
bot-backend commented 2026-07-02 21:47:53 +00:00
Collaborator
Copy link

Summary

  • Прод-баг: парсер Водоканала брал «первое число строки» → в water_supply_reserves попали номера строк формы (1.1, 2.18… — у ЗФС «резерв 1.1»!) плюс рубрики анкеты/«Итого:»/headers как «системы». Карточка §3 показывала «водоснабжение 1,1 / водоотведение 3,0 тыс. м³/сут» — это номера строк.
  • Реальная сетка снята с прода (обе страницы, один DOCX-формат на страницу, разные layout'ы): water — ЦСВ спанит 4 строки-показателя (имя col1, показатель col2, значение col4), sewerage — имя отдельной титул-строкой, значение col3. Парсер переписан column-aligned по подписям шапки + label-driven фильтры мусора; layout-rename → 0 строк + warning (не мусор). Дедуп имён « (N)» (урок тепла), unit-guard «тыс»+«сут».
  • Реальные цифры (live-прогон против прод-DOCX): вода 33 ЦСВ — ЗФС,ГСВ −168.5 (дефицит!), ПТВ +73.34, Изоплит 0.0; стоки 6 систем — Южный бассейн −296.85, Северный +2.02. Отрицательные дефициты проходят весь стек честно (NUMERIC без CHECK, фронт рендерит красный «дефицит»-бейдж).
  • Post-merge: DELETE FROM water_supply_reserves (34 мусорных строки) + перезалив лоадером на проде.

Test plan

  • 41 тестов лоадеров (фикстуры из реальной сетки обоих layout'ов, unicode-минус, vMerge, скип-фильтры), ruff clean
  • code-reviewer ✅ APPROVE (дефициты end-to-end, graceful degradation, unit-guard ужесточён по ревью)
  • post-merge: вычистка+перезалив, §3 ВОДА с реальными дефицитами, скриншот

Refs #2119

## Summary - Прод-баг: парсер Водоканала брал «первое число строки» → в `water_supply_reserves` попали **номера строк формы** (1.1, 2.18… — у ЗФС «резерв 1.1»!) плюс рубрики анкеты/«Итого:»/headers как «системы». Карточка §3 показывала «водоснабжение 1,1 / водоотведение 3,0 тыс. м³/сут» — это номера строк. - Реальная сетка снята с прода (обе страницы, один DOCX-формат на страницу, разные layout'ы): water — ЦСВ спанит 4 строки-показателя (имя col1, показатель col2, значение col4), sewerage — имя отдельной титул-строкой, значение col3. Парсер переписан **column-aligned по подписям шапки** + label-driven фильтры мусора; layout-rename → 0 строк + warning (не мусор). Дедуп имён « (N)» (урок тепла), unit-guard «тыс»+«сут». - **Реальные цифры (live-прогон против прод-DOCX)**: вода 33 ЦСВ — ЗФС,ГСВ **−168.5** (дефицит!), ПТВ **+73.34**, Изоплит 0.0; стоки 6 систем — Южный бассейн **−296.85**, Северный +2.02. Отрицательные дефициты проходят весь стек честно (NUMERIC без CHECK, фронт рендерит красный «дефицит»-бейдж). - Post-merge: `DELETE FROM water_supply_reserves` (34 мусорных строки) + перезалив лоадером на проде. ## Test plan - [x] 41 тестов лоадеров (фикстуры из реальной сетки обоих layout'ов, unicode-минус, vMerge, скип-фильтры), ruff clean - [x] code-reviewer ✅ APPROVE (дефициты end-to-end, graceful degradation, unit-guard ужесточён по ревью) - [ ] post-merge: вычистка+перезалив, §3 ВОДА с реальными дефицитами, скриншот Refs #2119
bot-backend added 2 commits 2026-07-02 21:47:54 +00:00 
Прод-баг #2126: water_supply_reserves содержал мусор — резерв = № п/п формы
(1.1, 1.3, 2.18…), а рубрики анкеты («Количество поданных…»), «Итого:» и шапки
попадали в поле system_name. Итог §3 показывал «водоснабжение 1,1 / водоотведение
3,0 тыс. м³/сут» (номера строк, не резервы).

Корень: extract_water_rows брал «первую текстовую ячейку» как имя и «первое число
строки» как резерв. РЕАЛЬНАЯ сетка (снята с прода 2026-07-03 через docker exec тем
же путём, что лоадер) устроена иначе, причём две страницы имеют РАЗНЫЙ layout:

- водоснабжение: 6 колонок, каждый ЦСВ = 4 строки показателей; резерв — строка,
  где col2 = «Резерв мощности централизованной системы…», значение в col4;
- водоотведение: 5 колонок, имя системы — отдельная строка-заголовок
  («Централизованная система…»/«Транспортировка сточных вод…»), резерв в col3.

Переписал парсинг column-aligned по подписям шапки и метке показателя: детект
layout по строке-шапке, резерв ТОЛЬКО из строки «Резерв мощности…» (+ защита
ед.изм. «тыс…м3/сут»), заявки/отказы — из своих рубрик. Шапки, «Итого:», легенда
отфильтрованы. Нули («Отсутствие резерва мощности», 0,0) сохраняются честно
(0.0 + note), как в eias_heat_loader после того же класса бага. Дедуп байт-в-байт
одинаковых имён суффиксом « (N)» (защита UNIQUE), warning при 0 записей.

Прод-verify нового парсера на живом docx: water → 33 ЦСВ (ЗФС,ГСВ −168,5; Изоплит
0,0; Шабровский 1,03; ПТВ 73,34), sewerage → 6 систем (Южный бассейн −296,85;
Северный 2,02). Ни один резерв больше не равен № п/п.

Тесты: фикстуры из РЕАЛЬНОЙ сетки обоих layout (шапка + ЦСВ + рубрики + «Итого:» +
легенда + ноль-резерв); ассерты — резервы из правильной колонки, мусор отфильтрован,
нули сохранены; end-to-end через load_water_reserves_from_docx. 41 passed.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
fix(vodokanal): unit-guard требует и «тыс», и «сут» (ревью: тыс.м3/час не проходит)
All checks were successful
CI / openapi-codegen-check (pull_request) Successful in 1m48s
Details
CI / backend-tests (pull_request) Successful in 14m32s
Details
CI Trade-In / changes (pull_request) Successful in 6s
Details
CI / changes (pull_request) Successful in 7s
Details
CI / frontend-tests (pull_request) Has been skipped
Details
CI Trade-In / backend-tests (pull_request) Has been skipped
Details
CI Trade-In / frontend-checks (pull_request) Has been skipped
Details
eddbe9eaa5
bot-backend merged commit 4c23c222f6 into main 2026-07-02 22:03:16 +00:00
bot-backend deleted branch fix/vodokanal-column-parse 2026-07-02 22:03:16 +00:00
Sign in to join this conversation.
Reviewers
No reviewers
Labels
Clear labels   
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

No labels
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
Fable 5 ревью
feedback/max
generative
GG-форсайт
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
вторичка
ИРД
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#2238
No description provided.
Delete branch "fix/vodokanal-column-parse"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?