gendesign/backend
bot-backend 5d34bb7833 fix(vodokanal): column-aligned parse by header labels, not blind indices
Прод-баг #2126: water_supply_reserves содержал мусор — резерв = № п/п формы
(1.1, 1.3, 2.18…), а рубрики анкеты («Количество поданных…»), «Итого:» и шапки
попадали в поле system_name. Итог §3 показывал «водоснабжение 1,1 / водоотведение
3,0 тыс. м³/сут» (номера строк, не резервы).

Корень: extract_water_rows брал «первую текстовую ячейку» как имя и «первое число
строки» как резерв. РЕАЛЬНАЯ сетка (снята с прода 2026-07-03 через docker exec тем
же путём, что лоадер) устроена иначе, причём две страницы имеют РАЗНЫЙ layout:

- водоснабжение: 6 колонок, каждый ЦСВ = 4 строки показателей; резерв — строка,
  где col2 = «Резерв мощности централизованной системы…», значение в col4;
- водоотведение: 5 колонок, имя системы — отдельная строка-заголовок
  («Централизованная система…»/«Транспортировка сточных вод…»), резерв в col3.

Переписал парсинг column-aligned по подписям шапки и метке показателя: детект
layout по строке-шапке, резерв ТОЛЬКО из строки «Резерв мощности…» (+ защита
ед.изм. «тыс…м3/сут»), заявки/отказы — из своих рубрик. Шапки, «Итого:», легенда
отфильтрованы. Нули («Отсутствие резерва мощности», 0,0) сохраняются честно
(0.0 + note), как в eias_heat_loader после того же класса бага. Дедуп байт-в-байт
одинаковых имён суффиксом « (N)» (защита UNIQUE), warning при 0 записей.

Прод-verify нового парсера на живом docx: water → 33 ЦСВ (ЗФС,ГСВ −168,5; Изоплит
0,0; Шабровский 1,03; ПТВ 73,34), sewerage → 6 систем (Южный бассейн −296,85;
Северный 2,02). Ни один резерв больше не равен № п/п.

Тесты: фикстуры из РЕАЛЬНОЙ сетки обоих layout (шапка + ЦСВ + рубрики + «Итого:» +
легенда + ноль-резерв); ассерты — резервы из правильной колонки, мусор отфильтрован,
нули сохранены; end-to-end через load_water_reserves_from_docx. 41 passed.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-03 02:42:29 +05:00
..
alembic fix(week-review): дожим ревью — #1569, #1590, #1642 + feat #801 MSW-preview 2026-06-17 11:24:34 +05:00
app fix(vodokanal): column-aligned parse by header labels, not blind indices 2026-07-03 02:42:29 +05:00
db/init ops: alembic baseline, pre-commit, TIGER cleanup, pg_dump scripts 2026-04-26 13:08:51 +03:00
output feat(geo): NSPD bulk-fetcher без Playwright + resume-friendly UI 2026-05-11 08:53:28 +03:00
scripts feat(scripts): Potrace floor-plan vectorization spike (#299) (#1663) 2026-06-17 17:12:48 +00:00
tests fix(vodokanal): column-aligned parse by header labels, not blind indices 2026-07-03 02:42:29 +05:00
.dockerignore fix(scraper): диагностируем «кнопка не работает» — Redis lock + task_received log 2026-04-28 23:17:42 +03:00
.env.example refactor(security): убрать X-Admin-Token (Caddy basic_auth достаточен) (#437) 2026-05-23 10:41:22 +00:00
.env.runtime.example sprint1: nspd scraper industrialization, per-bucket elasticity, cadastre cross-check, sentry releases 2026-04-30 21:51:19 +03:00
.gitignore fix(financial): парковка price/cost по классу (econom наземная, business Excel) 2026-06-24 16:58:21 +05:00
alembic.ini ops: alembic baseline, pre-commit, TIGER cleanup, pg_dump scripts 2026-04-26 13:08:51 +03:00
debug.log feat(geo): NSPD bulk-fetcher без Playwright + resume-friendly UI 2026-05-11 08:53:28 +03:00
Dockerfile feat(sf): OCR-пайплайн изъятия ЕКБ (Tesseract rus) → land_reservation (#1062) 2026-06-07 18:07:06 +03:00
pyproject.toml ci(infra): coverage-gate (#68) + OpenAPI codegen-assert (#69) + uptime monitoring (#75) 2026-06-13 23:28:06 +05:00
uv.lock ci(infra): coverage-gate (#68) + OpenAPI codegen-assert (#69) + uptime monitoring (#75) 2026-06-13 23:28:06 +05:00