gendesign/backend/app/services
bot-backend 5d34bb7833 fix(vodokanal): column-aligned parse by header labels, not blind indices
Прод-баг #2126: water_supply_reserves содержал мусор — резерв = № п/п формы
(1.1, 1.3, 2.18…), а рубрики анкеты («Количество поданных…»), «Итого:» и шапки
попадали в поле system_name. Итог §3 показывал «водоснабжение 1,1 / водоотведение
3,0 тыс. м³/сут» (номера строк, не резервы).

Корень: extract_water_rows брал «первую текстовую ячейку» как имя и «первое число
строки» как резерв. РЕАЛЬНАЯ сетка (снята с прода 2026-07-03 через docker exec тем
же путём, что лоадер) устроена иначе, причём две страницы имеют РАЗНЫЙ layout:

- водоснабжение: 6 колонок, каждый ЦСВ = 4 строки показателей; резерв — строка,
  где col2 = «Резерв мощности централизованной системы…», значение в col4;
- водоотведение: 5 колонок, имя системы — отдельная строка-заголовок
  («Централизованная система…»/«Транспортировка сточных вод…»), резерв в col3.

Переписал парсинг column-aligned по подписям шапки и метке показателя: детект
layout по строке-шапке, резерв ТОЛЬКО из строки «Резерв мощности…» (+ защита
ед.изм. «тыс…м3/сут»), заявки/отказы — из своих рубрик. Шапки, «Итого:», легенда
отфильтрованы. Нули («Отсутствие резерва мощности», 0,0) сохраняются честно
(0.0 + note), как в eias_heat_loader после того же класса бага. Дедуп байт-в-байт
одинаковых имён суффиксом « (N)» (защита UNIQUE), warning при 0 записей.

Прод-verify нового парсера на живом docx: water → 33 ЦСВ (ЗФС,ГСВ −168,5; Изоплит
0,0; Шабровский 1,03; ПТВ 73,34), sewerage → 6 систем (Южный бассейн −296,85;
Северный 2,02). Ни один резерв больше не равен № п/п.

Тесты: фикстуры из РЕАЛЬНОЙ сетки обоих layout (шапка + ЦСВ + рубрики + «Итого:» +
легенда + ноль-резерв); ассерты — резервы из правильной колонки, мусор отфильтрован,
нули сохранены; end-to-end через load_water_reserves_from_docx. 41 passed.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-03 02:42:29 +05:00
..
analysis_runs fix(week-review): backend-аудит v2 — 82 фиксов (#1660) 2026-06-17 17:13:38 +00:00
analytics fix(week-review): backend-аудит v2 — 82 фиксов (#1660) 2026-06-17 17:13:38 +00:00
cadastre fix(cadastre): cad_territorial_zones MULTIPOLYGON typmod + ST_Multi coercion (#1344) 2026-06-17 20:23:56 +03:00
chat fix(admin-scrape): ge=1 on count param + enforce LLM finish_reason (#review-followup) 2026-06-17 21:23:13 +03:00
etl feat(etl): read tradein data via market.v_* contract views (#2138 step 2/3) 2026-07-02 15:00:38 +00:00
exporters fix(best-layouts): покрытие §4.2 в комплексах, не в сырых obj_id (#2177, шаг 1/3) (#2198) 2026-07-02 19:34:11 +00:00
forecasting perf(objective_lots): inline DISTINCT ON for 3 view-fullscan consumers + cache landing stats (#1953) (#2067) 2026-06-28 17:25:41 +00:00
generative feat(section7): editable section footprint + корпус plural/program hint (#1953) (#2102) 2026-06-30 09:48:11 +00:00
llm fix(llm): word-boundary INN match, tighten edge cases (#1640 follow-up) 2026-06-17 21:24:59 +03:00
photos merge: resolve conflicts with main (#1660) into week-review-finish 2026-06-17 20:21:06 +03:00
scrapers fix(scrapers): разблокировать domrf_kn flats — изоляция flats от poison-extras + throttle (#1945) (#2050) 2026-06-28 13:03:43 +00:00
site_finder fix(vodokanal): column-aligned parse by header labels, not blind indices 2026-07-03 02:42:29 +05:00
__init__.py init 2026-04-25 13:45:19 +03:00
analytics_queries.py fix(analytics): recommend_mix success-boost regression from view 172 (#1955) 2026-06-27 15:49:40 +05:00
analytics_refresh.py fix(scrape): SQLAlchemy text() парсил ':00:' regex как named-param 2026-04-30 23:16:11 +03:00
forecast_request_cache.py perf(forecast): per-request memoization cache for §22 cold build (#1129) 2026-06-08 05:26:27 +00:00
insights.py feat(insights): manual-entry Insight entity CRUD + §19 audit (#948 part A) 2026-06-08 12:41:39 +05:00
job_settings.py fix(admin-jobs): UPSERT в PUT /admin/jobs/settings — не терять изменения (#1223) 2026-06-13 08:36:23 +00:00
objective_etl.py fix(week-review): backend-аудит v2 — 82 фиксов (#1660) 2026-06-17 17:13:38 +00:00
objective_sync_config.py fix(objective-sync): log seed failure вместо bare except pass (#1226) 2026-06-13 15:03:34 +05:00
own_projects.py feat(site-finder): own-portfolio data source for §25.3 cannibalization (#1169 PR1) 2026-06-08 16:21:53 +05:00
weather_cache.py fix(weather): wind_d returns None when no valid samples, not fabricated 0.0° (#weather-cache) 2026-06-17 21:22:31 +03:00