lekss361/gendesign
1
0
Fork 0
Code Issues 57 Pull requests Projects Releases Packages Wiki Activity Actions

Точки подключения с характеристиками: 51 источник, 27 верифицированы (research 2026-07-02) #2119

New issue
Closed
opened 2026-07-02 07:08:15 +00:00 by bot-backend · 5 comments
bot-backend commented 2026-07-02 07:08:15 +00:00
Collaborator
Copy link

Глубокое исследование (36 агентов, все URL живьём проверены; полный JSON — в сессии). Цель: наполнить карту точками подключения газ/свет/вода/тепло/канализация с характеристиками (свободная мощность, напряжение, диаметр, износ, владелец). Ключевой факт: почти все источники гео-блокируют не-RU IP → все лоадеры гонять с прод-сервера (46.173.16.127).

TIER 1 — быстрые победы (CONFIRMED, живые URL, S/M)

  • Россети портал-тп.рф — открытый WFS центров питания ⭐ v5/S. 488 ПС 35-220кВ Свердл. обл. (из них 70 АО ЕЭСК по городу ЕКБ) с координатами + индекс загрузки (открыт/ограничен/закрыт). Живой GeoJSON без авторизации:
    https://xn----7sb7akeedqd.xn--p1ai/geoserver/wfs?service=WFS&version=1.1.0&request=GetFeature&typeName=gisosslabs:sc_points_fullview&outputFormat=json&CQL_FILTER=rg_code='SverdlovskOblast' (проверено: 200, 488 фич). Внимание: координаты округлены до ~100 м.
  • Россети Урал — раскрытие ПП №24 (XLSX) ⭐ v5/M. Два реестра: (а) 396 ЦП 35-110кВ — установленная мощность МВА / загрузка / текущий резерв для ТП; (б) 10 741 ТП/РП 6-10кВ с резервом мощности! rosseti-ural.ru/company/disclosure/monopoly/characteristic/bandwidth/ (299 xlsx, срезы 2018-2026; структура: данные со строки 8/9). Матчить к WFS-точкам по имени ПС; ТП/РП геокодить через наши cad_buildings/OSM/НСПД (см. синергию ниже).
  • Газпром трансгаз Екатеринбург — свободная мощность ГРС ⭐ v5/M. HTML-таблица, 63 ГРС Свердл. обл. (ГРС-1..4 ЕКБ, Арамиль, Сысерть…): ekaterinburg-tr.gazprom.ru/about/informatsiya-o-tekhnicheskoj-vozmo/ (нужны Chrome-UA + -k, WAF режет curl-UA).
  • Екатеринбурггаз — формы ФАС 960/22 v4/M. ~1038 точек выхода из сети по городу со свободной мощностью по каждой точке (бывает отрицательная=дефицит), адреса потребителей → геокод. ekgas.ru/raskrytie-informacii/raskrytie-informatsii-1 (459 файлов; шапка стр. 11, данные со стр. 13).
  • Газпром ГРО Екатеринбург (svoblgaz.ru) — формы 6/7 v4/S. Агломерация (В.Пышма, Арамиль, Сысерть, Среднеуральск): ГРС → точка выхода (инв. № газопровода — матчится с НСПД «Сооружения»!) → свободная мощность. Шаблон URL стабильный, каталог = месяц факта+1.
  • Водоканал ЕКБ — резервы ЦСВ/ЦСК (ПП №6) ⭐ v5/S. DOCX-таблицы поквартально: ~20 систем водоснабжения + водоотведение. Город: резерв −168,5 тыс. м³/сут = дефицит (подключение только через инвестпрограмму — критичный гейт для финмодели!). водоканалекб.рф/info/vodosnabzhenie/ + /info/vodotvedenie/.
  • Схема теплоснабжения ЕКБ до 2045 (актуализация 2026, приказ Минэнерго №172тд) ⭐ v5/M. Per-source мощности/резервы всех ТЭЦ и котельных (578 упоминаний «резерв»). Тома на Nextcloud-шаре: curl -k -u '72IMgN95vs3FGpo:' -X PROPFIND https://cloud.ekadm.ru/public.php/webdav/ → PDF → camelot/tabula.
  • INFERENCE из своей БД (zero external deps!) v4/S-M:
    • cad_zouit: 1936 охранных зон сетей, 99% с классом сети в name_by_doc («Охранная зона КЛ 6/10КВ РП231-ТП2374», «ВЛ-110 кВ…», «газопровод…») → regex-извлечение сети/класса/напряжения + трасса = сама зона. Таблица inferred_networks.
    • cad_constructions (15 871 строк): parsed-колонки params_* пусты (loader gap!), но raw_props->>'params_name' заполнен на 15 695, 2 616 с напряжением + ТП-граф в именах (РП→ТП связи) → regex-backfill.

TIER 2 — средние (M/L)

  • НСПД aeggis/v4 слои 37578/37581 (ЗОУИТ энергетики/связи/транспорта) v4/M — grid-walk нашим готовым WMS-харвестером + enrich каждого reg_numb через api/geoportal/v2/search/geoportal?thematicSearchId=5&query=66:41-6.NNNN (проверено 200 с прода; v3 мёртв — только v4).
  • ФАС ri.eias.ru v4/M — резервы мощности тепло/ГВС/ХВС/водоотведение по ВСЕМ регулируемым организациям области (ASP.NET postback-выгрузка XLS, только RU-IP).
  • ГИС ЖКХ РКИ v4/L — котельные/ЦТП/водозаборы/КНС/подстанции с процентом износа, годом ввода, нагрузкой (dom.gosuslugi.ru/rki/...searchBySki — нужен Playwright+session с прода).
  • КПТ XML Роскадастр v4/M — полный срез квартала (сооружения с протяжённостью + все ЗОУИТ с именами). Пилот: купить архивный КПТ 66:41:0702017 за ~64₽ (polygon.top), отладить парсер, потом свежие по 100-1400₽.

TIER 3 — стратегические (L, официальные запросы)

  • ГИСОГД СО раздел 11 (gisogd66.midural.ru, Geometa) v4/L — векторный «План наземных и подземных коммуникаций» всей области. ЕСИА-логин (вручную) + пилотный платный запрос (100₽/ед., 5 раб. дней) на квартал 66:41:0702017 с требованием GeoPackage/SHP МСК-66.
  • Дежурный план ЕКБ М1:500 (Главархитектура, модуль Geometa «Инженерные коммуникации», 26 типов объектов: диаметр/материал/владелец/отметки колодцев) v4/L — только платный запрос по участкам через эл. приёмную екатеринбург.рф; городские порталы мертвы (NXDOMAIN).
  • 191-ФЗ Directories.gpkg v2/S — словари material/gas_type/classid → RU-названия (гуманизация будущих данных). Layers.gpkg подтверждён ПУСТЫМ шаблоном — сети оттуда не появятся. Зазеркалить zip в репо (old-домен могут погасить).

Синергия (главный трюк)

Резервы ТП/РП 6-10кВ (10 741 строка, без координат) геокодятся через уже имеющиеся точки: cad_buildings (здания ТП/РП), OSM power=substation/transformer, НСПД сооружения, и ТП-граф из имён КЛ в cad_zouit («РП231-ТП2374»). Итог: карта точек подключения эл-ва с реальным резервом МВА почти на весь город.

Инфраструктурное требование

Все RF-источники гео-блокируют: лоадеры = Celery-таски с прод-сервера. Уже в БД готова схема engineering_networks (91_engineering_networks_191fz.sql: owner/wear/diameter/voltage/power/is_planned + МСК-66) — использовать её как целевую таблицу.

Research: 2026-07-02, 36 агентов, adversarial verify; vault note research/Engineering_Networks_Schema_191FZ_May12.md подтверждена против живого артефакта.

Глубокое исследование (36 агентов, все URL живьём проверены; полный JSON — в сессии). Цель: наполнить карту точками подключения газ/свет/вода/тепло/канализация **с характеристиками** (свободная мощность, напряжение, диаметр, износ, владелец). Ключевой факт: почти все источники **гео-блокируют не-RU IP** → все лоадеры гонять с прод-сервера (46.173.16.127). ## TIER 1 — быстрые победы (CONFIRMED, живые URL, S/M) - [ ] **Россети портал-тп.рф — открытый WFS центров питания** ⭐ v5/S. 488 ПС 35-220кВ Свердл. обл. (из них 70 АО ЕЭСК по городу ЕКБ) с координатами + индекс загрузки (открыт/ограничен/закрыт). Живой GeoJSON без авторизации: `https://xn----7sb7akeedqd.xn--p1ai/geoserver/wfs?service=WFS&version=1.1.0&request=GetFeature&typeName=gisosslabs:sc_points_fullview&outputFormat=json&CQL_FILTER=rg_code='SverdlovskOblast'` (проверено: 200, 488 фич). Внимание: координаты округлены до ~100 м. - [ ] **Россети Урал — раскрытие ПП №24 (XLSX)** ⭐ v5/M. Два реестра: (а) 396 ЦП 35-110кВ — установленная мощность МВА / загрузка / **текущий резерв для ТП**; (б) **10 741 ТП/РП 6-10кВ** с резервом мощности! `rosseti-ural.ru/company/disclosure/monopoly/characteristic/bandwidth/` (299 xlsx, срезы 2018-2026; структура: данные со строки 8/9). Матчить к WFS-точкам по имени ПС; ТП/РП геокодить через наши cad_buildings/OSM/НСПД (см. синергию ниже). - [ ] **Газпром трансгаз Екатеринбург — свободная мощность ГРС** ⭐ v5/M. HTML-таблица, 63 ГРС Свердл. обл. (ГРС-1..4 ЕКБ, Арамиль, Сысерть…): `ekaterinburg-tr.gazprom.ru/about/informatsiya-o-tekhnicheskoj-vozmo/` (нужны Chrome-UA + `-k`, WAF режет curl-UA). - [ ] **Екатеринбурггаз — формы ФАС 960/22** v4/M. ~1038 точек выхода из сети по городу со **свободной мощностью по каждой точке** (бывает отрицательная=дефицит), адреса потребителей → геокод. `ekgas.ru/raskrytie-informacii/raskrytie-informatsii-1` (459 файлов; шапка стр. 11, данные со стр. 13). - [ ] **Газпром ГРО Екатеринбург (svoblgaz.ru) — формы 6/7** v4/S. Агломерация (В.Пышма, Арамиль, Сысерть, Среднеуральск): ГРС → точка выхода (инв. № газопровода — матчится с НСПД «Сооружения»!) → свободная мощность. Шаблон URL стабильный, каталог = месяц факта+1. - [ ] **Водоканал ЕКБ — резервы ЦСВ/ЦСК (ПП №6)** ⭐ v5/S. DOCX-таблицы поквартально: ~20 систем водоснабжения + водоотведение. Город: **резерв −168,5 тыс. м³/сут = дефицит** (подключение только через инвестпрограмму — критичный гейт для финмодели!). `водоканалекб.рф/info/vodosnabzhenie/` + `/info/vodotvedenie/`. - [ ] **Схема теплоснабжения ЕКБ до 2045 (актуализация 2026, приказ Минэнерго №172тд)** ⭐ v5/M. Per-source мощности/резервы всех ТЭЦ и котельных (578 упоминаний «резерв»). Тома на Nextcloud-шаре: `curl -k -u '72IMgN95vs3FGpo:' -X PROPFIND https://cloud.ekadm.ru/public.php/webdav/` → PDF → camelot/tabula. - [ ] **INFERENCE из своей БД (zero external deps!)** v4/S-M: - `cad_zouit`: 1936 охранных зон сетей, **99% с классом сети в name_by_doc** («Охранная зона КЛ 6/10КВ РП231-ТП2374», «ВЛ-110 кВ…», «газопровод…») → regex-извлечение сети/класса/напряжения + трасса = сама зона. Таблица `inferred_networks`. - `cad_constructions` (15 871 строк): parsed-колонки params_* пусты (loader gap!), но `raw_props->>'params_name'` заполнен на 15 695, **2 616 с напряжением + ТП-граф в именах** (РП→ТП связи) → regex-backfill. ## TIER 2 — средние (M/L) - [ ] **НСПД aeggis/v4 слои 37578/37581** (ЗОУИТ энергетики/связи/транспорта) v4/M — grid-walk нашим готовым WMS-харвестером + enrich каждого reg_numb через `api/geoportal/v2/search/geoportal?thematicSearchId=5&query=66:41-6.NNNN` (проверено 200 с прода; v3 мёртв — только v4). - [ ] **ФАС ri.eias.ru** v4/M — резервы мощности тепло/ГВС/ХВС/водоотведение по ВСЕМ регулируемым организациям области (ASP.NET postback-выгрузка XLS, только RU-IP). - [ ] **ГИС ЖКХ РКИ** v4/L — котельные/ЦТП/водозаборы/КНС/подстанции с **процентом износа**, годом ввода, нагрузкой (`dom.gosuslugi.ru/rki/...searchBySki` — нужен Playwright+session с прода). - [ ] **КПТ XML Роскадастр** v4/M — полный срез квартала (сооружения с протяжённостью + все ЗОУИТ с именами). Пилот: купить архивный КПТ 66:41:0702017 за ~64₽ (polygon.top), отладить парсер, потом свежие по 100-1400₽. ## TIER 3 — стратегические (L, официальные запросы) - [ ] **ГИСОГД СО раздел 11** (gisogd66.midural.ru, Geometa) v4/L — векторный «План наземных и подземных коммуникаций» всей области. ЕСИА-логин (вручную) + пилотный платный запрос (100₽/ед., 5 раб. дней) на квартал 66:41:0702017 с требованием GeoPackage/SHP МСК-66. - [ ] **Дежурный план ЕКБ М1:500** (Главархитектура, модуль Geometa «Инженерные коммуникации», 26 типов объектов: диаметр/материал/владелец/отметки колодцев) v4/L — только платный запрос по участкам через эл. приёмную екатеринбург.рф; городские порталы мертвы (NXDOMAIN). - [ ] **191-ФЗ Directories.gpkg** v2/S — словари material/gas_type/classid → RU-названия (гуманизация будущих данных). Layers.gpkg подтверждён ПУСТЫМ шаблоном — сети оттуда не появятся. Зазеркалить zip в репо (old-домен могут погасить). ## Синергия (главный трюк) Резервы ТП/РП 6-10кВ (10 741 строка, без координат) геокодятся через **уже имеющиеся** точки: cad_buildings (здания ТП/РП), OSM power=substation/transformer, НСПД сооружения, и **ТП-граф из имён КЛ в cad_zouit** («РП231-ТП2374»). Итог: карта точек подключения эл-ва с реальным резервом МВА почти на весь город. ## Инфраструктурное требование Все RF-источники гео-блокируют: лоадеры = Celery-таски с прод-сервера. Уже в БД готова схема `engineering_networks` (91_engineering_networks_191fz.sql: owner/wear/diameter/voltage/power/is_planned + МСК-66) — использовать её как целевую таблицу. _Research: 2026-07-02, 36 агентов, adversarial verify; vault note research/Engineering_Networks_Schema_191FZ_May12.md подтверждена против живого артефакта._
bot-backend commented 2026-07-02 09:47:03 +00:00
Author
Collaborator
Copy link

✅ Фаза A задеплоена и прод-верифицирована (2026-07-02)

PR #2120 + фикс #2121 (URL-энкоженные href раскрытия).

Данные на проде:

  • power_supply_centers: 488 ПС Свердл. обл. с координатами (WFS портал-тп.рф), 392 открытых / 49 ограниченных / 47 закрытых; 351 с резервами МВА (матч xlsx-раскрытия «на 30.06.2026», 392/396 строк, 13 unmatched залогированы).
  • power_tp_rp_reserves: 10 741 ТП/РП с резервами (кВА-санитайзер сработал по всему файлу — колонка фактически в кВА, значения 0,25–2,5 МВА физичны). Геокод — Фаза B (DaData, ключи уже на проде у tradein).
  • water_supply_reserves: 34 системы (28 ЦСВ + 6 ЦСК), 2026-Q1.

На ПТИЦЕ (§3, скриншоты в сессии):

  • Карточка «Ресурсные резервы для подключения (ТП)»: «Ближайший центр питания: ПС 110/35/10 кВ Свердловская · резерв 6,8 МВА · открыт для ТП · 1 819 м»; вода город +1,1 тыс. м³/сут, водоотведение +3,0, +32 системы под спойлером.
  • Слой «Центры питания (резерв): 11» с легендой; попапы: «ПС 110/10/6 Бархотка · закрыт · 1 257 м», «ПС 110/35/6 Северная · открыт для ТП · 1 691 м».
  • Celery weekly: вт 04:00/04:30.

Обнаруженный gap → в Фазу B: городские ПС Екатеринбурга (Бархотка, Космическая, Северная…) без резервов МВА — они на балансе АО «ЕЭСК» (отдельная ГСО), её раскрытие публикуется отдельно (eesk.ru). Добавить лоадер ЕЭСК-раскрытия + матчинг к тем же WFS-точкам.

Остальной бэклог Фазы B/C — по плану в описании тикета (газ ГРС/Екатеринбурггаз + DaData-геокод, ГИСОГД-запросы, OSM-расширение, inference из ЗОУИТ).

## ✅ Фаза A задеплоена и прод-верифицирована (2026-07-02) PR [#2120](https://git.gendsgn.ru/lekss361/gendesign/pulls/2120) + фикс [#2121](https://git.gendsgn.ru/lekss361/gendesign/pulls/2121) (URL-энкоженные href раскрытия). **Данные на проде:** - `power_supply_centers`: **488 ПС** Свердл. обл. с координатами (WFS портал-тп.рф), 392 открытых / 49 ограниченных / 47 закрытых; **351 с резервами МВА** (матч xlsx-раскрытия «на 30.06.2026», 392/396 строк, 13 unmatched залогированы). - `power_tp_rp_reserves`: **10 741 ТП/РП** с резервами (кВА-санитайзер сработал по всему файлу — колонка фактически в кВА, значения 0,25–2,5 МВА физичны). Геокод — Фаза B (DaData, ключи уже на проде у tradein). - `water_supply_reserves`: 34 системы (28 ЦСВ + 6 ЦСК), 2026-Q1. **На ПТИЦЕ (§3, скриншоты в сессии):** - Карточка «Ресурсные резервы для подключения (ТП)»: «Ближайший центр питания: ПС 110/35/10 кВ Свердловская · **резерв 6,8 МВА** · открыт для ТП · 1 819 м»; вода город +1,1 тыс. м³/сут, водоотведение +3,0, +32 системы под спойлером. - Слой «Центры питания (резерв): 11» с легендой; попапы: «ПС 110/10/6 Бархотка · закрыт · 1 257 м», «ПС 110/35/6 Северная · открыт для ТП · 1 691 м». - Celery weekly: вт 04:00/04:30. **Обнаруженный gap → в Фазу B:** городские ПС Екатеринбурга (Бархотка, Космическая, Северная…) без резервов МВА — они на балансе **АО «ЕЭСК»** (отдельная ГСО), её раскрытие публикуется отдельно (eesk.ru). Добавить лоадер ЕЭСК-раскрытия + матчинг к тем же WFS-точкам. Остальной бэклог Фазы B/C — по плану в описании тикета (газ ГРС/Екатеринбурггаз + DaData-геокод, ГИСОГД-запросы, OSM-расширение, inference из ЗОУИТ).
bot-backend commented 2026-07-02 14:53:17 +00:00
Author
Collaborator
Copy link

✅ Фаза B1 (газ) задеплоена и прод-верифицирована (2026-07-02)

PR: #2123 (вертикаль) + #2124/#2125 (SSL: CA-бандл + HARICA-интермедиат — сервер ГТЕ не отдаёт цепочку) + #2145 (парсер под реальную структуру таблицы).

Данные на проде: gas_grs_capacity — 79 ГРС Свердловской области (asof 01.06.2026), включая городские. Ключевой инсайт для продукта: городские ГРС Екатеринбурга исчерпаны (ГРС-2: 0 из 140 тыс. м³/ч, ГРС-3: 0 из 264, ГРС-1 вых.1: 0,044 из 228) с расшивкой через «Программу развития газоснабжения 2026–2030» — это жёсткий gate, теперь виден в каждом отчёте.

На ПТИЦЕ (скриншот в сессии): блок «ГАЗ» в карточке «Ресурсные резервы» §3 — по-ГРС свободно/проектная, бейджи резерв/исчерпана, сроки расшивки, суммарная строка. Пометка ЕЭСК в попапах городских ПС. Celery weekly вт 05:00.

DaData: куплен максимальный тариф, ключи ротированы и заведены на прод (оба бэкенда) + vault — Фаза B2-геокод разблокирован.

Уроки в копилку (для лоадеров РФ-инфры): гео-блоки → RUN-ON-PROD; URL-энкоженные href; серверы без intermediate-цепочки (HARICA) → свой CA-бандл; таблицы с caption/регионами-разделителями/continuation-строками → структуру снимать с живой страницы ДО написания парсера.

Хвосты B1 (minor): «(выход №N)» в живых именах стоит перед «(N)» → не выносится в output_name (косметика имён); free 0,044 отображается как «0,0» (1 decimal). Следующее: B2 — Екатеринбурггаз форма-6 точки выхода + DaData-геокод, ЕЭСК-резервы, тепло через ФГИС ФАС (ri.eias.ru).

## ✅ Фаза B1 (газ) задеплоена и прод-верифицирована (2026-07-02) PR: [#2123](https://git.gendsgn.ru/lekss361/gendesign/pulls/2123) (вертикаль) + [#2124](https://git.gendsgn.ru/lekss361/gendesign/pulls/2124)/[#2125](https://git.gendsgn.ru/lekss361/gendesign/pulls/2125) (SSL: CA-бандл + HARICA-интермедиат — сервер ГТЕ не отдаёт цепочку) + [#2145](https://git.gendsgn.ru/lekss361/gendesign/pulls/2145) (парсер под реальную структуру таблицы). **Данные на проде:** `gas_grs_capacity` — **79 ГРС Свердловской области** (asof 01.06.2026), включая городские. Ключевой инсайт для продукта: **городские ГРС Екатеринбурга исчерпаны** (ГРС-2: 0 из 140 тыс. м³/ч, ГРС-3: 0 из 264, ГРС-1 вых.1: 0,044 из 228) с расшивкой через «Программу развития газоснабжения 2026–2030» — это жёсткий gate, теперь виден в каждом отчёте. **На ПТИЦЕ (скриншот в сессии):** блок «ГАЗ» в карточке «Ресурсные резервы» §3 — по-ГРС свободно/проектная, бейджи резерв/исчерпана, сроки расшивки, суммарная строка. Пометка ЕЭСК в попапах городских ПС. Celery weekly вт 05:00. **DaData:** куплен максимальный тариф, ключи ротированы и заведены на прод (оба бэкенда) + vault — Фаза B2-геокод разблокирован. **Уроки в копилку** (для лоадеров РФ-инфры): гео-блоки → RUN-ON-PROD; URL-энкоженные href; серверы без intermediate-цепочки (HARICA) → свой CA-бандл; таблицы с caption/регионами-разделителями/continuation-строками → структуру снимать с живой страницы ДО написания парсера. **Хвосты B1 (minor):** «(выход №N)» в живых именах стоит перед «(N)» → не выносится в output_name (косметика имён); free 0,044 отображается как «0,0» (1 decimal). Следующее: B2 — Екатеринбурггаз форма-6 точки выхода + DaData-геокод, ЕЭСК-резервы, тепло через ФГИС ФАС (ri.eias.ru).
bot-backend commented 2026-07-02 18:42:28 +00:00
Author
Collaborator
Copy link

Фаза B2 (ЕЭСК + тепло) — LIVE и прод-верифицирована 2026-07-02

PR: #2165 (лоадеры+миграция 182+фронт) → #2172 (карточка ФАС: ссылка в onclick, период «N кв. YYYY», дедуп публикаций) → #2176 (column-aligned парсинг листа ТП) → #2191 (суффикс « (N)» дублям имён систем).

ЕЭСК (eesk.ru): 69/71 городских ПС сопоставлены с power_supply_centers — резерв в МВт + район города (unmatched: «Н.Исетская», «Центральная» — варианты написания, добить нормализацией при случае); +2014 городских ТП/РП в power_tp_rp_reserves. Закрыт ЕЭСК-gap из Фазы A: Бархотка 2.2 МВт (Кировский), Космическая 11.25 (Орджоникидзевский), Северная 50.39 (Орджоникидзевский). Попап ПС показывает район и «Резерв для ТП: X МВт» (qa-скриншот PASS).

Тепло (ФГИС ФАС ri.eias.ru, формы 14): heat_system_reserves — ЕТК 16 систем (3 публикации) + Екатеринбургэнерго 3 (1 публикация), период 2026-Q1. Ненулевые: зоны МУП «Екатеринбургэнерго» 62.198 Гкал/ч · СТ № 60 11.28 · СТ № 54 3.26; остальные — честные нули-дефицит. Суммарно в карточке §3: 76.7 Гкал/ч.

Грабли источника (задокументированы в лоадере):

  • ссылка TemplatePrinter живёт в onclick=openTemplateDialog(...) при href="#"; амперсанды бывают HTML-энкожены → html.unescape;
  • период в гриде — «1 кв. 2026 года», не «квартал»;
  • одна публикация повторяется ~3 строками грида (по видам деятельности) → дедуп по (guid, id);
  • лист «ТП» парсится ТОЛЬКО column-aligned (строка «Централизованная система» → имена, строка №5 → Гкал/ч тех же колонок): эвристика «правейшее число строки» хватает служебную колонку шаблона Flag_Row_Size (высоты строк) — первый прогон записал рубрики анкеты как «системы»;
  • разные системы бывают с байт-в-байт одинаковым именем (две зоны МУП) → суффикс « (2)», иначе UPSERT терял 62.198.

Карточка §3 теперь: ЭЛЕКТРИЧЕСТВО (Россети МВА + ЕЭСК МВт/районы) · ГАЗ (ГРС) · ТЕПЛО · ВОДА — четыре ресурса.

Остаток B2 по плану: Екатеринбурггаз форма-6 (~1038 адресных точек) + DaData-геокод; геокод 10.7k ТП/РП.

## Фаза B2 (ЕЭСК + тепло) — LIVE и прод-верифицирована 2026-07-02 PR: #2165 (лоадеры+миграция 182+фронт) → #2172 (карточка ФАС: ссылка в onclick, период «N кв. YYYY», дедуп публикаций) → #2176 (column-aligned парсинг листа ТП) → #2191 (суффикс « (N)» дублям имён систем). **ЕЭСК (eesk.ru):** 69/71 городских ПС сопоставлены с `power_supply_centers` — резерв в **МВт** + район города (unmatched: «Н.Исетская», «Центральная» — варианты написания, добить нормализацией при случае); +2014 городских ТП/РП в `power_tp_rp_reserves`. Закрыт ЕЭСК-gap из Фазы A: Бархотка 2.2 МВт (Кировский), Космическая 11.25 (Орджоникидзевский), Северная 50.39 (Орджоникидзевский). Попап ПС показывает район и «Резерв для ТП: X МВт» (qa-скриншот PASS). **Тепло (ФГИС ФАС ri.eias.ru, формы 14):** `heat_system_reserves` — ЕТК 16 систем (3 публикации) + Екатеринбургэнерго 3 (1 публикация), период 2026-Q1. Ненулевые: **зоны МУП «Екатеринбургэнерго» 62.198 Гкал/ч · СТ № 60 11.28 · СТ № 54 3.26**; остальные — честные нули-дефицит. Суммарно в карточке §3: **76.7 Гкал/ч**. **Грабли источника (задокументированы в лоадере):** - ссылка TemplatePrinter живёт в `onclick=openTemplateDialog(...)` при `href="#"`; амперсанды бывают HTML-энкожены → `html.unescape`; - период в гриде — «1 кв. 2026 года», не «квартал»; - одна публикация повторяется ~3 строками грида (по видам деятельности) → дедуп по (guid, id); - лист «ТП» парсится ТОЛЬКО column-aligned (строка «Централизованная система» → имена, строка №5 → Гкал/ч тех же колонок): эвристика «правейшее число строки» хватает служебную колонку шаблона `Flag_Row_Size` (высоты строк) — первый прогон записал рубрики анкеты как «системы»; - разные системы бывают с байт-в-байт одинаковым именем (две зоны МУП) → суффикс « (2)», иначе UPSERT терял 62.198. Карточка §3 теперь: ЭЛЕКТРИЧЕСТВО (Россети МВА + ЕЭСК МВт/районы) · ГАЗ (ГРС) · **ТЕПЛО** · ВОДА — четыре ресурса. Остаток B2 по плану: Екатеринбурггаз форма-6 (~1038 адресных точек) + DaData-геокод; геокод 10.7k ТП/РП.
bot-backend commented 2026-07-03 04:33:46 +00:00
Author
Collaborator
Copy link

Екатеринбурггаз форма-6 — LIVE целиком (B2-остаток закрыт)

Конвейер за ночь 2026-07-03: #2246 (схема gas_grs_outlet_points, dry-run на прод-образе PostGIS) → #2247+#2248 (лоадер; живой файл оказался сдвинут на +1 строку/колонку против разведки — парсер переведён на label-детект сетки) → #2249+#2250 (DaData-геокод; прод-инцидент: у токена отключена фича CLEAN — баланс стандартизации исчерпан; фолбэк на бесплатный suggest/address) → #2251 (Celery вт 05:15 + §3).

Прод-цифры (API-verified):

  • 1037 точек выхода (за май 2026, факт), 173 дефицит, 218 «требуют гидрорасчёта» («0.000*» ≠ ноль), 144 геокодированы (86% адресных строк; 20 честных отказов — огрызки экстрактора).
  • §3: строка-сводка в ГАЗ-блоке + слой на карте (профицит/дефицит/гидрорасчёт цветом, max-info попапы, млн м³/мес — не путать с тыс. м³/ч ГРС). Смоук на 66:41:0601001:1: 14 точек в радиусе 2 км, ближайшая — дефицитная котельная МУП в Шабрах (−0.085, 244 м).

Грабли источника (в докстрингах): домен сменился на ekgas.ru (старый ekaterinburggaz.ru ПРОДАЁТСЯ — якорить нельзя); www-хост ломает SSL (apex only); hex-путь файла меняется — только парс каталога; приоритет факта «за» над прогнозом «на»; сетка плавает — только label-детект.

Из B2 остаётся: геокод 10.7k ТП/РП (отдельный заход). Фаза C — по плану issue.

## Екатеринбурггаз форма-6 — LIVE целиком (B2-остаток закрыт) Конвейер за ночь 2026-07-03: **#2246** (схема `gas_grs_outlet_points`, dry-run на прод-образе PostGIS) → **#2247+#2248** (лоадер; живой файл оказался сдвинут на +1 строку/колонку против разведки — парсер переведён на label-детект сетки) → **#2249+#2250** (DaData-геокод; прод-инцидент: у токена отключена фича CLEAN — баланс стандартизации исчерпан; фолбэк на бесплатный suggest/address) → **#2251** (Celery вт 05:15 + §3). **Прод-цифры (API-verified):** - 1037 точек выхода (за май 2026, факт), **173 дефицит**, **218 «требуют гидрорасчёта»** («0.000*» ≠ ноль), 144 геокодированы (86% адресных строк; 20 честных отказов — огрызки экстрактора). - §3: строка-сводка в ГАЗ-блоке + слой на карте (профицит/дефицит/гидрорасчёт цветом, max-info попапы, млн м³/мес — не путать с тыс. м³/ч ГРС). Смоук на 66:41:0601001:1: 14 точек в радиусе 2 км, ближайшая — дефицитная котельная МУП в Шабрах (−0.085, 244 м). **Грабли источника (в докстрингах):** домен сменился на **ekgas.ru** (старый ekaterinburggaz.ru ПРОДАЁТСЯ — якорить нельзя); www-хост ломает SSL (apex only); hex-путь файла меняется — только парс каталога; приоритет факта «за» над прогнозом «на»; сетка плавает — только label-детект. Из B2 остаётся: геокод 10.7k ТП/РП (отдельный заход). Фаза C — по плану issue.
bot-backend commented 2026-07-03 08:57:20 +00:00
Author
Collaborator
Copy link

Фаза C завершена (2026-07-03) — PR #2280, #2281, #2282, hotfix #2283, все прод-верифицированы

Разведка (Overpass live + прод-SQL) показала: ценность «OSM-теги глубже + ЗОУИТ-inference» сконцентрирована в тепле — heat-слой §3 был гео-пустым (man_made=heat_substation в ЕКБ = 0 объектов).

C1 — теплотрассы из OSM (#2280). man_made=pipeline разводится по substance: heat/hot_water/steam → kind=heat. На проде после sync: 141 теплотрасса (было 0). Попап: «Теплотрасса · горячая вода · ⌀». qa-PASS: рендер на карте §3, попап с OSM way.

C2/C3 — позитив-разрез сетевых ЗОУИТ (#2281 + hotfix #2283). Поле nearby_network_zones в connection-capacity: до 2 ближайших сетевых охранных зон cad_zouit на net_kind в 300 м (GIST-префильтр + geography, ~70 мс). Гуманизация: кад.номер трубопровода, «Ввод N кВ от ТП M», ≤1 кВ помечен last-mile. Прод: 66:41:0404019:4728 → теплотрасса в 3 м, ввод 0,4 кВ в 58 м, газопровод в 125 м.
Hotfix #2283: SET LOCAL statement_timeout = :ms падал (Postgres не принимает bind в SET) — литералом, как offer_trend.

C2-UI (#2282). Блок «Сети рядом с участком» в карточке ресурсных резервов; thermal ≤50 м — первым с success-подсветкой. qa-PASS.

Скипнуто как косметика (осознанно, вернёмся только по запросу пользователей): power=pole (194), street_cabinet (36), power=cable (5), pipeline=marker (0), дорисовка НН-опор.

Важный факт из разведки: ЗОУИТ-электро = исключительно НН/10 кВ last-mile (0 зон ≥35 кВ) — транзит 110 кВ+ есть только в OSM (162 линии, уже рендерим).

Остатки вне этого эпика: реестр ТП ЕЭСК — B2B-запрос (#2254, за Anton), ГИСОГД раздел 11 (платный, 100₽/ед. — решение за Anton). Фазы A/B1/B2/C все на проде → эпик можно закрывать.

## Фаза C завершена (2026-07-03) — PR #2280, #2281, #2282, hotfix #2283, все прод-верифицированы Разведка (Overpass live + прод-SQL) показала: ценность «OSM-теги глубже + ЗОУИТ-inference» сконцентрирована в **тепле** — heat-слой §3 был гео-пустым (`man_made=heat_substation` в ЕКБ = 0 объектов). **C1 — теплотрассы из OSM (#2280).** `man_made=pipeline` разводится по `substance`: heat/hot_water/steam → kind=heat. На проде после sync: **141 теплотрасса** (было 0). Попап: «Теплотрасса · горячая вода · ⌀». qa-PASS: рендер на карте §3, попап с OSM way. **C2/C3 — позитив-разрез сетевых ЗОУИТ (#2281 + hotfix #2283).** Поле `nearby_network_zones` в connection-capacity: до 2 ближайших сетевых охранных зон cad_zouit на net_kind в 300 м (GIST-префильтр + geography, ~70 мс). Гуманизация: кад.номер трубопровода, «Ввод N кВ от ТП M», ≤1 кВ помечен last-mile. Прод: 66:41:0404019:4728 → теплотрасса **в 3 м**, ввод 0,4 кВ в 58 м, газопровод в 125 м. Hotfix #2283: `SET LOCAL statement_timeout = :ms` падал (Postgres не принимает bind в SET) — литералом, как offer_trend. **C2-UI (#2282).** Блок «Сети рядом с участком» в карточке ресурсных резервов; thermal ≤50 м — первым с success-подсветкой. qa-PASS. **Скипнуто как косметика** (осознанно, вернёмся только по запросу пользователей): power=pole (194), street_cabinet (36), power=cable (5), pipeline=marker (0), дорисовка НН-опор. **Важный факт из разведки:** ЗОУИТ-электро = исключительно НН/10 кВ last-mile (0 зон ≥35 кВ) — транзит 110 кВ+ есть только в OSM (162 линии, уже рендерим). Остатки вне этого эпика: реестр ТП ЕЭСК — B2B-запрос (#2254, за Anton), ГИСОГД раздел 11 (платный, 100₽/ед. — решение за Anton). Фазы A/B1/B2/C все на проде → эпик можно закрывать.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels   
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

No labels
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
Fable 5 ревью
feedback/max
generative
GG-форсайт
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
вторичка
ИРД
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#2119
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?