273 commits

Author	SHA1	Message	Date
bot-backend	f72a08eb80	fix(ptica): download_binary переживает транзиентный ответ, как и get_json (#2464) ... Обе функции ходят через один браузерный контекст, под один и тот же WAF. `get_json` держит до пяти попыток с экспоненциальным backoff на 429/5xx/0, а `download_binary` не имел ретраев вовсе: один 429 ронял загрузку картинки насовсем, и вызывающий (`download_plan_image`, `download_photos`) писал в лог «не удалось» — неотличимо от «файла нет». Правильный образец лежал в этом же классе, двадцатью строками выше. Непереходные коды (403, 404) поднимаются сразу, без ожидания: повтор их не изменит, а лишний стук под WAF вредит. Разбор статуса вынесен ЗА семафор — sleep не должен держать слот. Двусторонне: против origin/main транзиентные тесты красные с конкретным значением («вместо байтов получили RuntimeError('binary http 429…'); попыток=1»), ни одного ImportError/TypeError. Контроли зелёные с обеих сторон: 403 и 404 не повторяются, исчерпание попыток даёт честную ошибку, а не пустые байты, успех с первой попытки не порождает лишних запросов. Отдельный контроль на паузы: без него «ретраит» и «долбит без пауз» неотличимы в тесте, а под WAF разница между ними решающая — проверяется, что задержки растут как 1, 2 секунды. pytest backend/tests/services/scrapers/ — 340 passed. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 22:57:14 +05:00
bot-backend	508f2d6090	fix(ptica): act_date — дата акта об изъятии, а не первой попавшейся ссылки (#2464) ... Часть эпика #2464. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 16:43:27 +00:00
bot-backend	46beeb4c13	fix(ptica): тип постановления — по первому упоминанию, а не по порядку проверок (#2464) ... Часть эпика #2464. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 16:28:26 +00:00
bot-backend	9a4acb67d1	fix(ptica): act_date — дата акта об изъятии, а не первой попавшейся ссылки (#2464) ... `_extract_act_date` брал ПЕРВОЕ «от DD.MM.YYYY» во всём OCR-тексте. «Сообщение о планируемом изъятии» открывается списком оснований, и первой строкой там стоит «Решение Екатеринбургской городской Думы от 06.07.2004 № 60/1 «Об утверждении Генерального плана города»» — Генплан, а не акт об изъятии. На проде это дало 11 строк из 27 с датой 2004-07-06 при проектах 2020 и 2022 годов, причём одну и ту же дату получили ДВА разных документа (развязка на Сибирском тракте и улица Энергостроителей). Совпадение даты у несвязанных актов и было первым признаком, что дата не своя. Дата принимается, только если в 120 символах перед ней стоит слово «постановлени». Ссылки-помехи в этих документах — «Решение … Думы» и «Приказ Министерства» — его не содержат. Окно шире самой фразы, потому что OCR перемешивает колонки таблицы и вклинивает в неё чужой текст («…Администрации города документами) Екатеринбурга от 19.04.2019…»). Если подходящей даты нет — None. Дата чужого документа хуже пустоты: по ней нельзя ни отфильтровать актуальные изъятия, ни сверить срок, и она неотличима от настоящей. Калибровка не на одном образце: все пять исходных PDF загружены и распознаны тем же трактом, что использует загрузчик (ocr_pdf_text в прод-контейнере). Окна 80/120/160 дают одинаковые 5 из 5. Более узкое правило (плюс «администраци») давало те же 5 из 5, но ломало законный случай «Постановление № 509-ПП» — областной акт без слова «администрация», уже закреплённый тестом test_act_date_extracted_from_text; взято широкое. Сквозная проверка: патченный код прогнан по всем пяти распознанным текстам целиком — 27 записей, ровно столько же, сколько строк в land_reservation; 11 меняют 2004-07-06 на настоящую дату, 16 не двигаются. Двусторонне: против origin/main три теста красные с реальным неверным значением ('2004-07-06'), ни одного TypeError — тесты идут через extract_izyatie_records, чья сигнатура одинакова на обеих сторонах. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 21:24:32 +05:00
bot-backend	71f27fee7d	fix(ptica): тип постановления — по первому упоминанию, а не по порядку проверок (#2464) ... `_detect_kind` проверял «резервир» первым и возвращал «резервирование» безусловно. Постановление об изъятии, где резервирование упомянуто вскользь — типовая формулировка «ранее зарезервированных земель», ссылка на утративший силу акт, — классифицировалось как резервирование. Ошибка не единичная: `kind` в `extract_reservations` один на весь документ, поэтому неверный тип уходит в КАЖДУЮ строку land_reservation по этому акту. Побеждает то слово, что встретилось раньше. Тема документа стоит в заголовке, поэтому позиция — сигнал сильнее порядка проверок, и он симметричен: заголовок «О резервировании» так же выигрывает у «изъятия» в теле. Простая смена порядка проверок этой симметрии не даёт — на неё поставлен отдельный контроль. Текущих ошибок на проде нет, и это измерено: в land_reservation 27 строк, все из источника izyatie_ekb_ocr, все «изъятие», ни в одной выдержке слова «резервир» не встречается. Правка закрывает возможность, а не чинит существующую порчу. Двусторонне: против origin/main два теста красные с конкретным неверным значением (`assert 'резервирование' == 'изъятие'`). Контроли — симметрия заголовка, одиночные маркеры, откат к default_kind — зелёные с обеих сторон. Формулировки в тестах взяты с прода дословно (basis_act). Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 17:49:03 +05:00
bot-backend	91b0747b3e	fix(ptica): «не продана» перестаёт означать «продана» (#2464) ... Регекс статусов каталога ДОМ.РФ искал ключевые слова без защиты от отрицания, поэтому русские отрицательные формы давали ОБРАТНЫЙ статус: «нереализована» → содержит «реализована» → sold «не продана» → содержит «продана» → sold «не забронирована» → содержит «забронирована» → reserved «не в продаже» → содержит «в продаже» → free Свободная квартира попадала бы в domrf_kn_flats.status проданной. Отрицание теперь гасит токен, а не переворачивает его. «Не забронирована» не означает ни sold, ни free; «не продана → free» — это вывод, а не факт со страницы. Лучше отсутствие статуса, чем неверный. Заодно вылечен второй дефект того же места: разбор брал ПЕРВОЕ совпадение в блоке, поэтому «Квартира не продана. Статус: в продаже» на main даёт sold. Новый _status_in_text перебирает все вхождения и берёт первое неотрицаемое — настоящий статус в блоке больше не теряется. Текущий эффект на проде НУЛЕВОЙ, и это проверено, а не предположено: catalog_updated_at пуст у всех 983 088 строк domrf_kn_flats (скрапер не записал ни одной), таска scrape_kn_catalog_flats закомментирована в beat_schedule.py из-за WAF-cooldown. Существующие значения status (free 25 656 / sold 3 122 / booked 641) пришли из kn-API — среди них 'booked', которого нет в константах этого модуля. Правка предупредительная: при включении пути дефект инвертировал бы статусы молча. Двусторонне: против origin/main 7 тестов красные, каждый с конкретным неверным значением («Нереализована» → 'sold'). Контроли (7 обычных форм и «не» в хвосте слова «Цене») зелёные с обеих сторон. Старая сюита парсера — 320 passed, регрессий нет. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 17:45:04 +05:00
bot-backend	131b83c2fe	fix(ptica): у пользователя не может быть двух дефолтных профилей весов (#2464) ... Закрывает часть эпика #2464. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 12:23:28 +00:00
bot-backend	f7d4b5bccf	fix(ptica): «объекта нет в БД» считается пропуском, а не сбоем (#2464) (#2974)	2026-08-20 11:59:39 +00:00
bot-backend	afa648b21f	fix(ptica): у пользователя не может быть двух дефолтных профилей весов (#2464) ... create_profile/update_profile делают «снять is_default у всех → поставить новому» двумя отдельными операторами. Между ними инвариант нарушен, и при одновременных запросах у пользователя может оказаться ДВА профиля с is_default=TRUE. А читающий _SELECT_DEFAULT брал LIMIT 1 БЕЗ ORDER BY — выбор молча перескакивал между ними от запроса к запросу. Два рубежа, а не один: миграция 190 — частичный уникальный индекс (user_id) WHERE is_default: два дефолта становятся невозможными на уровне БД; ORDER BY id — детерминированный выбор, если индекс когда-нибудь снимут. Соседние запросы этого файла тай-брейк по id уже имеют. Индекс не мешает штатной переустановке дефолта: порядок операторов в коде уже правильный (сначала снять у всех, потом поставить), поэтому в момент проверки дефолтов ноль. Это отдельно проверено тестом. Безопасность миграции: на проде нарушений нет — у admin один дефолт, у __system__ ноль, ни одного пользователя с двумя. Таблица в 4 строки, индексируется мгновенно. lock_timeout проставлен по #2752. Тест проверяет ПОВЕДЕНИЕ на живом Postgres: вторая установка дефолта отвергается базой. Плюс фальсификация — без индекса два дефолта вставляются молча; без неё зелёный тест неотличим от «оно и так не вставлялось». Плюс два контроля: переустановка дефолта работает, разные пользователи сохраняют свои. Тест про ORDER BY вынесен в tests/services/site_finder, а НЕ внесён в skip_allowlist: живой БД он не требует, и пропускаться вместе с DB-тестами ему незачем. Против origin/main он краснеет, показывая запрос без тай-брейка. Прогоны: без БД — 648 passed rc=0; с БД — 5 passed rc=0. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-20 16:58:48 +05:00
bot-backend	9b18c23a5a	fix(ptica): загрузчик теплоснабжения фиксирует по организациям, а не одной транзакцией (#2464) (#2973)	2026-08-20 11:51:57 +00:00
bot-backend	6e34928dd4	fix(ptica): серия WAF-блоков прерывает батч каталога, а не гонит его до конца (#2464) (#2971)	2026-08-20 10:54:11 +00:00
bot-backend	a899cb9b1f	fix(ptica): ключ синглтон-лока kn-свипа зависит от множества, а не от порядка (#2464) (#2970)	2026-08-20 10:34:30 +00:00
bot-backend	a4b989ca36	fix(ptica): WAF-блок прерывает backfill_parcel_geom, а не гонит его дальше по кварталам (#2464) (#2969)	2026-08-20 10:34:26 +00:00
bot-backend	88a2ebda02	docs(ptica): шесть мест, где документация расходилась с кодом (#2464) (#2968)	2026-08-20 10:25:22 +00:00
bot-backend	7abc0ed431	fix(ptica): два запроса connection-capacity перестают травить общую сессию (#2464) (#2964)	2026-08-20 09:53:34 +00:00
bot-backend	1470bc26de	fix(ptica): число ЗОУИТ перестаёт подписываться как число типов (#2464) (#2961)	2026-08-20 09:17:06 +00:00
bot-backend	edbaca1e87	fix(ptica): успехи батча каталога фиксируются по ходу, а не одним commit'ом в конце (#2464) (#2960)	2026-08-20 08:54:26 +00:00
bot-backend	07b5e5e6da	fix(ptica): HTML-экспортёр перестаёт выбрасывать легаси-зонирование, которое сам же проверил (#2464) (#2959)	2026-08-20 08:44:11 +00:00
bot-backend	c93d6cbde1	fix(ptica): шесть lookup'ов /analyze глотали ошибку БД без SAVEPOINT (#2464) (#2951)	2026-08-20 07:38:23 +00:00
bot-backend	6bca4f7ead	fix(ptica): «0 мм осадков» перестаёт означать «данных нет» (#2464) (#2947)	2026-08-20 07:00:01 +00:00
bot-backend	251eacc4b6	fix(ptica): сноска концепт-PDF печатает фактический срок распродажи, а не «30 мес» (#2464) (#2945)	2026-08-19 17:39:37 +00:00
bot-backend	43c71a006d	docs(ptica): три комментария, утверждавших не то, что делает код (#2464 кластер H) (#2943)	2026-08-19 17:09:24 +00:00
bot-backend	8eeb35cee5	fix(ptica): дрейф формы ответа DaData не роняет весь гео-проход (#2464) (#2942)	2026-08-19 16:59:49 +00:00
bot-backend	f3626540fc	test(ptica): снятие SAVEPOINT теперь роняет тест во всех местах кластера A (#2464) (#2938)	2026-08-19 16:06:59 +00:00
bot-backend	a2fbe4b400	fix(ptica): job_settings не отравляет чужую сессию при сбое БД (#2464 кластер A) (#2937)	2026-08-19 15:42:39 +00:00
bot-backend	52349a39f6	fix(ptica): строка о подтоплении в PDF и DOCX перестаёт читаться как заключение (#2934) (#2935)	2026-08-19 15:11:10 +00:00
bot-backend	bc489e1a6f	fix(ptica): гео-проход не тратит геокод на занятых кандидатов и не «подтверждает» их (#2464) (#2929)	2026-08-19 11:52:07 +00:00
bot-backend	b0776cd01d	fix(ptica): бан НСПД по WAF больше не глотается сборщиком кварталов (#2464-A) (#2881)	2026-08-14 06:00:10 +00:00
bot-backend	f600663aa0	docs(ptica): фактор уверенности называл не ту величину (#2464-H) (#2878)	2026-08-13 21:21:38 +00:00
bot-backend	e4680082ea	test(ci): развести «нагрузку не создать» и «защита сломана» в двух флапающих гейтах (#2783) (#2789)	2026-08-07 10:35:15 +00:00
bot-backend	90c3e7e490	test(scrapers/krt): вернуть в прогон проверку многоблочной страницы (#2778) (#2781)	2026-08-07 09:48:52 +00:00
bot-backend	a091da1aa8	fix(tests): починить и вычистить проверки, которые не исполнялись ни разу (#2744)	2026-08-06 16:57:28 +00:00
bot-backend	f987e819b2	fix(honesty): true competitors/neighbors totals + permits truncation disclosure (#2464 cluster B) (#2471)	2026-07-08 08:31:02 +00:00
bot-backend	9a6b56016b	fix(analytics): de-inflate domrf_kn snapshot counts (8.49×) + backfill UPSERT columns (#2464) (#2470)	2026-07-08 07:30:12 +00:00
bot-backend	d3f3370bed	fix(site_finder): SAVEPOINT supply/market + convert 2 bare rollbacks (#2464 Wave 2) (#2469)	2026-07-08 06:46:09 +00:00
bot-backend	01360e9c3d	fix(site_finder): SAVEPOINT-isolate gate-lookup db.execute swallows (#2464 Wave 2) (#2468)	2026-07-08 06:46:03 +00:00
bot-backend	22f3c44dc2	fix(site_finder): SAVEPOINT-isolate quarter-dump lookup db.execute (#2464 Wave 2) (#2467)	2026-07-08 06:30:32 +00:00
bot-backend	82fdabccba	fix(forecasting): SAVEPOINT-isolate §22 db.execute failures + close RELEASE-trap (#2464) (#2466)	2026-07-08 05:41:35 +00:00
bot-backend	39dd63333e	fix(site_finder): SAVEPOINT-isolate DB errors across cluster A (#2464) (#2465)	2026-07-07 12:50:11 +00:00
bot-backend	53b160ff0a	fix(scrapers): rate-limit/backoff/circuit-breaker для ОКН EGRKN-скрапера (#2445-D3) (#2461)	2026-07-05 20:09:18 +00:00
bot-backend	464519c69b	fix(workers): izyatie per-doc isolation + newbuilding-crossload breadcrumb (#2445-D5/D6) (#2460)	2026-07-05 20:09:12 +00:00
bot-backend	7315d04396	fix(scrapers): WAF-guard эндпоинтов + throttled catalog BrowserSession (#2445-D1/D2) (#2459)	2026-07-05 20:09:06 +00:00
bot-backend	be4b2ee1fa	fix(export): недостающая §13.7 «Уверенность» в PDF-экспортёре отчёта (#2445-C2) (#2456)	2026-07-05 19:40:38 +00:00
bot-backend	f3988add0a	fix(generative): устаревший VAT/office caveat в concept PDF (#2445-C1) (#2455)	2026-07-05 19:40:30 +00:00
bot-backend	1bbd4c99e2	fix(generative): отклонять спроецированные координаты до pyproj CRSError → 422 (#2445-B1) (#2453)	2026-07-05 19:20:19 +00:00
bot-backend	82e0b8b0a3	fix(site-finder): true-counts вместо молча-усечённых len(list) в connection-points/utility (#2445-A1/A2) (#2450)	2026-07-05 18:54:49 +00:00
bot-backend	c8c96a87ee	fix(site-finder): competitors avg-price по per-object снапшоту, не глобальному (#2445-A5) (#2447)	2026-07-05 18:54:36 +00:00
bot-backend	9b6aba42dc	fix(site-finder): L2 hidden-supply не обнуляет неизвестный flat_count (#2445-A3) (#2446)	2026-07-05 18:54:14 +00:00
bot-backend	5b3799a23a	feat(scrapers): wire per-flat DOM.РФ catalog scraper + propagate catalog_url_hash (#2442) (#2444)	2026-07-05 17:00:58 +00:00
bot-backend	eea9c99e73	feat(scrapers): extract + download DOM.РФ flat plan images (#2440) (#2441)	2026-07-05 16:23:29 +00:00