2235 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
bot-backend	3a13bce468	fix(forecasting): savepoint db.execute failures to stop §22 session poisoning (#2464) ... One layer's caught DB error left the shared §22 report Session in Postgres's "aborted transaction" state with no rollback, silently emptying every later layer on the same report. Wrap each failure point in db.begin_nested() (SAVEPOINT): orchestrator._safe_call, macro_series _query_key_rate_monthly / _query_inflation_monthly / _query_mortgage_monthly (per indicator), special_indices._run (per index), and sales_series _query_source_a / _query_source_b — so a sibling builder's failure no longer cascades. Also close the RELEASE-SAVEPOINT trap: inner helpers that swallowed a db.execute failure without their own savepoint left the tx aborted, so the outer builder's savepoint failed at RELEASE (illegal in an aborted tx) and poisoning still cascaded. Add savepoints at the inner catch sites — special_indices._query_parcel_centroid and district_resolver._admin_names / resolve_objective_districts. Refs #2464 (cluster A session-poisoning).	2026-07-07 17:50:17 +05:00
bot-backend	1fa99812af	fix(concept): §7 massing-сцена осознаёт весь MultiPolygon (соседи уезжали до 1.6км) (#2180) (#2463)	2026-07-07 08:10:27 +00:00
bot-backend	53b160ff0a	fix(scrapers): rate-limit/backoff/circuit-breaker для ОКН EGRKN-скрапера (#2445-D3) (#2461)	2026-07-05 20:09:18 +00:00
bot-backend	464519c69b	fix(workers): izyatie per-doc isolation + newbuilding-crossload breadcrumb (#2445-D5/D6) (#2460)	2026-07-05 20:09:12 +00:00
bot-backend	7315d04396	fix(scrapers): WAF-guard эндпоинтов + throttled catalog BrowserSession (#2445-D1/D2) (#2459)	2026-07-05 20:09:06 +00:00
bot-backend	d1fa450f48	fix(backend): reservation_ingest пейсинг + короткоживущая DB-сессия (#2445-D4) (#2458)	2026-07-05 20:09:00 +00:00
bot-backend	be4b2ee1fa	fix(export): недостающая §13.7 «Уверенность» в PDF-экспортёре отчёта (#2445-C2) (#2456)	2026-07-05 19:40:38 +00:00
bot-backend	f3988add0a	fix(generative): устаревший VAT/office caveat в concept PDF (#2445-C1) (#2455)	2026-07-05 19:40:30 +00:00
bot-backend	c0c666cccc	fix(site-finder): remount analysis-дерева при смене cad (#2445-B4) (#2454)	2026-07-05 19:20:36 +00:00
bot-backend	de5da6ec35	fix(frontend): нейтральный fallback для gate/velocity enum-lookup (#2445-B2/B3) (#2451)	2026-07-05 19:20:28 +00:00
bot-backend	1bbd4c99e2	fix(generative): отклонять спроецированные координаты до pyproj CRSError → 422 (#2445-B1) (#2453)	2026-07-05 19:20:19 +00:00
bot-backend	82e0b8b0a3	fix(site-finder): true-counts вместо молча-усечённых len(list) в connection-points/utility (#2445-A1/A2) (#2450)	2026-07-05 18:54:49 +00:00
bot-backend	b40995780b	fix(site-finder): раскрыть proxy-fraction в EKB-median velocity-бенчмарке (#2445-A4) (#2448)	2026-07-05 18:54:42 +00:00
bot-backend	c8c96a87ee	fix(site-finder): competitors avg-price по per-object снапшоту, не глобальному (#2445-A5) (#2447)	2026-07-05 18:54:36 +00:00
bot-backend	9b6aba42dc	fix(site-finder): L2 hidden-supply не обнуляет неизвестный flat_count (#2445-A3) (#2446)	2026-07-05 18:54:14 +00:00
bot-backend	5b3799a23a	feat(scrapers): wire per-flat DOM.РФ catalog scraper + propagate catalog_url_hash (#2442) (#2444)	2026-07-05 17:00:58 +00:00
bot-backend	eea9c99e73	feat(scrapers): extract + download DOM.РФ flat plan images (#2440) (#2441)	2026-07-05 16:23:29 +00:00
bot-backend	9c46689da1	fix(devops): переносим deploy-obsidian.yml в .forgejo/workflows/ (#2416) (#2439)	2026-07-05 15:34:55 +00:00
lekss361	994eba0a16	fix(tradein/cian): extract_all_states — discover new .concat() format, not just legacy .push() (#2438)	2026-07-04 21:03:32 +00:00
lekss361	7c1d3693e2	fix(tradein/cian): персист bti_data/valuation house_info в houses + дедуп УК (#2435) (#2437)	2026-07-04 20:21:32 +00:00
lekss361	f93ef5374d	feat(tradein/domclick): production Layer B detail-backfill orchestrator (#2000) (#2436)	2026-07-04 19:49:07 +00:00
lekss361	b2d42a631a	feat(tradein/pdf): редизайн отчёта в реальном языке МЕРА (v2 HUD) (#2434)	2026-07-04 18:41:21 +00:00
lekss361	ced616d150	feat(tradein/domclick): cookie-injection MVP для обхода QRATOR-блока (#2000) (#2433)	2026-07-04 17:49:40 +00:00
lekss361	acc1e05357	fix(tradein/estimator): восстановить и канонизировать корпус дома в дедупе (регрессия #2429) (#2432)	2026-07-04 17:08:40 +00:00
lekss361	102bdbda47	fix(tradein/domclick): органический заход через SERP перед card-fetch (anti-QRATOR) (#2430)	2026-07-04 16:39:47 +00:00
lekss361	752c3656a3	fix(tradein/estimator): дом «2» вместо «15» при глухом названии станции метро в avito-адресе (#2429)	2026-07-04 15:50:49 +00:00
lekss361	cfed042712	fix(tradein/v2): гонка при клике по строке «Предыдущие оценки» — отчёт не загружался (#2428)	2026-07-04 14:47:01 +00:00
lekss361	5cbf3485a0	fix(tradein/pdf): честный embedded-шрифт (PT Sans/PT Serif) + matplotlib-график вместо div (#2427)	2026-07-04 14:39:37 +00:00
lekss361	b102c334d8	Merge pull request 'chore(tradein/proxy-pool): добавить domclick в provider_affinity CHECK (residential ASocks для #2000)' (#2426) from chore/tradein-scrape-proxies-domclick-affinity into main	2026-07-04 14:25:40 +00:00
bot-backend	b238d3ef50	chore(tradein/proxy-pool): добавить domclick в provider_affinity CHECK (residential ASocks для #2000)	2026-07-04 17:21:07 +03:00
lekss361	3a2b4ba825	feat(tradein/v2): кликабельные строки + параметры в оверлее «Предыдущие оценки» (#2424)	2026-07-04 13:49:18 +00:00
bot-backend	27868a4d2e	feat(exporters): зеркалим permits_nearby (ГИСОГД 500м) в DOCX §6 (#2421)	2026-07-04 13:28:00 +00:00
lekss361	9c6afcc876	Merge pull request 'chore(tradein/scrapers): удалить весь legacy scrapers/ каталог — final E (#2397, #2277)' (#2419) from chore/tradein-finalE-delete-scrapers-catalog into main	2026-07-04 13:11:13 +00:00
lekss361	921aba04b8	feat(tradein/history): вернуть все параметры оценки в GET /history (#2420)	2026-07-04 13:09:22 +00:00
bot-backend	0658399f01	fix(devops): cleanup-merged-worktrees.sh — 3 бага, найденные вживую на 69 забытых worktree (#2418)	2026-07-04 13:00:14 +00:00
bot-backend	27bbd579c3	chore(tradein/scrapers): удалить весь legacy scrapers/ каталог — final E (#2397, #2277) ... Удаляет весь `app/services/scrapers/` (16 файлов, ~7100 строк) — Part D (D1-D5) убрал всех внешних вызывающих, 0 runtime importers подтверждено grep'ом на main. Заодно: - удалены 7 осиротевших локальных probe/sweep-скриптов (tradein-mvp/scripts/), импортировавших уже-удалённые или удаляемые сейчас legacy-модули - тест-хирургия по 65+ файлам: DELETE прямых legacy-юнит-тестов, RETARGET тестов, тестирующих ещё живую бизнес-логику (переключены на scraper_kit.* эквиваленты, включая quality-gate #781/#753/#754/#755/#773/#740), partial-delete golden-parity тестов, потерявших legacy-оракл - kit save_listings/AvitoScraper/etc. требуют инжектируемые matcher/config — ретаргетированные тесты обновлены под новую сигнатуру (RealScraperConfig(), MagicMock HouseMatcher, region_code=66) Полный pytest suite зелёный (2255 passed, 6 skipped) кроме известного флейка #2208 (test_search_cache_hit, не связан со scrapers).	2026-07-04 15:58:15 +03:00
lekss361	a0c609caf4	fix(tradein/estimator): устранить остаточные кросс-сорс дубли (#2291) (#2417)	2026-07-04 12:58:15 +00:00
lekss361	8030f8ecef	Merge pull request 'refactor(tradein/tasks): yandex_newbuilding_sweep на kit + config= (#2397 Part D5)' (#2412) from refactor/tradein-partD5-yandex-nb-sweep-kit into main	2026-07-04 12:29:56 +00:00
lekss361	00a4dca5c0	Merge pull request 'refactor(tradein/admin): debug newbuilding endpoints на kit + config=, fix stray await (#2397 Part D4)' (#2414) from refactor/tradein-partD4-admin-newbuilding-kit into main	2026-07-04 12:29:51 +00:00
lekss361	f0a9763e48	Merge pull request 'refactor(tradein/tasks): newbuilding_enrich_backfill на kit cian.newbuilding + config= (#2397 Part D3)' (#2415) from refactor/tradein-partD3-newbuilding-enrich-kit into main	2026-07-04 12:29:41 +00:00
lekss361	b28aefec16	Merge pull request 'refactor(tradein/tasks): cian_history_backfill valuation+newbuilding на kit + config= (#2397 Part D2)' (#2411) from refactor/tradein-partD2-cian-history-backfill-kit into main	2026-07-04 12:29:33 +00:00
lekss361	c8343c8f3d	Merge pull request 'refactor(tradein/tasks): avito_detail_backfill build_warmed_session на kit + config= (#2397 Part D1, #2330)' (#2410) from refactor/tradein-partD1-avito-detail-backfill-kit into main	2026-07-04 12:29:18 +00:00
bot-backend	2a3a93b138	fix(devops): couchdb healthcheck ложный 401 — auth /_up кредами (#2413)	2026-07-04 12:20:59 +00:00
bot-backend	5015109f31	refactor(tradein/tasks): newbuilding_enrich_backfill на kit cian.newbuilding + config= (#2397 Part D3)	2026-07-04 15:20:18 +03:00
bot-backend	6ace4ea4ce	refactor(tradein/admin): debug newbuilding endpoints на kit + config=, fix stray await (#2397 Part D4)	2026-07-04 15:20:03 +03:00
bot-backend	b6b7af6b42	refactor(tradein/tasks): yandex_newbuilding_sweep на kit + config= (#2397 Part D5)	2026-07-04 15:18:40 +03:00
bot-backend	f0c7ac4972	refactor(tradein/tasks): cian_history_backfill valuation+newbuilding на kit + config= (#2397 Part D2)	2026-07-04 15:17:27 +03:00
bot-backend	36c451e155	refactor(tradein/tasks): avito_detail_backfill build_warmed_session на kit + config= (#2397 Part D1, #2330)	2026-07-04 15:15:45 +03:00
lekss361	eafa305ac8	Merge pull request 'refactor(tradein/scrapers): удалить 6 осиротевших legacy scraper-модулей + тест-хирургия (#2397 Part E2)' (#2407) from chore/tradein-partE2-delete-orphaned-scrapers into main	2026-07-04 11:49:44 +00:00
bot-backend	575c233e51	refactor(tradein/scrapers): удалить 6 осиротевших legacy scraper-модулей + тест-хирургия (#2397 Part E2) ... app.services.scrapers.{cian,cian_detail,yandex_realty,domclick,domclick_exceptions, avito_houses} имели 0 runtime-импортёров после E1 (scrape_pipeline.py удалён, #2405) — admin.py/cian_history_backfill.py уже на scraper_kit.providers.*. Удаление: - 6 модулей целиком (avito_houses.py, cian.py, cian_detail.py, domclick.py, domclick_exceptions.py, yandex_realty.py) - 3 осиротевших dev-sweep скрипта (local-sweep-ekb{,-cian,-yandex}.py) — эксклюзивно драйвили удалённые легаси-скраперы, kit-путь их заменяет Тесты (18 файлов DELETE — эксклюзивно тестировали удалённые модули или были чистым legacy-vs-kit parity, чей легаси-эталон исчез): test_cian_detail.py, test_cian_serp_scraper.py, tests/scrapers/test_cian_exhaustive.py, test_yandex_realty_serp.py, tests/scrapers/test_domclick.py, test_avito_houses_dedup.py, test_avito_houses_parse.py, test_houses_rating_filter_entries_1789.py, test_scraper_kit_domclick_golden_parity.py, tests/scrapers/test_admin_{avito,cian,yandex}_kit_parity.py. CONVERT (файл покрывает СМЕШАННЫЙ live+legacy набор — вырезаны только секции удалённых модулей, live-покрытие сохранено): - test_scraper_kit_cian_golden_parity.py — SERP/`_format_address`/detail (cian.py/cian_detail.py) убраны; extract_state (cian_state_parser, live)/ valuation (cian_valuation, live)/newbuilding (cian_newbuilding, live)/ no-app-imports guard — остались - test_scraper_kit_yandex_golden_parity.py — SERP `_entity_to_lot`/ `_parse_gate_json`/`_build_url` (yandex_realty) убраны; normalize_house_type (live)/newbuilding parse (yandex_newbuilding, live)/no-app-imports guard — остались - test_scraper_kit_bisection_parity.py — cian/domclick/yandex-ветки убраны; avito-ветка (live, единственная оставшаяся легаси-бисекция) — осталась полностью, включая full-seed-grid - test_scraper_kit_group_c_backfill_kit_parity.py — cian fetch_detail browser_fetcher parity-тест убран; avito/house_imv_backfill/ cian_history_backfill/ekb_geoportal тесты — остались - test_scraper_kit_pricehistory_session_parity.py — fetch_detail config-injection/proxy-wiring тесты (cian_detail) убраны; extract_state (cian_state_parser, live)/ScrapedLot (base, live) parity — остались - test_yandex_scrapers_delay_wiring.py — yandex_realty delay-тест убран (kit-эквивалент уже покрыт test_kit_serp_proxy_pool.py); yandex_newbuilding (live)/yandex_detail/yandex_valuation (kit) тесты — остались - test_scraper_proxy.py — yandex_realty BrowserFetcher-тест убран (redundant с test_kit_serp_proxy_pool.py::test_yandex_serp_no_pool_by_default) RETARGET на kit (символ живёт, только источник поменялся): - test_domclick_sweep.py — `_map_item` → scraper_kit.providers.domclick.serp - test_yandex_city_sweep.py — DEFAULT_PRICE_RANGES/ROOM_PATH → scraper_kit.providers.yandex.serp - test_pipeline_browser_routing.py — fetch_house_catalog → scraper_kit.providers.avito.houses (+ KitAvitoBlockedError для firewall-теста) - test_snapshot_writer.py — DetailEnrichment/save_detail_enrichment → scraper_kit.providers.cian.detail (byte-identical strangler-копия) - test_backfill_wave2.py — DetailEnrichment → scraper_kit.providers.cian.detail - tests/scrapers/test_avito_unix_date_tz_consistency.py — avito_houses → scraper_kit.providers.avito.houses (houses-ветка _unix_to_date/RUS_MONTHS consolidation-проверки) Stale-комментарии поправлены в cian_price_history.py, tests/scrapers/ test_domclick_detail.py (описывали ещё-живой domclick.py/domclick_exceptions.py). grep -rn scrapers\.\(cian\|cian_detail\|yandex_realty\|domclick\|domclick_exceptions\| avito_houses\) app/ scripts/ packages/ — только historical footnotes ("strangler-копия app.services.scrapers.X", past-tense "удалён/deleted"). Backend suite: 2811 passed, 6 skipped, 1 failed (known flake test_search_cache_hit #2208, не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 14:37:19 +03:00