848 commits

Author	SHA1	Message	Date
bot-backend	9a9f13d513	fix(tradein/estimator): savepoint+retry вокруг ratio-lookup — transient не гасит expected_sold (#2265)	2026-07-03 10:19:57 +03:00
bot-backend	a08e263c60	fix(tradein/estimator): кросс-source дедуп — устойчивый адресный ключ street+house (#2265)	2026-07-03 10:19:19 +03:00
bot-backend	ca0a51c876	chore(tradein/ui): вычистить источник n1 из source-registry и UI (#2204)	2026-07-03 10:16:53 +03:00
bot-backend	dd050af16d	chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops (#2204)	2026-07-03 10:08:56 +03:00
bot-backend	8a10d943d7	fix(tradein/scraper-kit): scale cian anchor watchdog for proxy-pool browser fetches (#2160) ... Fixed ANCHOR_TIMEOUT_SEC=240 guillotined every cian anchor when running via USE_PROXY_POOL_BROWSER=true: each SERP fetch goes through camoufox with relaunch on proxy swap (13-45s/page), and an anchor = 4 room-buckets x pages_per_anchor SERP fetches + detail_top_n details + houses-enrich >> 240s. save_listings never ran, lots_fetched=0, and after 3 consecutive skips the run was mark_banned. Introduces _cian_anchor_timeout_s() mirroring the avito/yandex/domclick scaling pattern: max(ANCHOR_TIMEOUT_SEC, buckets*pages*(delay+per_serp) + details*per_detail + houses_budget). Defaults -> 1580s worst-case watchdog (hang guard, not expected duration). Applied to both the scraper-kit copy (strangler target) and the active app.services.scrape_pipeline copy that run 581 actually hit.	2026-07-03 10:05:06 +03:00
lekss361	bbe596747d	Merge pull request 'fix(tradein/data): yandex url-«дубли» — каноникализация URL (скрейпер + миграция 164) + manifest 162 (#2235, #2216)' (#2271) from fix/tradein-yandex-url-dedup into main	2026-07-03 06:53:27 +00:00
bot-backend	dd8b5769e5	fix(tradein/migrations): дописать 162 в _manifest_applied — stale manifest из #2228 (#2216)	2026-07-03 09:41:44 +03:00
lekss361	c44bb49809	Merge pull request 'fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)' (#2263) from fix/tradein-extval-house-id into main	2026-07-03 06:40:21 +00:00
bot-backend	33e3503f97	fix(tradein/data): yandex url-дубли — дедуп-миграция + инвариант + корень (#2235)	2026-07-03 09:39:29 +03:00
lekss361	e1c5f2184c	fix(tradein/scraper-kit): wire browser proxy-pool into yandex/cian SERP + persist activation flags (#2160) (#2268)	2026-07-03 06:36:56 +00:00
bot-backend	c2096249d5	fix(tradein/data): dry-run бэкфилла — savepoint-паритет с write-веткой (#2236)	2026-07-03 09:28:27 +03:00
lekss361	5f6db8dbb7	Merge pull request 'fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)' (#2261) from fix/tradein-admin-exception-leak into main	2026-07-03 06:27:22 +00:00
bot-backend	291717fa2f	fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)	2026-07-03 09:22:44 +03:00
bot-backend	efa0bafa18	fix(tradein/security): 404 IMV-адрес — warning без traceback, не exception-шум (#2234)	2026-07-03 09:20:44 +03:00
bot-backend	c65a73ca9a	fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)	2026-07-03 09:16:34 +03:00
lekss361	910bfed5f1	Merge pull request 'fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233)' (#2258) from fix/tradein-photo-upload-stream-cap into main	2026-07-03 06:15:57 +00:00
bot-backend	edbdd28286	fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233)	2026-07-03 09:06:51 +03:00
lekss361	14d76fb136	Merge pull request 'feat(tradein/ui): честное раскрытие покрытия диапазона в hero (#2209)' (#2232) from fix/tradein-range-disclosure into main	2026-07-03 06:06:31 +00:00
bot-backend	bbd47ae536	fix(tradein): оставить domklik активным — отключить его TTL-деактивацию (#2204) ... Продуктовое решение (user, 2026-07-03): domklik остаётся активным источником; TTL-деактивация по scraped_at (заведена миграцией 160 этой ночью) отключается до возобновления регулярных domclick-свипов. deactivate_stale_n1 не тронут (n1 мёртв — деактивация остаётся). Миграция 163 идемпотентна (enabled=false). Refs #2204	2026-07-03 08:52:56 +03:00
lekss361	8ea52b9b7a	fix(tradein/ops): health-check валит деплой + mem-лимиты + log-rotation (#2214) (#2231)	2026-07-02 21:29:30 +00:00
bot-backend	9de867631b	feat(tradein/ui): честное раскрытие покрытия диапазона в hero (#2209) ... Хинт диапазона expected_sold дополнен замеренной точностью: «фактическая цена продажи попадает в диапазон в ~80% случаев (июль 2026)» — по живому бэктесту на реальных ДКП Росреестра (n=276, coverage 81.5%, engine=full). Раскрытие вместо молчаливой выдачи Q1-Q3 за прогнозный интервал — acceptance-пункт «явно раскрыть точность/покрытие» из #2209. Refs #2209	2026-07-03 00:23:03 +03:00
lekss361	9f28092356	fix(tradein/estimator): min-width floor ±12% на ценовой диапазон (#2209) (#2230)	2026-07-02 21:21:28 +00:00
lekss361	5fb5675871	fix(tradein/security): defense-in-depth trusted-header auth + rate-limiter fix (#2213) (#2229)	2026-07-02 21:15:58 +00:00
lekss361	0793571c4a	fix(tradein/deploy): миграции ДО подъёма app-контейнеров + manifest-инвариант (#2216) (#2228)	2026-07-02 21:03:37 +00:00
lekss361	19ecd941f3	fix(tradein/ui): единый source-registry + честные знаменатели/лейблы источников (#2211) (#2227)	2026-07-02 20:57:26 +00:00
lekss361	ac19c4f7b3	feat(tradein/monitor): алерт на staleness данных deals по max(deal_date) (#2212) (#2226)	2026-07-02 20:50:37 +00:00
lekss361	4ce0f51bb8	perf(tradein): снять блокировку event loop на POST /estimate (#2207) (#2225)	2026-07-02 20:39:48 +00:00
lekss361	47f45fc3d2	fix(tradein/scrapers): bump scraped_at при ре-подтверждении живым + бэкфилл (#2206) (#2224)	2026-07-02 20:30:01 +00:00
lekss361	72d26b35fa	fix(tradein): не запекать preview-флаг в прод-образ + noindex/баннер (#2205) (#2223)	2026-07-02 20:21:58 +00:00
lekss361	f5b0076e6f	fix(tradein): deactivate_stale для domklik/n1 + честная freshness по scraped_at (#2204) (#2221)	2026-07-02 20:10:34 +00:00
lekss361	e6000cb029	ci(tradein): pre-merge гейт — backend pytest + frontend type-check/lint (#2208) (#2220)	2026-07-02 19:56:22 +00:00
lekss361	ca473a0012	feat(proxy-pool): P4 — browser dynamic pool-proxy (acquire→/fetch→relaunch) + orchestration wiring, ship-dark (#2164)	2026-07-02 19:20:29 +00:00
lekss361	0937da4260	feat(proxy-pool): P3 — kit curl-paths acquire/release from pool behind USE_PROXY_POOL_CURL, ship-dark (#2163)	2026-07-02 18:56:36 +00:00
lekss361	ee47e331f3	Merge pull request 'fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)' (#2195) from fix/tradein-dedup-fias-pass-no-geoguard into main	2026-07-02 18:51:54 +00:00
lekss361	a9d06c9c44	Merge pull request 'fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)' (#2194) from fix/tradein-no-numberless-house-insert into main	2026-07-02 18:46:20 +00:00
bot-backend	e84b6e553a	fix(tradein/scraper-kit): mirror numberless None-guards in avito houses provider copy	2026-07-02 21:44:46 +03:00
lekss361	bcdec5ebd4	feat(rewire): scheduler_main → kit-scheduler behind USE_KIT_SCHEDULER flag, ship-dark (#2192)	2026-07-02 18:41:12 +00:00
bot-backend	03ece36abd	fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)	2026-07-02 21:35:20 +03:00
bot-backend	0eb033d77d	fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)	2026-07-02 21:33:52 +03:00
bot-backend	35a0e29122	fix(tradein/v2): keep top nav active over overlays, stronger «К оценке», backdrop-close ... Three UX fixes on the /trade-in/v2 overlays (feedback): 1. TopNav stays interactive while a section overlay is open. The a11y audit #2081 put inert on the whole content wrap (which contains TopNav), so opening an overlay disabled the top tabs. Move inert off the wrap onto <main>/<footer> only; the nav is inert just for the full-screen LocationDrawer. Users can now switch sections directly from an open overlay. role=dialog/aria-modal/Esc/focus-trap kept. 2. «← К ОЦЕНКЕ» made a clear filled primary button (solid accentDeep bg, white text ≥4.9:1 AA, shadow, hover lift) instead of the weak ghost pill. Uses existing accent tokens only. 3. Backdrop click closes the overlay. Add a transparent sibling layer below the panel (z below it, starting under the nav so tabs stay clickable); clicks in the margin close it. Clicks inside the panel / on its buttons never reach it (sibling, not ancestor) so they don't close. Esc + focus restore preserved.	2026-07-02 21:28:47 +03:00
lekss361	3b9dfdb44e	Merge pull request 'feat(tradein/frontend): pass suggest fias_id as target_fias_id in estimate request' (#2186) from feat/tradein-fias-estimate-frontend into main	2026-07-02 18:08:27 +00:00
lekss361	b2d794587f	Merge pull request 'feat(tradein/estimator): кросс-source физдедуп аналогов за флагом (#2087 H4)' (#2173) from fix/tradein-analog-dedup-cv into main	2026-07-02 18:04:39 +00:00
lekss361	1c520cadb7	Merge pull request 'fix(tradein/dedup): fias-key clustering + cross-fias merge guard + identity carry-over (#1772 follow-up)' (#2185) from fix/tradein-dedup-by-fias into main	2026-07-02 18:00:58 +00:00
bot-backend	333a36f049	feat(tradein/frontend): pass suggest fias_id as target_fias_id in estimate request	2026-07-02 20:56:50 +03:00
bot-backend	3505a4e3e5	feat(tradein/estimator): включить кросс-source физдедуп аналогов по умолчанию (#2087 H4, #2173) ... estimate_dedup_analogs_enabled: False → True. Бэктест #1966 OFF vs ON accuracy-идентичен (MAPE 13.89%, coverage 83.33%, bias −3.83%, median width/cv без изменений) — включение меняет только user-visible n_analogs: перестаёт быть раздутым кросс-постингом одного физлота на avito+cian+domklik ×3. Откат — ENV ESTIMATE_DEDUP_ANALOGS_ENABLED=false. Тесты разведены default vs explicit (не ослаблены): - test_estimator_dedup_cross_source_2087: добавлен test_dedup_default_is_on (без monkeypatch — дедуп активен по умолчанию); test_dedup_flag_off_is_noop оставляет ЯВНЫЙ OFF-override. - test_backtest_regression_gate: пиним флаг OFF — гейт это байт-идентичный replay frozen OFF-capture (recorded call-sequence фикстуры без дедупа); с ON _dedup_cross_source триммит listings до quarter_indexes_lookup и control-flow расходится с записью. - test_estimator_n_analogs_priced (autouse) + test_radius_path_n_analogs_unchanged: пиним OFF — инвариант «n_analogs = число priced-аналогов»/radius-passthrough ортогонален дедупу, а синтетические аналоги делят адрес/этаж/площадь и схлопнулись бы как кросс-посты. Refs #2087, #2173	2026-07-02 20:56:39 +03:00
lekss361	d87ebcc30e	Merge pull request 'feat(tradein/matching): fias_exact tier + estimate fias persist + suggest fias_id contract' (#2184) from feat/tradein-fias-tier-matching into main	2026-07-02 17:56:13 +00:00
bot-backend	c4b1992de5	fix(tradein/dedup): fias-key clustering + cross-fias merge guard + identity carry-over (#1772 follow-up)	2026-07-02 20:53:25 +03:00
bot-backend	67a852caf1	feat(tradein/matching): fias_exact tier + estimate fias persist + suggest fias_id contract	2026-07-02 20:49:04 +03:00
lekss361	509cecfa6a	feat(scraper-kit): copy scheduler with registry-dispatch (25+ trigger_* → dict), strangler (#2136)	2026-07-02 17:44:03 +00:00
bot-backend	3909db745b	fix(tradein/estimator): не отравлять asking→sold ratio-кэш транзиентной ошибкой ... Блок «ОЖИДАЕМАЯ ЦЕНА СДЕЛКИ» (expected_sold, «с учётом торга») молча гас в «—» у части оценок с полноценным headline (прод: high-confidence, 17 аналогов, цена есть — expected_sold NULL). Причина: `_get_asking_sold_ratio` gracefully ловит ЛЮБУЮ ошибку БД → (None, None), но запись в `_asking_sold_ratio_cache` шла БЕЗУСЛОВНО (после try/except) → один транзиентный сбой (poisoned tx от вышестоящего graceful-except, коннект-хиккап) отравлял кэш бакета `(None, None)` на весь TTL (300с) и гасил expected_sold для ВСЕХ оценок этого rooms-бакета на воркере до истечения TTL. Фикс: ранний `return None, None` из except БЕЗ записи в кэш → следующая оценка ретраит. Кэшируем только успешный lookup (ratio может быть None, если строки реально нет — стабильный факт БД, безопасно кэшировать). Прод-диагностика (30 дней, 304 оценки): 39 пустых expected_sold, из них 37 — легитимно n_analogs=0 (нет аналогов), а 2 — этот баг (headline есть, ratio-кэш отравлён). Таблица asking_to_sold_ratios полна по всем бакетам + global fallback 0.843 → при исправном lookup ratio всегда резолвится. Юнит-тесты: транзиентная ошибка → None БЕЗ кэша; error→retry не залипает; успех кэшируется.	2026-07-02 20:34:10 +03:00