489 commits

Author	SHA1	Message	Date
lekss361	bc9549782b	Merge pull request 'feat(tradein): location-coef MVP через FDW-мост к OSM POI Птицы (#2045 PR-B)' (#2314) from feat/tradein-location-coef-poi into main	2026-07-03 20:55:31 +00:00
bot-backend	90731da537	feat(tradein): location-coef MVP через FDW-мост к OSM POI Птицы (#2045) ... Финальный PR issue #2045 (BE-3): GET /api/v1/trade-in/location-coef для LocationDrawer. FDW foreign table -> локальное зеркало osm_poi_ekb_local (TRUNCATE+INSERT, тот же паттерн что cad_buildings_local/cadastral_geo_match, избегает ~1.16s/row FDW round-trip) -> straight-line POI-скоринг, портированный из Site Finder poi_score.py::compute_poi_weighted_top7 (CATEGORY_WEIGHTS as-is, радиус 1200м для квартир вместо Ptica 2000м для участков). score->coef - новая MVP-эвристика (0.95..1.05, не откалибрована на реальных дельтах). Graceful fallback (не 500, не фабрикуем факторы): пустая/не отрефрешенная osm_poi_ekb_local или отсутствие lat/lon у оценки -> coef=1.0, factors=[], geo_source="unavailable". Scheduler: source=osm_poi_ekb_refresh, daily, зарегистрирован и в боевом dispatch (scheduler.py), и в kit-registry (product_handlers.py) - иначе test_kit_registry_completeness падает на ship-dark инварианте (#2192). Frontend wiring (mappers.ts/LocationDrawer.tsx) - вне scope, отдельная задача после проверки endpoint'а curl'ом на деплое.	2026-07-03 23:44:55 +03:00
lekss361	4fedfc5970	fix(tradein/estimator): дедуп кросс-source дублей в anchor-пути (#2265 follow-up) (#2311)	2026-07-03 20:35:37 +00:00
lekss361	0e2b4998c8	Merge pull request 'fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969)' (#2303) from fix/tradein-pii-purge-phones-client into main	2026-07-03 20:21:46 +00:00
bot-backend	6f170504ba	fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969) ... - listings.phones: миграция 166 обнуляет данные; cian.py + scraper-kit serp.py (golden-parity зеркало) перестают читать offer.get("phones") на входе — write-path выключен у источника, колонка/поле в модели остаются. Мёртвая запись "phones" в LISTING_FIELD_PRIORITY убрана. - trade_in_estimates.client_name/client_phone: миграция 167 дропает колонки; синхронно убраны из TradeInEstimateInput, обоих INSERT в estimator.py (основной путь + _empty_estimate), frontend TradeInEstimateInput и CRM-блока EstimateForm (поля "Имя клиента"/"Телефон"). - sentry_scrub.py и management_companies.phones не тронуты — вне scope.	2026-07-03 23:00:42 +03:00
bot-backend	dafd12d9fa	feat(tradein/v2): реальный display-профиль в TopNav через /me (#2046) ... /me теперь отдаёт display_name/org/email (kopylov -> "Копылов", остальные None). TopNav использует их вместо фабрикации username-as-name; org/email фолбэк остаётся прежним для юзеров без известного профиля.	2026-07-03 22:55:12 +03:00
bot-backend	d15ff3d99d	feat(tradein/estimator): сегментная поправка headline+выкуп по ценовому бэнду за флагом (#2255) (#2293)	2026-07-03 18:43:38 +00:00
bot-backend	666962185c	fix(tradein/estimator): парсер адресов — имя-перед-типом, glued-суффикс, микрорайоны (#2269) (#2290)	2026-07-03 13:03:25 +00:00
lekss361	039954580e	Merge pull request 'fix(tradein/estimator): кросс-source дедуп street+house union-find + savepoint вокруг ratio-lookup (#2265)' (#2273) from fix/tradein-dedup-addr-key into main	2026-07-03 07:51:47 +00:00
bot-backend	6f81ee73d7	fix(tradein/estimator): полный сьют зелёный после дедуп-ключа (#2265)	2026-07-03 10:48:15 +03:00
bot-backend	9cdc7cef21	fix(tradein/estimator): дедуп — нумерованные улицы + house-no guard на street-union (#2265, review follow-up)	2026-07-03 10:37:26 +03:00
lekss361	fc5c4b1e40	Merge pull request 'chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops/frontend (#2204)' (#2276) from chore/tradein-remove-n1-source into main	2026-07-03 07:33:28 +00:00
bot-backend	9a9f13d513	fix(tradein/estimator): savepoint+retry вокруг ratio-lookup — transient не гасит expected_sold (#2265)	2026-07-03 10:19:57 +03:00
bot-backend	a08e263c60	fix(tradein/estimator): кросс-source дедуп — устойчивый адресный ключ street+house (#2265)	2026-07-03 10:19:19 +03:00
bot-backend	dd050af16d	chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops (#2204)	2026-07-03 10:08:56 +03:00
bot-backend	8a10d943d7	fix(tradein/scraper-kit): scale cian anchor watchdog for proxy-pool browser fetches (#2160) ... Fixed ANCHOR_TIMEOUT_SEC=240 guillotined every cian anchor when running via USE_PROXY_POOL_BROWSER=true: each SERP fetch goes through camoufox with relaunch on proxy swap (13-45s/page), and an anchor = 4 room-buckets x pages_per_anchor SERP fetches + detail_top_n details + houses-enrich >> 240s. save_listings never ran, lots_fetched=0, and after 3 consecutive skips the run was mark_banned. Introduces _cian_anchor_timeout_s() mirroring the avito/yandex/domclick scaling pattern: max(ANCHOR_TIMEOUT_SEC, buckets*pages*(delay+per_serp) + details*per_detail + houses_budget). Defaults -> 1580s worst-case watchdog (hang guard, not expected duration). Applied to both the scraper-kit copy (strangler target) and the active app.services.scrape_pipeline copy that run 581 actually hit.	2026-07-03 10:05:06 +03:00
lekss361	bbe596747d	Merge pull request 'fix(tradein/data): yandex url-«дубли» — каноникализация URL (скрейпер + миграция 164) + manifest 162 (#2235, #2216)' (#2271) from fix/tradein-yandex-url-dedup into main	2026-07-03 06:53:27 +00:00
lekss361	c44bb49809	Merge pull request 'fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)' (#2263) from fix/tradein-extval-house-id into main	2026-07-03 06:40:21 +00:00
bot-backend	33e3503f97	fix(tradein/data): yandex url-дубли — дедуп-миграция + инвариант + корень (#2235)	2026-07-03 09:39:29 +03:00
lekss361	5f6db8dbb7	Merge pull request 'fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)' (#2261) from fix/tradein-admin-exception-leak into main	2026-07-03 06:27:22 +00:00
bot-backend	291717fa2f	fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)	2026-07-03 09:22:44 +03:00
bot-backend	efa0bafa18	fix(tradein/security): 404 IMV-адрес — warning без traceback, не exception-шум (#2234)	2026-07-03 09:20:44 +03:00
bot-backend	c65a73ca9a	fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)	2026-07-03 09:16:34 +03:00
bot-backend	edbdd28286	fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233)	2026-07-03 09:06:51 +03:00
lekss361	9f28092356	fix(tradein/estimator): min-width floor ±12% на ценовой диапазон (#2209) (#2230)	2026-07-02 21:21:28 +00:00
lekss361	5fb5675871	fix(tradein/security): defense-in-depth trusted-header auth + rate-limiter fix (#2213) (#2229)	2026-07-02 21:15:58 +00:00
lekss361	ac19c4f7b3	feat(tradein/monitor): алерт на staleness данных deals по max(deal_date) (#2212) (#2226)	2026-07-02 20:50:37 +00:00
lekss361	4ce0f51bb8	perf(tradein): снять блокировку event loop на POST /estimate (#2207) (#2225)	2026-07-02 20:39:48 +00:00
lekss361	47f45fc3d2	fix(tradein/scrapers): bump scraped_at при ре-подтверждении живым + бэкфилл (#2206) (#2224)	2026-07-02 20:30:01 +00:00
lekss361	f5b0076e6f	fix(tradein): deactivate_stale для domklik/n1 + честная freshness по scraped_at (#2204) (#2221)	2026-07-02 20:10:34 +00:00
lekss361	ca473a0012	feat(proxy-pool): P4 — browser dynamic pool-proxy (acquire→/fetch→relaunch) + orchestration wiring, ship-dark (#2164)	2026-07-02 19:20:29 +00:00
lekss361	0937da4260	feat(proxy-pool): P3 — kit curl-paths acquire/release from pool behind USE_PROXY_POOL_CURL, ship-dark (#2163)	2026-07-02 18:56:36 +00:00
lekss361	ee47e331f3	Merge pull request 'fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)' (#2195) from fix/tradein-dedup-fias-pass-no-geoguard into main	2026-07-02 18:51:54 +00:00
lekss361	a9d06c9c44	Merge pull request 'fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)' (#2194) from fix/tradein-no-numberless-house-insert into main	2026-07-02 18:46:20 +00:00
lekss361	bcdec5ebd4	feat(rewire): scheduler_main → kit-scheduler behind USE_KIT_SCHEDULER flag, ship-dark (#2192)	2026-07-02 18:41:12 +00:00
bot-backend	03ece36abd	fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)	2026-07-02 21:35:20 +03:00
bot-backend	0eb033d77d	fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)	2026-07-02 21:33:52 +03:00
lekss361	b2d794587f	Merge pull request 'feat(tradein/estimator): кросс-source физдедуп аналогов за флагом (#2087 H4)' (#2173) from fix/tradein-analog-dedup-cv into main	2026-07-02 18:04:39 +00:00
lekss361	1c520cadb7	Merge pull request 'fix(tradein/dedup): fias-key clustering + cross-fias merge guard + identity carry-over (#1772 follow-up)' (#2185) from fix/tradein-dedup-by-fias into main	2026-07-02 18:00:58 +00:00
bot-backend	3505a4e3e5	feat(tradein/estimator): включить кросс-source физдедуп аналогов по умолчанию (#2087 H4, #2173) ... estimate_dedup_analogs_enabled: False → True. Бэктест #1966 OFF vs ON accuracy-идентичен (MAPE 13.89%, coverage 83.33%, bias −3.83%, median width/cv без изменений) — включение меняет только user-visible n_analogs: перестаёт быть раздутым кросс-постингом одного физлота на avito+cian+domklik ×3. Откат — ENV ESTIMATE_DEDUP_ANALOGS_ENABLED=false. Тесты разведены default vs explicit (не ослаблены): - test_estimator_dedup_cross_source_2087: добавлен test_dedup_default_is_on (без monkeypatch — дедуп активен по умолчанию); test_dedup_flag_off_is_noop оставляет ЯВНЫЙ OFF-override. - test_backtest_regression_gate: пиним флаг OFF — гейт это байт-идентичный replay frozen OFF-capture (recorded call-sequence фикстуры без дедупа); с ON _dedup_cross_source триммит listings до quarter_indexes_lookup и control-flow расходится с записью. - test_estimator_n_analogs_priced (autouse) + test_radius_path_n_analogs_unchanged: пиним OFF — инвариант «n_analogs = число priced-аналогов»/radius-passthrough ортогонален дедупу, а синтетические аналоги делят адрес/этаж/площадь и схлопнулись бы как кросс-посты. Refs #2087, #2173	2026-07-02 20:56:39 +03:00
bot-backend	c4b1992de5	fix(tradein/dedup): fias-key clustering + cross-fias merge guard + identity carry-over (#1772 follow-up)	2026-07-02 20:53:25 +03:00
bot-backend	67a852caf1	feat(tradein/matching): fias_exact tier + estimate fias persist + suggest fias_id contract	2026-07-02 20:49:04 +03:00
bot-backend	3909db745b	fix(tradein/estimator): не отравлять asking→sold ratio-кэш транзиентной ошибкой ... Блок «ОЖИДАЕМАЯ ЦЕНА СДЕЛКИ» (expected_sold, «с учётом торга») молча гас в «—» у части оценок с полноценным headline (прод: high-confidence, 17 аналогов, цена есть — expected_sold NULL). Причина: `_get_asking_sold_ratio` gracefully ловит ЛЮБУЮ ошибку БД → (None, None), но запись в `_asking_sold_ratio_cache` шла БЕЗУСЛОВНО (после try/except) → один транзиентный сбой (poisoned tx от вышестоящего graceful-except, коннект-хиккап) отравлял кэш бакета `(None, None)` на весь TTL (300с) и гасил expected_sold для ВСЕХ оценок этого rooms-бакета на воркере до истечения TTL. Фикс: ранний `return None, None` из except БЕЗ записи в кэш → следующая оценка ретраит. Кэшируем только успешный lookup (ratio может быть None, если строки реально нет — стабильный факт БД, безопасно кэшировать). Прод-диагностика (30 дней, 304 оценки): 39 пустых expected_sold, из них 37 — легитимно n_analogs=0 (нет аналогов), а 2 — этот баг (headline есть, ratio-кэш отравлён). Таблица asking_to_sold_ratios полна по всем бакетам + global fallback 0.843 → при исправном lookup ratio всегда резолвится. Юнит-тесты: транзиентная ошибка → None БЕЗ кэша; error→retry не залипает; успех кэшируется.	2026-07-02 20:34:10 +03:00
lekss361	abdb413a99	feat(scraper-kit): copy remaining sweep orchestrators (yandex/cian/domclick/full-load), strangler (#2135 F2)	2026-07-02 17:29:05 +00:00
bot-backend	3ad1550363	feat(tradein/estimator): кросс-source физдедуп аналогов за флагом (#2087 H4) ... Один физический лот кросс-постится на avito+cian+domklik (разные source и source_id) → existing radius-дедуп по (source, source_id) его НЕ ловит → n_analogs И source_counts раздуты кросс-постами (аудит #2087: лот 80м²/265000₽/м² = N1+Домклик+Циан ×3; «14 аналогов» → ~6-7 уникальных). _dedup_cross_source схлопывает дубли по физическому ключу (building_cadastral | нормализованный address + floor + area-bucket round(m²) + price-bucket round(₽/100k)) ДО подсчёта n_analogs/median/cv, оставляя свежайшего (scraped_at) представителя. За флагом estimate_dedup_analogs_enabled (default OFF = байт-идентично; регресс-гейт зелёный). Бэктест #1966 (400 ДКП, full spine, OFF vs ON, тот же сэмпл): MAPE 13.89%→13.89%, coverage 83.33%→83.33%, bias −3.83%→−3.83%, median width 0.743→0.743, median cv 0.0988→0.0988, avg n_analogs 27.64→27.57 (дедуп отработал 107× на 335 оценках). Кросс-посты имеют identical price → нулевой вклад в дисперсию → cv/коридор НЕ сужаются: это фикс ЧЕСТНОСТИ СЧЁТА (n_analogs не раздут, source_counts по физлотам), accuracy-нейтральный, а НЕ рычаг cv-сужения (рычаг cv→коридор — estimate_sb_clip_after_weight, уже default ON). Default OFF — narrowing не продемонстрирован; флаг готов к canary/монкипатч-бэктесту. Refs #2087	2026-07-02 20:22:46 +03:00
lekss361	8a177df0e2	feat(scraper-kit): copy sweep pipeline orchestration (avito) with protocol injection, strangler (#2135)	2026-07-02 17:08:40 +00:00
lekss361	f7063d49b5	fix(scraper-kit): sync RealScraperConfig adapter with ScraperConfig protocol (cookie_encryption_key)	2026-07-02 16:46:05 +00:00
lekss361	d7f4873a53	feat(proxy-pool): pool service (acquire/release/health) + healthcheck scheduler task (#2162)	2026-07-02 16:41:39 +00:00
lekss361	90e4a741f7	feat(proxy-pool): scrape_proxies table + admin bulk-load/list endpoints (#2161)	2026-07-02 16:31:21 +00:00
lekss361	9d71d94586	Merge pull request 'fix(tradein/estimator): честный asking_to_sold_ratio — бейдж «−N% к рынку» больше не врёт' (#2152) from fix/tradein-honest-asking-to-sold-ratio into main	2026-07-02 15:37:00 +00:00