591 commits

Author	SHA1	Message	Date
lekss361	bc9549782b	Merge pull request 'feat(tradein): location-coef MVP через FDW-мост к OSM POI Птицы (#2045 PR-B)' (#2314) from feat/tradein-location-coef-poi into main	2026-07-03 20:55:31 +00:00
bot-backend	d95c9e6e55	fix(tradein/tests): harden parity harness — bool-type mismatch detection + divergence-catch proof (#2304) ... Code-reviewer follow-up on the parity harness (aaaf8179): - parity.py: plain `==` in the scalar-equality branch let `True == 1` / `False == 0` silently pass (Python bool is an int subclass). A future migration bug turning a `bool | None` field into a raw 0/1 would slip through undetected. Now any type mismatch where exactly one side is a bool is reported as a diff, regardless of numeric equality. - test_parity.py: unit test for the new bool-vs-int branch. - test_avito_detail_kit_parity.py: the existing smoke test only proved the harness reports "no diff" on two genuinely-identical real dataclass instances — it never proved the harness catches a real divergence on this same 30+-field shape (only the toy fixtures in test_parity.py did). Added a test that mutates `price_rub` via dataclasses.replace() on the real kit DetailEnrichment and asserts assert_parity raises ParityMismatchError naming that field.	2026-07-03 23:45:58 +03:00
bot-backend	57963e3a06	test(tradein): reusable legacy/scraper_kit parity harness (#2304) ... Stage 0 of the scraper_kit migration epic (#2277): shared test tool for issues #2305-#2310, which each need to prove their kit-path importer produces the same output as the legacy path on the same input. - tests/support/parity.py: assert_parity()/compare_outputs() normalize dataclass/pydantic outputs to dict/list/scalar before comparing, since legacy vs kit dataclasses (e.g. DetailEnrichment) are different classes and dataclass __eq__ always returns False across classes even when all field values match. Supports ignore_fields (drop non-deterministic fields like latency_ms/fetched_at) and numeric tolerance (math.isclose) for float fields, with an assertion listing every differing field (path + legacy value + kit value) on mismatch. - tests/support/test_parity.py: unit tests for the harness itself (identical outputs pass, differing outputs raise with informative diff, tolerance/ignore_fields options, cross-class dataclass parity). - tests/scrapers/test_avito_detail_kit_parity.py: end-to-end smoke proof against real code — app.services.scrapers.avito_detail.parse_detail_html (legacy, reached via admin.py's scrape_avito_detail debug endpoint through fetch_detail) vs scraper_kit.providers.avito.detail's copy, on a fixed HTML fixture. - tests/support/README.md: usage note for #2305-#2310 migration PRs. Found while implementing: tests/test_scraper_kit_*_parity.py (9 files, ~3400 lines) already do ad-hoc `dataclasses.asdict(old) == asdict(new)` parity checks for the already-migrated SERP scraper modules (avito/cian/ domclick/yandex/base/scheduler/pipeline) — this harness generalizes that repeated pattern for the remaining 12 non-scraper importers, adding ignore_fields/tolerance which those ad-hoc checks don't have.	2026-07-03 23:45:58 +03:00
bot-backend	90731da537	feat(tradein): location-coef MVP через FDW-мост к OSM POI Птицы (#2045) ... Финальный PR issue #2045 (BE-3): GET /api/v1/trade-in/location-coef для LocationDrawer. FDW foreign table -> локальное зеркало osm_poi_ekb_local (TRUNCATE+INSERT, тот же паттерн что cad_buildings_local/cadastral_geo_match, избегает ~1.16s/row FDW round-trip) -> straight-line POI-скоринг, портированный из Site Finder poi_score.py::compute_poi_weighted_top7 (CATEGORY_WEIGHTS as-is, радиус 1200м для квартир вместо Ptica 2000м для участков). score->coef - новая MVP-эвристика (0.95..1.05, не откалибрована на реальных дельтах). Graceful fallback (не 500, не фабрикуем факторы): пустая/не отрефрешенная osm_poi_ekb_local или отсутствие lat/lon у оценки -> coef=1.0, factors=[], geo_source="unavailable". Scheduler: source=osm_poi_ekb_refresh, daily, зарегистрирован и в боевом dispatch (scheduler.py), и в kit-registry (product_handlers.py) - иначе test_kit_registry_completeness падает на ship-dark инварианте (#2192). Frontend wiring (mappers.ts/LocationDrawer.tsx) - вне scope, отдельная задача после проверки endpoint'а curl'ом на деплое.	2026-07-03 23:44:55 +03:00
lekss361	4fedfc5970	fix(tradein/estimator): дедуп кросс-source дублей в anchor-пути (#2265 follow-up) (#2311)	2026-07-03 20:35:37 +00:00
lekss361	0e2b4998c8	Merge pull request 'fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969)' (#2303) from fix/tradein-pii-purge-phones-client into main	2026-07-03 20:21:46 +00:00
bot-backend	6f170504ba	fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969) ... - listings.phones: миграция 166 обнуляет данные; cian.py + scraper-kit serp.py (golden-parity зеркало) перестают читать offer.get("phones") на входе — write-path выключен у источника, колонка/поле в модели остаются. Мёртвая запись "phones" в LISTING_FIELD_PRIORITY убрана. - trade_in_estimates.client_name/client_phone: миграция 167 дропает колонки; синхронно убраны из TradeInEstimateInput, обоих INSERT в estimator.py (основной путь + _empty_estimate), frontend TradeInEstimateInput и CRM-блока EstimateForm (поля "Имя клиента"/"Телефон"). - sentry_scrub.py и management_companies.phones не тронуты — вне scope.	2026-07-03 23:00:42 +03:00
bot-backend	dafd12d9fa	feat(tradein/v2): реальный display-профиль в TopNav через /me (#2046) ... /me теперь отдаёт display_name/org/email (kopylov -> "Копылов", остальные None). TopNav использует их вместо фабрикации username-as-name; org/email фолбэк остаётся прежним для юзеров без известного профиля.	2026-07-03 22:55:12 +03:00
bot-backend	d15ff3d99d	feat(tradein/estimator): сегментная поправка headline+выкуп по ценовому бэнду за флагом (#2255) (#2293)	2026-07-03 18:43:38 +00:00
bot-backend	666962185c	fix(tradein/estimator): парсер адресов — имя-перед-типом, glued-суффикс, микрорайоны (#2269) (#2290)	2026-07-03 13:03:25 +00:00
lekss361	039954580e	Merge pull request 'fix(tradein/estimator): кросс-source дедуп street+house union-find + savepoint вокруг ratio-lookup (#2265)' (#2273) from fix/tradein-dedup-addr-key into main	2026-07-03 07:51:47 +00:00
bot-backend	6f81ee73d7	fix(tradein/estimator): полный сьют зелёный после дедуп-ключа (#2265)	2026-07-03 10:48:15 +03:00
bot-backend	9cdc7cef21	fix(tradein/estimator): дедуп — нумерованные улицы + house-no guard на street-union (#2265, review follow-up)	2026-07-03 10:37:26 +03:00
lekss361	fc5c4b1e40	Merge pull request 'chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops/frontend (#2204)' (#2276) from chore/tradein-remove-n1-source into main	2026-07-03 07:33:28 +00:00
bot-backend	9a9f13d513	fix(tradein/estimator): savepoint+retry вокруг ratio-lookup — transient не гасит expected_sold (#2265)	2026-07-03 10:19:57 +03:00
bot-backend	a08e263c60	fix(tradein/estimator): кросс-source дедуп — устойчивый адресный ключ street+house (#2265)	2026-07-03 10:19:19 +03:00
bot-backend	dd050af16d	chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops (#2204)	2026-07-03 10:08:56 +03:00
bot-backend	8a10d943d7	fix(tradein/scraper-kit): scale cian anchor watchdog for proxy-pool browser fetches (#2160) ... Fixed ANCHOR_TIMEOUT_SEC=240 guillotined every cian anchor when running via USE_PROXY_POOL_BROWSER=true: each SERP fetch goes through camoufox with relaunch on proxy swap (13-45s/page), and an anchor = 4 room-buckets x pages_per_anchor SERP fetches + detail_top_n details + houses-enrich >> 240s. save_listings never ran, lots_fetched=0, and after 3 consecutive skips the run was mark_banned. Introduces _cian_anchor_timeout_s() mirroring the avito/yandex/domclick scaling pattern: max(ANCHOR_TIMEOUT_SEC, buckets*pages*(delay+per_serp) + details*per_detail + houses_budget). Defaults -> 1580s worst-case watchdog (hang guard, not expected duration). Applied to both the scraper-kit copy (strangler target) and the active app.services.scrape_pipeline copy that run 581 actually hit.	2026-07-03 10:05:06 +03:00
lekss361	bbe596747d	Merge pull request 'fix(tradein/data): yandex url-«дубли» — каноникализация URL (скрейпер + миграция 164) + manifest 162 (#2235, #2216)' (#2271) from fix/tradein-yandex-url-dedup into main	2026-07-03 06:53:27 +00:00
bot-backend	dd8b5769e5	fix(tradein/migrations): дописать 162 в _manifest_applied — stale manifest из #2228 (#2216)	2026-07-03 09:41:44 +03:00
lekss361	c44bb49809	Merge pull request 'fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)' (#2263) from fix/tradein-extval-house-id into main	2026-07-03 06:40:21 +00:00
bot-backend	33e3503f97	fix(tradein/data): yandex url-дубли — дедуп-миграция + инвариант + корень (#2235)	2026-07-03 09:39:29 +03:00
lekss361	e1c5f2184c	fix(tradein/scraper-kit): wire browser proxy-pool into yandex/cian SERP + persist activation flags (#2160) (#2268)	2026-07-03 06:36:56 +00:00
bot-backend	c2096249d5	fix(tradein/data): dry-run бэкфилла — savepoint-паритет с write-веткой (#2236)	2026-07-03 09:28:27 +03:00
lekss361	5f6db8dbb7	Merge pull request 'fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)' (#2261) from fix/tradein-admin-exception-leak into main	2026-07-03 06:27:22 +00:00
bot-backend	291717fa2f	fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)	2026-07-03 09:22:44 +03:00
bot-backend	efa0bafa18	fix(tradein/security): 404 IMV-адрес — warning без traceback, не exception-шум (#2234)	2026-07-03 09:20:44 +03:00
bot-backend	c65a73ca9a	fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)	2026-07-03 09:16:34 +03:00
lekss361	910bfed5f1	Merge pull request 'fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233)' (#2258) from fix/tradein-photo-upload-stream-cap into main	2026-07-03 06:15:57 +00:00
bot-backend	edbdd28286	fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233)	2026-07-03 09:06:51 +03:00
bot-backend	bbd47ae536	fix(tradein): оставить domklik активным — отключить его TTL-деактивацию (#2204) ... Продуктовое решение (user, 2026-07-03): domklik остаётся активным источником; TTL-деактивация по scraped_at (заведена миграцией 160 этой ночью) отключается до возобновления регулярных domclick-свипов. deactivate_stale_n1 не тронут (n1 мёртв — деактивация остаётся). Миграция 163 идемпотентна (enabled=false). Refs #2204	2026-07-03 08:52:56 +03:00
lekss361	9f28092356	fix(tradein/estimator): min-width floor ±12% на ценовой диапазон (#2209) (#2230)	2026-07-02 21:21:28 +00:00
lekss361	5fb5675871	fix(tradein/security): defense-in-depth trusted-header auth + rate-limiter fix (#2213) (#2229)	2026-07-02 21:15:58 +00:00
lekss361	0793571c4a	fix(tradein/deploy): миграции ДО подъёма app-контейнеров + manifest-инвариант (#2216) (#2228)	2026-07-02 21:03:37 +00:00
lekss361	ac19c4f7b3	feat(tradein/monitor): алерт на staleness данных deals по max(deal_date) (#2212) (#2226)	2026-07-02 20:50:37 +00:00
lekss361	4ce0f51bb8	perf(tradein): снять блокировку event loop на POST /estimate (#2207) (#2225)	2026-07-02 20:39:48 +00:00
lekss361	47f45fc3d2	fix(tradein/scrapers): bump scraped_at при ре-подтверждении живым + бэкфилл (#2206) (#2224)	2026-07-02 20:30:01 +00:00
lekss361	f5b0076e6f	fix(tradein): deactivate_stale для domklik/n1 + честная freshness по scraped_at (#2204) (#2221)	2026-07-02 20:10:34 +00:00
lekss361	e6000cb029	ci(tradein): pre-merge гейт — backend pytest + frontend type-check/lint (#2208) (#2220)	2026-07-02 19:56:22 +00:00
lekss361	ca473a0012	feat(proxy-pool): P4 — browser dynamic pool-proxy (acquire→/fetch→relaunch) + orchestration wiring, ship-dark (#2164)	2026-07-02 19:20:29 +00:00
lekss361	0937da4260	feat(proxy-pool): P3 — kit curl-paths acquire/release from pool behind USE_PROXY_POOL_CURL, ship-dark (#2163)	2026-07-02 18:56:36 +00:00
lekss361	ee47e331f3	Merge pull request 'fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)' (#2195) from fix/tradein-dedup-fias-pass-no-geoguard into main	2026-07-02 18:51:54 +00:00
lekss361	a9d06c9c44	Merge pull request 'fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)' (#2194) from fix/tradein-no-numberless-house-insert into main	2026-07-02 18:46:20 +00:00
lekss361	bcdec5ebd4	feat(rewire): scheduler_main → kit-scheduler behind USE_KIT_SCHEDULER flag, ship-dark (#2192)	2026-07-02 18:41:12 +00:00
bot-backend	03ece36abd	fix(tradein/dedup): drop geo-guard in fias-pass — same-fias identity outranks proximity (#2187)	2026-07-02 21:35:20 +03:00
bot-backend	0eb033d77d	fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)	2026-07-02 21:33:52 +03:00
lekss361	b2d794587f	Merge pull request 'feat(tradein/estimator): кросс-source физдедуп аналогов за флагом (#2087 H4)' (#2173) from fix/tradein-analog-dedup-cv into main	2026-07-02 18:04:39 +00:00
lekss361	1c520cadb7	Merge pull request 'fix(tradein/dedup): fias-key clustering + cross-fias merge guard + identity carry-over (#1772 follow-up)' (#2185) from fix/tradein-dedup-by-fias into main	2026-07-02 18:00:58 +00:00
bot-backend	3505a4e3e5	feat(tradein/estimator): включить кросс-source физдедуп аналогов по умолчанию (#2087 H4, #2173) ... estimate_dedup_analogs_enabled: False → True. Бэктест #1966 OFF vs ON accuracy-идентичен (MAPE 13.89%, coverage 83.33%, bias −3.83%, median width/cv без изменений) — включение меняет только user-visible n_analogs: перестаёт быть раздутым кросс-постингом одного физлота на avito+cian+domklik ×3. Откат — ENV ESTIMATE_DEDUP_ANALOGS_ENABLED=false. Тесты разведены default vs explicit (не ослаблены): - test_estimator_dedup_cross_source_2087: добавлен test_dedup_default_is_on (без monkeypatch — дедуп активен по умолчанию); test_dedup_flag_off_is_noop оставляет ЯВНЫЙ OFF-override. - test_backtest_regression_gate: пиним флаг OFF — гейт это байт-идентичный replay frozen OFF-capture (recorded call-sequence фикстуры без дедупа); с ON _dedup_cross_source триммит listings до quarter_indexes_lookup и control-flow расходится с записью. - test_estimator_n_analogs_priced (autouse) + test_radius_path_n_analogs_unchanged: пиним OFF — инвариант «n_analogs = число priced-аналогов»/radius-passthrough ортогонален дедупу, а синтетические аналоги делят адрес/этаж/площадь и схлопнулись бы как кросс-посты. Refs #2087, #2173	2026-07-02 20:56:39 +03:00
lekss361	d87ebcc30e	Merge pull request 'feat(tradein/matching): fias_exact tier + estimate fias persist + suggest fias_id contract' (#2184) from feat/tradein-fias-tier-matching into main	2026-07-02 17:56:13 +00:00