769 commits

Author	SHA1	Message	Date
lekss361	279e7de778	fix(tradein/v2): пометка «В ОФФЕР» + сузить реестровую карточку (#1991) (#2321)	2026-07-03 21:28:50 +00:00
bot-backend	8c8289cdad	feat(tradein/scraper-kit): port domclick_detail + ekb_geoportal_client to kit (#2307) ... Group D of the scraper_kit migration epic (#2277). Both legacy modules had no kit-side equivalent yet (per audit Scraper_Kit_Legacy_Dependency_Audit_0703), unlike the other 24/26 files which were already strangler-duplicated. - scraper_kit/providers/domclick/detail.py — Layer B detail-card enrichment (parse_detail_html/fetch_detail/save_detail_enrichment), no ScraperConfig injection needed (fetch_detail takes an already-open browser_fetcher). - scraper_kit/providers/ekb_geoportal/{__init__,client}.py — new subpackage, first non-listing-site provider in scraper_kit. Legacy module had zero app.* coupling (only httpx), so the port is near-verbatim. Parity proven via tests/support/parity.py (assert_parity) against the exact legacy functions on realistic fixtures (live-card SSR JSON, GeoJSON FeatureCollection). Callers of both legacy modules are unchanged (out of scope — ekb_geoportal_ingest switch is #2310; the only other domclick_detail caller is scripts/ingest_domclick_jsonl.py, also untouched).	2026-07-04 00:05:07 +03:00
lekss361	bc9549782b	Merge pull request 'feat(tradein): location-coef MVP через FDW-мост к OSM POI Птицы (#2045 PR-B)' (#2314) from feat/tradein-location-coef-poi into main	2026-07-03 20:55:31 +00:00
bot-backend	d95c9e6e55	fix(tradein/tests): harden parity harness — bool-type mismatch detection + divergence-catch proof (#2304) ... Code-reviewer follow-up on the parity harness (aaaf8179): - parity.py: plain `==` in the scalar-equality branch let `True == 1` / `False == 0` silently pass (Python bool is an int subclass). A future migration bug turning a `bool | None` field into a raw 0/1 would slip through undetected. Now any type mismatch where exactly one side is a bool is reported as a diff, regardless of numeric equality. - test_parity.py: unit test for the new bool-vs-int branch. - test_avito_detail_kit_parity.py: the existing smoke test only proved the harness reports "no diff" on two genuinely-identical real dataclass instances — it never proved the harness catches a real divergence on this same 30+-field shape (only the toy fixtures in test_parity.py did). Added a test that mutates `price_rub` via dataclasses.replace() on the real kit DetailEnrichment and asserts assert_parity raises ParityMismatchError naming that field.	2026-07-03 23:45:58 +03:00
bot-backend	57963e3a06	test(tradein): reusable legacy/scraper_kit parity harness (#2304) ... Stage 0 of the scraper_kit migration epic (#2277): shared test tool for issues #2305-#2310, which each need to prove their kit-path importer produces the same output as the legacy path on the same input. - tests/support/parity.py: assert_parity()/compare_outputs() normalize dataclass/pydantic outputs to dict/list/scalar before comparing, since legacy vs kit dataclasses (e.g. DetailEnrichment) are different classes and dataclass __eq__ always returns False across classes even when all field values match. Supports ignore_fields (drop non-deterministic fields like latency_ms/fetched_at) and numeric tolerance (math.isclose) for float fields, with an assertion listing every differing field (path + legacy value + kit value) on mismatch. - tests/support/test_parity.py: unit tests for the harness itself (identical outputs pass, differing outputs raise with informative diff, tolerance/ignore_fields options, cross-class dataclass parity). - tests/scrapers/test_avito_detail_kit_parity.py: end-to-end smoke proof against real code — app.services.scrapers.avito_detail.parse_detail_html (legacy, reached via admin.py's scrape_avito_detail debug endpoint through fetch_detail) vs scraper_kit.providers.avito.detail's copy, on a fixed HTML fixture. - tests/support/README.md: usage note for #2305-#2310 migration PRs. Found while implementing: tests/test_scraper_kit_*_parity.py (9 files, ~3400 lines) already do ad-hoc `dataclasses.asdict(old) == asdict(new)` parity checks for the already-migrated SERP scraper modules (avito/cian/ domclick/yandex/base/scheduler/pipeline) — this harness generalizes that repeated pattern for the remaining 12 non-scraper importers, adding ignore_fields/tolerance which those ad-hoc checks don't have.	2026-07-03 23:45:58 +03:00
bot-backend	90731da537	feat(tradein): location-coef MVP через FDW-мост к OSM POI Птицы (#2045) ... Финальный PR issue #2045 (BE-3): GET /api/v1/trade-in/location-coef для LocationDrawer. FDW foreign table -> локальное зеркало osm_poi_ekb_local (TRUNCATE+INSERT, тот же паттерн что cad_buildings_local/cadastral_geo_match, избегает ~1.16s/row FDW round-trip) -> straight-line POI-скоринг, портированный из Site Finder poi_score.py::compute_poi_weighted_top7 (CATEGORY_WEIGHTS as-is, радиус 1200м для квартир вместо Ptica 2000м для участков). score->coef - новая MVP-эвристика (0.95..1.05, не откалибрована на реальных дельтах). Graceful fallback (не 500, не фабрикуем факторы): пустая/не отрефрешенная osm_poi_ekb_local или отсутствие lat/lon у оценки -> coef=1.0, factors=[], geo_source="unavailable". Scheduler: source=osm_poi_ekb_refresh, daily, зарегистрирован и в боевом dispatch (scheduler.py), и в kit-registry (product_handlers.py) - иначе test_kit_registry_completeness падает на ship-dark инварианте (#2192). Frontend wiring (mappers.ts/LocationDrawer.tsx) - вне scope, отдельная задача после проверки endpoint'а curl'ом на деплое.	2026-07-03 23:44:55 +03:00
lekss361	a8b504c3de	fix(tradein/v2): визуальный аудит — иерархия/честность/микрокопи (#2266) (#2312)	2026-07-03 20:35:38 +00:00
lekss361	4fedfc5970	fix(tradein/estimator): дедуп кросс-source дублей в anchor-пути (#2265 follow-up) (#2311)	2026-07-03 20:35:37 +00:00
lekss361	0e2b4998c8	Merge pull request 'fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969)' (#2303) from fix/tradein-pii-purge-phones-client into main	2026-07-03 20:21:46 +00:00
lekss361	3945060f0c	Merge pull request 'feat(tradein/v2): реальный display-профиль в TopNav через /me (#2046)' (#2300) from feat/tradein-me-profile-fields into main	2026-07-03 20:17:14 +00:00
bot-backend	6f170504ba	fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969) ... - listings.phones: миграция 166 обнуляет данные; cian.py + scraper-kit serp.py (golden-parity зеркало) перестают читать offer.get("phones") на входе — write-path выключен у источника, колонка/поле в модели остаются. Мёртвая запись "phones" в LISTING_FIELD_PRIORITY убрана. - trade_in_estimates.client_name/client_phone: миграция 167 дропает колонки; синхронно убраны из TradeInEstimateInput, обоих INSERT в estimator.py (основной путь + _empty_estimate), frontend TradeInEstimateInput и CRM-блока EstimateForm (поля "Имя клиента"/"Телефон"). - sentry_scrub.py и management_companies.phones не тронуты — вне scope.	2026-07-03 23:00:42 +03:00
bot-backend	dafd12d9fa	feat(tradein/v2): реальный display-профиль в TopNav через /me (#2046) ... /me теперь отдаёт display_name/org/email (kopylov -> "Копылов", остальные None). TopNav использует их вместо фабрикации username-as-name; org/email фолбэк остаётся прежним для юзеров без известного профиля.	2026-07-03 22:55:12 +03:00
bot-backend	c672e0322d	feat(tradein/v2): wire AnalyticsView + SourcesView overlays to real API data (#2040, #2041) ... Audit of /trade-in/v2 found the FE-3/FE-4 overlay wiring (mapAnalytics/mapSources feeding AnalyticsView/SourcesView from useEstimateHouseAnalytics, useEstimateSellTimeSensitivity, analogs[]/actual_deals[]) already shipped in 267585e3. The remaining gap was BE-1 (#2043, merged 2026-07-02) landing real cv/source_counts/created_at on AggregatedEstimate AFTER that wiring pass, so v2/mappers.ts was still FE-approximating cv and duplicating a hardcoded source label map instead of the single source-registry (#2211). - mapSources' marketAds.kpi.cv (#2041) now prefers the real estimate.cv (0..1 ratio from BE-1) and only falls back to the FE coefficient-of-variation of analog prices for pre-#2043 cached estimates where cv is absent. - adRows/dealRows source badges (#2041) now resolve via the shared src/lib/source-registry sourceLabel() instead of a local SOURCE_LABEL map, picking up etagi/canonical labels and staying in sync with the #2211 roster. - AnalyticsView (#2040) KPIs/sell-time/price-history/scatterDetail were already wired to real data with no gaps found against the issue spec.	2026-07-03 22:49:30 +03:00
bot-backend	d15ff3d99d	feat(tradein/estimator): сегментная поправка headline+выкуп по ценовому бэнду за флагом (#2255) (#2293)	2026-07-03 18:43:38 +00:00
bot-backend	666962185c	fix(tradein/estimator): парсер адресов — имя-перед-типом, glued-суффикс, микрорайоны (#2269) (#2290)	2026-07-03 13:03:25 +00:00
lekss361	039954580e	Merge pull request 'fix(tradein/estimator): кросс-source дедуп street+house union-find + savepoint вокруг ratio-lookup (#2265)' (#2273) from fix/tradein-dedup-addr-key into main	2026-07-03 07:51:47 +00:00
bot-backend	6f81ee73d7	fix(tradein/estimator): полный сьют зелёный после дедуп-ключа (#2265)	2026-07-03 10:48:15 +03:00
lekss361	703f6f60c0	Merge pull request 'fix(tradein/v2/a11y): немодальный SectionOverlay + контраст токенов + headings — a11y round 3 (#2264)' (#2279) from fix/tradein-v2-a11y-round3 into main	2026-07-03 07:47:09 +00:00
bot-backend	a3cab9023f	fix(tradein/v2/a11y): немодальный SectionOverlay + контраст токенов + headings — a11y round 3 (#2264) ... - SectionOverlay: убран aria-modal (честный non-modal fullscreen-view); focus-trap теперь охватывает живой верхний nav + оверлей (query по артборду, фильтр [inert]), Tab из nav возвращается в оверлей, не в спрятанный main/footer. - Контраст 6 muted/disabled токенов затемнён до >=4.6:1 vs worst-case #dce6f1 (hue сохранён, lightness-only): muted2/3/4, hint, disabledValue/Label. - accent -> accentDeep как мелкий текст: номер секции оверлея (15px), счётчик "Мои отчёты" (10px). - Семантика заголовков: sr-only h1 «Мера — оценка квартиры» + h2 (оверлей, ResultPanel, ObjectSummary, placeholder-панели). - HeroBar «КОЭФ. ЛОКАЦИИ»: role=button + tabIndex + Enter/Space + aria-label. - Фокус после успешной оценки переносится на результат-регион (role=region, tabIndex=-1, aria-labelledby); live-region «Оценка готова» сохранён. - Инпут focus-ring усилен (2px solid accentDeep). - combobox адреса: aria-live анонс количества подсказок; aria-required на адрес + площадь; декоративные inline-SVG помечены aria-hidden.	2026-07-03 10:37:42 +03:00
bot-backend	9cdc7cef21	fix(tradein/estimator): дедуп — нумерованные улицы + house-no guard на street-union (#2265, review follow-up)	2026-07-03 10:37:26 +03:00
lekss361	fc5c4b1e40	Merge pull request 'chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops/frontend (#2204)' (#2276) from chore/tradein-remove-n1-source into main	2026-07-03 07:33:28 +00:00
bot-backend	9a9f13d513	fix(tradein/estimator): savepoint+retry вокруг ratio-lookup — transient не гасит expected_sold (#2265)	2026-07-03 10:19:57 +03:00
bot-backend	a08e263c60	fix(tradein/estimator): кросс-source дедуп — устойчивый адресный ключ street+house (#2265)	2026-07-03 10:19:19 +03:00
bot-backend	ca0a51c876	chore(tradein/ui): вычистить источник n1 из source-registry и UI (#2204)	2026-07-03 10:16:53 +03:00
bot-backend	dd050af16d	chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops (#2204)	2026-07-03 10:08:56 +03:00
bot-backend	8a10d943d7	fix(tradein/scraper-kit): scale cian anchor watchdog for proxy-pool browser fetches (#2160) ... Fixed ANCHOR_TIMEOUT_SEC=240 guillotined every cian anchor when running via USE_PROXY_POOL_BROWSER=true: each SERP fetch goes through camoufox with relaunch on proxy swap (13-45s/page), and an anchor = 4 room-buckets x pages_per_anchor SERP fetches + detail_top_n details + houses-enrich >> 240s. save_listings never ran, lots_fetched=0, and after 3 consecutive skips the run was mark_banned. Introduces _cian_anchor_timeout_s() mirroring the avito/yandex/domclick scaling pattern: max(ANCHOR_TIMEOUT_SEC, buckets*pages*(delay+per_serp) + details*per_detail + houses_budget). Defaults -> 1580s worst-case watchdog (hang guard, not expected duration). Applied to both the scraper-kit copy (strangler target) and the active app.services.scrape_pipeline copy that run 581 actually hit.	2026-07-03 10:05:06 +03:00
lekss361	bbe596747d	Merge pull request 'fix(tradein/data): yandex url-«дубли» — каноникализация URL (скрейпер + миграция 164) + manifest 162 (#2235, #2216)' (#2271) from fix/tradein-yandex-url-dedup into main	2026-07-03 06:53:27 +00:00
bot-backend	dd8b5769e5	fix(tradein/migrations): дописать 162 в _manifest_applied — stale manifest из #2228 (#2216)	2026-07-03 09:41:44 +03:00
lekss361	c44bb49809	Merge pull request 'fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)' (#2263) from fix/tradein-extval-house-id into main	2026-07-03 06:40:21 +00:00
bot-backend	33e3503f97	fix(tradein/data): yandex url-дубли — дедуп-миграция + инвариант + корень (#2235)	2026-07-03 09:39:29 +03:00
lekss361	e1c5f2184c	fix(tradein/scraper-kit): wire browser proxy-pool into yandex/cian SERP + persist activation flags (#2160) (#2268)	2026-07-03 06:36:56 +00:00
bot-backend	c2096249d5	fix(tradein/data): dry-run бэкфилла — savepoint-паритет с write-веткой (#2236)	2026-07-03 09:28:27 +03:00
lekss361	5f6db8dbb7	Merge pull request 'fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)' (#2261) from fix/tradein-admin-exception-leak into main	2026-07-03 06:27:22 +00:00
bot-backend	291717fa2f	fix(tradein/data): external_valuations.house_id — резолв в write-path + идемпотентный бэкфилл (#2236)	2026-07-03 09:22:44 +03:00
bot-backend	efa0bafa18	fix(tradein/security): 404 IMV-адрес — warning без traceback, не exception-шум (#2234)	2026-07-03 09:20:44 +03:00
bot-backend	c65a73ca9a	fix(tradein/security): admin.py — generic detail + error-id вместо сырого текста исключений (#2234)	2026-07-03 09:16:34 +03:00
lekss361	910bfed5f1	Merge pull request 'fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233)' (#2258) from fix/tradein-photo-upload-stream-cap into main	2026-07-03 06:15:57 +00:00
bot-backend	edbdd28286	fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233)	2026-07-03 09:06:51 +03:00
lekss361	14d76fb136	Merge pull request 'feat(tradein/ui): честное раскрытие покрытия диапазона в hero (#2209)' (#2232) from fix/tradein-range-disclosure into main	2026-07-03 06:06:31 +00:00
bot-backend	bbd47ae536	fix(tradein): оставить domklik активным — отключить его TTL-деактивацию (#2204) ... Продуктовое решение (user, 2026-07-03): domklik остаётся активным источником; TTL-деактивация по scraped_at (заведена миграцией 160 этой ночью) отключается до возобновления регулярных domclick-свипов. deactivate_stale_n1 не тронут (n1 мёртв — деактивация остаётся). Миграция 163 идемпотентна (enabled=false). Refs #2204	2026-07-03 08:52:56 +03:00
lekss361	8ea52b9b7a	fix(tradein/ops): health-check валит деплой + mem-лимиты + log-rotation (#2214) (#2231)	2026-07-02 21:29:30 +00:00
bot-backend	9de867631b	feat(tradein/ui): честное раскрытие покрытия диапазона в hero (#2209) ... Хинт диапазона expected_sold дополнен замеренной точностью: «фактическая цена продажи попадает в диапазон в ~80% случаев (июль 2026)» — по живому бэктесту на реальных ДКП Росреестра (n=276, coverage 81.5%, engine=full). Раскрытие вместо молчаливой выдачи Q1-Q3 за прогнозный интервал — acceptance-пункт «явно раскрыть точность/покрытие» из #2209. Refs #2209	2026-07-03 00:23:03 +03:00
lekss361	9f28092356	fix(tradein/estimator): min-width floor ±12% на ценовой диапазон (#2209) (#2230)	2026-07-02 21:21:28 +00:00
lekss361	5fb5675871	fix(tradein/security): defense-in-depth trusted-header auth + rate-limiter fix (#2213) (#2229)	2026-07-02 21:15:58 +00:00
lekss361	0793571c4a	fix(tradein/deploy): миграции ДО подъёма app-контейнеров + manifest-инвариант (#2216) (#2228)	2026-07-02 21:03:37 +00:00
lekss361	19ecd941f3	fix(tradein/ui): единый source-registry + честные знаменатели/лейблы источников (#2211) (#2227)	2026-07-02 20:57:26 +00:00
lekss361	ac19c4f7b3	feat(tradein/monitor): алерт на staleness данных deals по max(deal_date) (#2212) (#2226)	2026-07-02 20:50:37 +00:00
lekss361	4ce0f51bb8	perf(tradein): снять блокировку event loop на POST /estimate (#2207) (#2225)	2026-07-02 20:39:48 +00:00
lekss361	47f45fc3d2	fix(tradein/scrapers): bump scraped_at при ре-подтверждении живым + бэкфилл (#2206) (#2224)	2026-07-02 20:30:01 +00:00
lekss361	72d26b35fa	fix(tradein): не запекать preview-флаг в прод-образ + noindex/баннер (#2205) (#2223)	2026-07-02 20:21:58 +00:00