920 commits

Author	SHA1	Message	Date
Light1YT	27fc8101e5	fix(tradein): DaData backfill — Екатеринбург city context (#606 hotfix) ... Dry-run на проде показал, что DaData без явного города мапит короткие street-адреса в Москву по умолчанию («улица Просторная» → «г Москва, ул Просторная»). Это бы привело к catastrophic false-positive enrichment'у если бы скрипт запустили без --dry-run. Two-layer fix: 1. `_with_city_context(addr)` — pre-pends «Екатеринбург, » если в адресе ещё нет упоминания города. Идемпотентен, case-insensitive. 2. `_result_in_ekb(result)` — post-filter. Проверяет `raw.city` (структурное поле DaData) с fallback на substring search в `canonical_address`. Защищает даже если DaData проигнорирует city-префикс и всё равно вернёт другой город (например для homonym streets). `_is_enriched_result()` теперь требует обе проверки: qc_geo IN (0,1) AND coords AND city == Екатеринбург. Только так делаем UPDATE coords/cadnum. Без этого fix'а нельзя запускать backfill — все non-EKB false-positives перезаписали бы NULL coords мусором. 9 новых тестов: city context (prepend / idempotent / case / empty), post-filter (raw.city / canonical / Moscow reject / None). Combined 29 passed.	2026-05-27 19:48:37 +05:00
Light1YT	e332052d0e	feat(tradein): DaData /clean/address backfill для houses (PR Q3) ... Migration 070 — добавляет houses.house_fias_id + dadata_qc_geo / qc_house / enriched_at для tracking. Скрипт scripts/backfill_houses_dadata.py проходит по ~3.8k rows с NULL coords + ~8.6k с NULL cadnum daily 100/day (DaData demo quota → ~124 дня walltime для полного прохода). Per-row SAVEPOINT, resume-safe (фильтр dadata_enriched_at IS NULL), qc_geo IN (0,1) → overwrite coord-payload, иначе только tracking. --priority coords|cadnum|both, --dry-run, --limit N (default 100). 20 тестов покрывают happy path qc_geo=0, qc_geo=3 city-level skip, DaData None response, per-row exception isolation, --dry-run, --limit, --priority filter, и missing-creds fail-fast.	2026-05-27 19:43:07 +05:00
Light1YT	386fa8c0e3	feat(tradein): DaData /suggest tier в /suggest endpoint (PR Q2) ... Yandex Suggest заблокирован (демо 1k/день исчерпан) — DaData /suggest/address (10k/день free, token-only auth, лучшее покрытие РФ) заменяет его как Tier 2 после Cadastral FDW. Yandex остаётся как Tier 3 fallback. - app/services/dadata.py: DadataSuggestion dataclass + async suggest_addresses() (token-only, без X-Secret; graceful [] на все ошибки; 5s timeout; classifies fias_level→kind: 8=house, 7=street, ≤6=city; count clamp ≤20) - app/services/geocoder.py: _dadata_suggest() обёртка, дропает entries без координат; suggest() теперь Cadastral → DaData → Yandex → Nominatim - tests/services/test_dadata.py: 15 новых unit-тестов (happy + все error paths) - tests/services/test_cadastral_reverse.py: +тест DaData до Yandex, update fallback теста под новый tier chain Tests: 62 passed (35 dadata + 20 cadastral reverse + 7 geocode reverse api). Ruff clean. Reuse DADATA_API_TOKEN from PR Q1 (#604) — secret не нужен для suggest.	2026-05-27 19:08:58 +05:00
Light1YT	a7fa1a4ffa	feat(tradein): DaData on-demand enrichment в estimate flow (PR Q1) ... Добавляет app/services/dadata.py — async client для DaData /clean/address, обогащающий target адрес canonical-формой, kadastr_num, ФИАС, координатами и ближайшим метро. Migration 069 расширяет trade_in_estimates 6 nullable колонками; estimator.estimate_quality вызывает service после geocode и сохраняет результат в основной INSERT. AggregatedEstimate отдаёт canonical_address / house_cadnum / house_fias_id / metro_nearest наружу. Service graceful: пустые credentials / quota 429 / 5xx / network fail → None, estimator продолжает работу. Demo tier 100 req/день — хватит для low-traffic prod и тестов. ENV: DADATA_API_TOKEN, DADATA_API_SECRET. Tests: 20 unit-тестов через httpx.MockTransport, zero real DaData calls. Покрыто: happy path, отсутствие creds, короткий адрес, timeout/network, HTTP 429/401/403/500/502/503, пустой массив, malformed shape, partial payload, coerce строковых qc-кодов в int, проверка request body+headers. Закладывает базу для PR Q2 (frontend DaData Suggest, 10k/день free) и PR Q3 (backfill 339 NULL-coords houses) — обе используют тот же сервис.	2026-05-27 18:50:12 +05:00
Light1YT	b0c03942be	feat(tradein): tier badge на DealsCard rows (#603)	2026-05-27 13:15:49 +00:00
Light1YT	99a5a0f73b	fix(tradein): Yandex listing_date — keyword + absolute-no-year (#602)	2026-05-27 13:11:22 +00:00
Light1YT	f5c87201f1	fix(tradein): Avito listing_date extraction (3 формата) (#601)	2026-05-27 12:55:27 +00:00
Light1YT	64e0d6f4e7	feat(tradein): estimator deals tier (PR M, #564 Phase 3) (#600)	2026-05-27 12:40:09 +00:00
Light1YT	63756c3c29	feat(tradein): StreetDealsCard с paired listings (PR L, #564 Phase 2) (#599)	2026-05-27 12:29:06 +00:00
Light1YT	577ddc0654	chore(tradein): drop spurious v_street_sales_vs_listings (#598)	2026-05-27 12:23:18 +00:00
Light1YT	39da0f0644	feat(tradein): sales-vs-listings endpoint (PR K, foundation #564) (#597)	2026-05-27 11:55:44 +00:00
Light1YT	1d8cfb967f	feat(tradein): backfill 18k existing listings (PR J) (#596)	2026-05-27 10:29:40 +00:00
Light1YT	7e24ccbf2c	feat(tradein): hook matching в save_listings — fill listing_sources (PR I) (#595)	2026-05-27 10:02:37 +00:00
Light1YT	42ab74e2e8	feat(tradein): MapPicker snap marker — Phase 5 of #582 (#594)	2026-05-27 09:30:17 +00:00
Light1YT	aa70e9e155	fix(tradein): yandex_realty captures house number + parse_rub strips NBSP (#593)	2026-05-27 07:23:36 +00:00
Light1YT	1ce9e10012	feat(tradein): persistent infra для backfill scripts (PR F) (#592)	2026-05-27 06:59:54 +00:00
Light1YT	3c506222e6	feat(tradein): Phase 2-3 of #582 — Yandex backfill + canonical audit (#591)	2026-05-27 06:30:54 +00:00
Light1YT	56a7a36c9a	feat(auth): UserMenu — личный кабинет top-right (PR D) (#590)	2026-05-26 10:48:57 +00:00
Light1YT	c08e4d7811	feat(rbac): pilot scope → только /trade-in/** (#587) ... Decision 2026-05-26: pilot не видит landing/analytics/site-finder/concept, только Trade-In.	2026-05-26 07:40:44 +00:00
Light1YT	7a2b055b35	feat(rbac): frontend route-guard + nav filter (#586) ... PR B (frontend) to backend RBAC #585. RouteGuard wraps app, NoAccessScreen on 403 from /me, TopNav filtered by role.	2026-05-26 06:51:45 +00:00
Light1YT	88cdfd6adb	feat(rbac): role-based access control via X-Authenticated-User middleware (#585) ... Backend RBAC + Caddy header_up. Closes part of #fixes-rbac-pra.	2026-05-26 06:18:40 +00:00
Light1YT	fc12b2c160	Merge pull request 'feat(tradein): Phase 1 of #582 — address mismatch audit (200-house Yandex baseline)' (#583) from feat/tradein-address-audit-phase1 into main	2026-05-26 05:18:56 +00:00
Light1YT	dcf5e32aa1	fix(tradein): убрать «PRINZIP» wordmark из шапки ... Оставляем TI-логотип и «Trade-In» рядом. PRINZIP-брендинг скрыт — для текущего демо/пилота он не нужен. Когда понадобится white-label под конкретного заказчика, вернём через `brand-name` slot. Найдено пользователем в шапке gendsgn.ru/trade-in.	2026-05-25 13:28:48 +05:00
Light1YT	02ad9a1f58	feat(tradein): Phase 1 of #582 — address mismatch audit infrastructure ... Stratified 200-house Yandex reverse-geocode audit comparing our DB's (address, lat/lon) pair against what Yandex.Карты returns for those coordinates. Лежит фундамент данных для Phases 2-5 (canonical = Yandex per user decision). What ships: - Migration 066: address_mismatch_audit table + FDW foreign table gendesign_ekb_districts_geom для stratified sampling. - Sampling SQL: 8 EKB districts × 25 houses = 200. - Driver scripts/audit_address_mismatch.py с двумя режимами: API (если YANDEX_GEOCODER_API_KEY есть) и Playwright (CAPTCHA-aware, персистентный контекст). Resumable по --batch. - Report SQL: p50/p75/p95 distance, top-20 outliers, per-district breakdown. - 19 unit-тестов: normalize, distance bind, API parser, resume idempotency, captcha → status=blocked. Devops note: после деплоя миграции — выдать tradein_fdw_reader SELECT на gendesign.public.ekb_districts_geom перед первым запуском audit. Refs #582 (Phase 1 of 5). Phase 3 backfill заблокирован до Yandex API key (#402).	2026-05-25 12:50:30 +05:00
lekss361	33c4c84467	feat(tradein): этаж/этажность optional + best test presets по deal count (#558)	2026-05-24 21:44:44 +00:00
lekss361	8c540ecec6	fix(tradein): extract_street_name handles Nominatim reverse format (#557)	2026-05-24 21:03:42 +00:00
lekss361	4d1c409e18	feat(tradein): «По вашей улице» — StreetDealsCard на real ДКП-сделки Росреестра (#556)	2026-05-24 20:37:29 +00:00
lekss361	a63e459e25	feat(tradein): GET /street-deals — ДКП-сделки Росреестра по улице target адреса (#555)	2026-05-24 20:05:48 +00:00
lekss361	136202dc80	feat(tradein/scripts): local Playwright runners для Cian backfill (bypass server-IP anti-bot) (#553)	2026-05-24 20:00:59 +00:00
lekss361	d2a0257639	feat(tradein-scripts): scrapers + probes + Phase C improvements (#551)	2026-05-24 19:58:38 +00:00
lekss361	6bbb026cb4	fix(yandex-valuation): off-by-one cell index in _parse_row_cells (#552)	2026-05-24 19:57:17 +00:00
lekss361	0ac54d1de0	feat(tradein): sell-time sensitivity block (4 цены × медиана срока продажи) ... Backend: GET /api/v1/trade-in/estimate/{id}/sell-time-sensitivity - 4 фиксированных бакета по premium к медиане года: −5% / медиана (±3%) / +5% / +10% - Median exposure_days + p25/p75 per bucket - Filter outliers: last_price > start_price * 0.7 (отбрасываем подозрительно дешёвые) - Benchmark: median ₽/м² за последние 2 года Frontend: новый SellTimeSensitivity component (4-card grid) - color-coded buckets (green→blue→yellow→red) - median highlighted синей рамкой - показывает "~31 дн" + "обычно 31-61 дн" + count лотов - встроен в HouseAnalyticsSection между KpiRow и PriceHistoryChart Использует существующий house_placement_history (15k+ rows).	2026-05-24 22:43:32 +03:00
lekss361	596842df8d	fix(tradein): filter ДКП-only in rosreestr importer + re-enable deals (#549)	2026-05-24 19:42:28 +00:00
lekss361	5bfacd51b0	feat(tradein): «Росреестр» button — copy address + open EGRN request form (#550)	2026-05-24 19:42:09 +00:00
lekss361	967e7185ca	feat(tradein): cian price-change badges + split chart Avito/Yandex (#547)	2026-05-24 18:24:00 +00:00
lekss361	80850a591e	feat(tradein): house analytics section (chart + KPI + sold list) (#546)	2026-05-24 18:09:45 +00:00
lekss361	f7a5c5d4f7	fix(yandex-valuation): curl_cffi chrome120 — Yandex gates SSR on Chrome TLS (#545)	2026-05-24 16:42:07 +00:00
lekss361	8a88ea6508	refactor(yandex-valuation): DOM-based parser via .OffersArchiveSearchOffers__row (#544)	2026-05-24 16:25:56 +00:00
lekss361	cbe81b7fb7	Merge pull request 'fix(tradein/devops): wire COOKIE_ENCRYPTION_KEY env to tradein-backend' (#543) from chore/tradein-cookie-encryption-key-env into main ... Reviewed-on: #543	2026-05-24 16:08:20 +00:00
lekss361	3ed58e3e7a	fix(yandex-valuation): relax area regex lookbehind (2-комн regression) (#542)	2026-05-24 16:02:06 +00:00
lekss361	a75a660e5b	fix(tradein/devops): wire COOKIE_ENCRYPTION_KEY env to tradein-backend (Calculator was broken on prod)	2026-05-24 18:58:51 +03:00
lekss361	5b1fb6633f	fix(tradein-phase-c): prepend region prefix for IMV geocoder (#540)	2026-05-24 15:39:56 +00:00
lekss361	490bc8ca5d	fix(yandex-valuation): tighten area regex + chronological date ordering (#541)	2026-05-24 15:37:48 +00:00
lekss361	ba9cc3aef1	feat(tradein/cian): valuation backfill + runner script для prod (#539)	2026-05-24 15:16:45 +00:00
lekss361	9505471129	fix(yandex-valuation): cap area_m2 sanity (drop >10000 or ≤0) (#538)	2026-05-24 15:14:13 +00:00
lekss361	ee2262d605	fix(tradein-phase-c): house_type 'monolith'→'monolithic' + log 400 body (#537)	2026-05-24 15:05:49 +00:00
lekss361	499ca76aed	feat(tradein-sweep): --require-house-number filter (default on) (#536)	2026-05-24 15:03:40 +00:00
lekss361	bc594e3f79	feat(tradein/cian): batch backfill task для offer_price_history + houses_price_dynamics (#535)	2026-05-24 14:55:47 +00:00
lekss361	b0d377c984	feat(tradein): Phase C — Avito IMV per-house backfill (SQL + script) (#534)	2026-05-24 14:50:31 +00:00
lekss361	77cda24b8a	feat(tradein): bulk sweep CLI for Yandex valuation house-history (EKB) (#533)	2026-05-24 14:37:24 +00:00