86 commits

Author	SHA1	Message	Date
Light1YT	35bd0238ef	feat(tradein): estimator additive expected_sold price (#648 S3) (#661)	2026-05-29 13:37:33 +00:00
Light1YT	d021fc9231	feat(backtest): per-rooms asking→sold correction block (#648 S1) (#650)	2026-05-29 13:11:55 +00:00
Light1YT	228d12eab1	feat(backtest): read-only estimator-vs-ДКП accuracy harness (#648) (#649)	2026-05-29 12:54:00 +00:00
Light1YT	e925a0ba6a	feat(tradein): per-source listing price history — schema + daily snapshot (#570) (#646)	2026-05-29 12:18:04 +00:00
Light1YT	af6278eaee	feat(tradein): enrich GlitchTip SDK init — integrations + PII scrub (#396) (#643)	2026-05-29 09:23:17 +00:00
Light1YT	7ec19b3536	feat(scheduler): dormant Yandex Realty city-sweep (#561) (#642)	2026-05-29 08:50:10 +00:00
Light1YT	e4b5f14939	test(tradein): estimator pure-helper unit tests + fix None crash in _filter_outliers (#580) (#640)	2026-05-29 08:24:18 +00:00
Light1YT	b6cddcd9a8	fix(tradein): plain natural-key dedup_hash for rosreestr deals (#576) (#638)	2026-05-29 06:56:35 +00:00
lekss361	bd3e5c8216	feat(tradein): аккаунт praktika + лимит 15 оценок/мес, чистка PRINZIP в UI (#635)	2026-05-28 22:04:58 +00:00
Light1YT	312df8536a	feat(tradein): infer repair_state from listing description text (#622) (#632)	2026-05-28 15:37:34 +00:00
Light1YT	d842811390	refactor(tradein): normalize repair_state raw→enum at ingest (#621) (#629)	2026-05-28 15:18:11 +00:00
Light1YT	ec26e5813f	fix(tradein): implement listings_snapshots + offer_price_history writers (#567) (#624)	2026-05-28 13:49:52 +00:00
Light1YT	81bf7e6def	fix(tradein-imv): harden Avito IMV anti-bot path + offline contract tests (#565) ... Add warm-up GET /evaluation/realty + production browser header set (Sec-Fetch, X-Requested-With, 25s timeout) mirroring avito.py, чтобы защитить 3-step IMV flow от server-IP анти-бот 403. Refactor step B/C парсинга в pure helpers (_parse_geo_position/_parse_price/_parse_placement_history/_parse_suggestions) + fixture-driven offline тесты из живых JSON-captures. Честный диагноз: контракт (geoFieldsHash, price-блок, categoryId=24) НЕ менялся — проверено живым capture'ом с этой машины (A→B→C, recommended 7.39M). Реальная причина #565 — скорее анти-бот по PROD-IP, не код → если #565 останется после deploy, настоящий фикс = ротация egress IP воркера (devops, отдельно). code-reviewer: ✅ APPROVE no critical — warm-up non-fatal, injected-session path unchanged, refactor preserves shapes, graceful-None сохранён, fixtures без PII. Tests: 12 new (27 total). Ruff clean. Closes #565	2026-05-28 16:29:05 +05:00
Light1YT	33ee00c065	feat(tradein): калибровка repair-коэффициентов с base 1.0 (#7) ... _REPAIR_COEF → tunable market-эвристика: needs_repair=0.94, standard=1.00 (baseline no-op; было 0.98 — срезало 2% с каждой standard-оценки), good=1.05, excellent=1.10. Деривация из данных отклонена: listings.repair_state покрытие ~2%, сырые un-normalized значения, медианы confounded площадью (issue #7). + regression-тест (читает _REPAIR_COEF динамически — переживёт рекалибровку): ratio excellent/needs_repair, standard/None no-op, наличие/отсутствие note. Поправлен mislabeled comment над _IMV_HOUSE_TYPE_MAP. _IMV_REPAIR_MAP не тронут. code-reviewer: ✅ APPROVE no critical/minor. Tests: 5 new + 7 cian-integration. Ruff clean. Closes #7	2026-05-28 16:15:54 +05:00
Light1YT	a3f45a6722	fix(tradein): decode Avito houses URL-encoded __preloadedState__ (#566) ... Avito switched the houses-catalog state blob from JSON.parse("<js-escaped>") to a URL-encoded string literal, wrapped the 10 widgets in placeholders[0].widgets, и re-nested developmentData под props.housePage. JS-unescape path silently failed → houses rows перестали наполняться (starve'ит #6 same-building + #569 deal centroids). Extract decode в pure _extract_preloaded_state (urllib.parse.unquote, JSON.parse fallback для старой формы), add _flatten_widgets, и сделать _parse_house_page tolerant к обеим developmentData/ratingPreview формам. Real-HTML fixture (Yumasheva-6 EKB) + 4 regression-теста. code-reviewer: ✅ APPROVE no critical (regex anchoring verified, decode safe — no eval/unicode_escape, backward-compat реальный, delisted-house envelope degrade'ит gracefully, fixture без PII/secrets). Tests: 22 passed. Closes #566	2026-05-28 15:58:19 +05:00
Light1YT	492dd0aba6	feat(tradein): бейдж точности адреса (qc_geo) на карточке оценки (accuracy #1) ... Честность к пользователю: показываем насколько точно определён адрес — «до дома» / «до улицы» / «приблизительно» — рядом с confidence. - schemas/trade_in.py: address_precision: Literal["house","street","approximate"]|None - estimator.py: _qc_geo_to_precision (qc_geo 0→house, 1→street, ≥2→approximate, None→None), set в основном return + _empty_estimate - api/v1/trade_in.py: get_estimate + estimate_pdf теперь rehydrate'ят DaData-поля (canonical_address, house_cadnum, house_fias_id, address_precision, metro_nearest) из row — раньше на ?id= reopen / в PDF вся Q1-обогащёнка пропадала (поймал code-reviewer). Колонки уже persisted, фикс read-path. - frontend: AddressPrecision type + precision-badge в HeroSummary (.card-meta), токены --success/--accent-2/--bg-card-alt, без новых токенов. Канон: tech-analyst (план) → backend-engineer + frontend-engineer → code-reviewer (✅ APPROVE, поймал reopen-path gap) → fold-in fix. Tests: 7 passed, tsc clean, ruff clean. match_house_readonly wiring отложен (fast-follow).	2026-05-28 15:37:33 +05:00
Light1YT	47ba362303	feat(tradein): приоритизировать DaData house-backfill на дома с листингами (accuracy #2) ... ORDER BY has_active_listings DESC, id во всех priority-бакетах + новый --priority listings (focused sweep: NULL cadnum + есть active listing). Дневной 100/day budget сначала закрывает дома, которые реально появляются в оценках → estimator #6 cadastr_exact same-building матчинг загорается на real estimate targets за дни, а не недели. Correlated EXISTS бьёт по partial-индексу listings_house_id_fk_idx. Write-path / EKB-guard / SAVEPOINT / qc_geo rules не тронуты. code-reviewer: ✅ APPROVE no critical. Tests: 40 passed. Ruff clean.	2026-05-28 15:17:01 +05:00
Light1YT	783a85ad2b	feat(tradein): geocode leftover deals via Nominatim fallback (#569 Step 3) ... Добавляет scripts/geocode_deals_nominatim.py для ~14% сделок всё ещё lat IS NULL после house-centroid прохода (Step 2) — улицы без геокодированных домов, которые centroid-join не покрывает. Переиспользует geocoder.geocode (cache → Cadastral FDW → Yandex → Nominatim), дедупит по адресу (distinct улицы определяют число вызовов, не 7k строк), и стампит geocode_tried_at на КАЖДОЙ попытке (успех И чистый промах) чтобы un-geocodable строки не крутились по 1 req/s. Resume: lat IS NULL + 30-day staleness, per-address SAVEPOINT, --limit/--dry-run/--batch/--stale-days. Pre-push review (code-reviewer): ✅ APPROVE, no critical — проверены SQL-safety, no-infinite-reloop (mark-tried на miss, no-stamp на raised exc), window-cap, geom-not-manual, dedup, async. Tests: 17 passed. Ruff clean.	2026-05-28 14:59:24 +05:00
Light1YT	1c6d59e3ee	feat(tradein): backfill deals.lat/lon из house street-центроидов (#569) ... deals (49,791 ДКП-сделок Росреестра) на 100% NULL geom → estimator _fetch_deals (ST_DWithin) никогда не матчит, actual_deals всегда пустой (корень #571 «deals disabled»). Добавляет scripts/geocode_deals_from_houses.py: строит per-street центроиды из ~8.6k геокодированных houses и проставляет lat/lon каждой сделке по нормализованному ключу улицы (geom авто-заполняется триггером deals_set_geom_trg). Zero внешних geocoder-вызовов; --dry-run проецирует coverage и топ-10 unmatched улиц. Pre-push review поймал data-corruption баг: _APT_SUFFIX_RE без правого якоря жрал реальные улицы на кв/корп/оф/пом/стр («Строителей»→'ул.' garbage key → неверный центроид). Fix: требовать цифру после суффикс-токена + регресс-тест. Tests: 26 (street-key нормализация вкл. regression, centroid AVG, matched UPDATE, no_street_match, --dry-run no-op, SAVEPOINT isolation, geom-not-manual). Ruff clean.	2026-05-28 14:25:26 +05:00
Light1YT	30a80ee608	feat(tradein): same-building матчинг аналогов по house_id (#6) ... Estimator теперь резолвит target-адрес в КАНОНИЧЕСКИЙ house_id (read-only, без создания записи) и матчит аналоги по listings.house_id_fk — детерминированный Tier S «тот же дом» вместо хрупкого address-string prefix match. 99% листингов слинкованы с houses, поэтому это срабатывает уже сегодня и точнее работает между разнородными источниками (Avito/Cian/Yandex форматируют адрес по-разному). - matching/houses.py: match_house_readonly() — read-only target→house резолвер (cadastr_exact → fingerprint → geo_proximity 50m), без INSERT / house_sources / advisory lock. Возвращает None если уверенного match нет. - estimator.estimate_quality: после geocode+DaData резолвит target_house_id (cadastr от DaData → cadastr_exact заработает по мере backfill houses), graceful. - estimator._fetch_analogs: новый param target_house_id + канонический Tier S (WHERE house_id_fk = target) ПЕРЕД address-prefix Tier S (теперь fallback). tier label 'S' сохранён (frontend уже рендерит). Эффект: вместо «похожие в радиусе 800-1000м» — «вот что в ЭТОМ доме», прямой выигрыш в точности оценки. Foundation под cadastr/FIAS exact match (DaData Q1/Q3). Tests: 9 новых (match_house_readonly tiers + never-inserts + canonical Tier S fires/fallback/too-few). Ruff clean. Pre-existing 4 fail в test_estimator_source_quota (unpack 2≠3, красные на main до этого PR) — не затронуты.	2026-05-28 13:55:51 +05:00
Light1YT	27fc8101e5	fix(tradein): DaData backfill — Екатеринбург city context (#606 hotfix) ... Dry-run на проде показал, что DaData без явного города мапит короткие street-адреса в Москву по умолчанию («улица Просторная» → «г Москва, ул Просторная»). Это бы привело к catastrophic false-positive enrichment'у если бы скрипт запустили без --dry-run. Two-layer fix: 1. `_with_city_context(addr)` — pre-pends «Екатеринбург, » если в адресе ещё нет упоминания города. Идемпотентен, case-insensitive. 2. `_result_in_ekb(result)` — post-filter. Проверяет `raw.city` (структурное поле DaData) с fallback на substring search в `canonical_address`. Защищает даже если DaData проигнорирует city-префикс и всё равно вернёт другой город (например для homonym streets). `_is_enriched_result()` теперь требует обе проверки: qc_geo IN (0,1) AND coords AND city == Екатеринбург. Только так делаем UPDATE coords/cadnum. Без этого fix'а нельзя запускать backfill — все non-EKB false-positives перезаписали бы NULL coords мусором. 9 новых тестов: city context (prepend / idempotent / case / empty), post-filter (raw.city / canonical / Moscow reject / None). Combined 29 passed.	2026-05-27 19:48:37 +05:00
Light1YT	e332052d0e	feat(tradein): DaData /clean/address backfill для houses (PR Q3) ... Migration 070 — добавляет houses.house_fias_id + dadata_qc_geo / qc_house / enriched_at для tracking. Скрипт scripts/backfill_houses_dadata.py проходит по ~3.8k rows с NULL coords + ~8.6k с NULL cadnum daily 100/day (DaData demo quota → ~124 дня walltime для полного прохода). Per-row SAVEPOINT, resume-safe (фильтр dadata_enriched_at IS NULL), qc_geo IN (0,1) → overwrite coord-payload, иначе только tracking. --priority coords|cadnum|both, --dry-run, --limit N (default 100). 20 тестов покрывают happy path qc_geo=0, qc_geo=3 city-level skip, DaData None response, per-row exception isolation, --dry-run, --limit, --priority filter, и missing-creds fail-fast.	2026-05-27 19:43:07 +05:00
Light1YT	386fa8c0e3	feat(tradein): DaData /suggest tier в /suggest endpoint (PR Q2) ... Yandex Suggest заблокирован (демо 1k/день исчерпан) — DaData /suggest/address (10k/день free, token-only auth, лучшее покрытие РФ) заменяет его как Tier 2 после Cadastral FDW. Yandex остаётся как Tier 3 fallback. - app/services/dadata.py: DadataSuggestion dataclass + async suggest_addresses() (token-only, без X-Secret; graceful [] на все ошибки; 5s timeout; classifies fias_level→kind: 8=house, 7=street, ≤6=city; count clamp ≤20) - app/services/geocoder.py: _dadata_suggest() обёртка, дропает entries без координат; suggest() теперь Cadastral → DaData → Yandex → Nominatim - tests/services/test_dadata.py: 15 новых unit-тестов (happy + все error paths) - tests/services/test_cadastral_reverse.py: +тест DaData до Yandex, update fallback теста под новый tier chain Tests: 62 passed (35 dadata + 20 cadastral reverse + 7 geocode reverse api). Ruff clean. Reuse DADATA_API_TOKEN from PR Q1 (#604) — secret не нужен для suggest.	2026-05-27 19:08:58 +05:00
Light1YT	a7fa1a4ffa	feat(tradein): DaData on-demand enrichment в estimate flow (PR Q1) ... Добавляет app/services/dadata.py — async client для DaData /clean/address, обогащающий target адрес canonical-формой, kadastr_num, ФИАС, координатами и ближайшим метро. Migration 069 расширяет trade_in_estimates 6 nullable колонками; estimator.estimate_quality вызывает service после geocode и сохраняет результат в основной INSERT. AggregatedEstimate отдаёт canonical_address / house_cadnum / house_fias_id / metro_nearest наружу. Service graceful: пустые credentials / quota 429 / 5xx / network fail → None, estimator продолжает работу. Demo tier 100 req/день — хватит для low-traffic prod и тестов. ENV: DADATA_API_TOKEN, DADATA_API_SECRET. Tests: 20 unit-тестов через httpx.MockTransport, zero real DaData calls. Покрыто: happy path, отсутствие creds, короткий адрес, timeout/network, HTTP 429/401/403/500/502/503, пустой массив, malformed shape, partial payload, coerce строковых qc-кодов в int, проверка request body+headers. Закладывает базу для PR Q2 (frontend DaData Suggest, 10k/день free) и PR Q3 (backfill 339 NULL-coords houses) — обе используют тот же сервис.	2026-05-27 18:50:12 +05:00
Light1YT	99a5a0f73b	fix(tradein): Yandex listing_date — keyword + absolute-no-year (#602)	2026-05-27 13:11:22 +00:00
Light1YT	f5c87201f1	fix(tradein): Avito listing_date extraction (3 формата) (#601)	2026-05-27 12:55:27 +00:00
Light1YT	39da0f0644	feat(tradein): sales-vs-listings endpoint (PR K, foundation #564) (#597)	2026-05-27 11:55:44 +00:00
Light1YT	1d8cfb967f	feat(tradein): backfill 18k existing listings (PR J) (#596)	2026-05-27 10:29:40 +00:00
Light1YT	7e24ccbf2c	feat(tradein): hook matching в save_listings — fill listing_sources (PR I) (#595)	2026-05-27 10:02:37 +00:00
Light1YT	42ab74e2e8	feat(tradein): MapPicker snap marker — Phase 5 of #582 (#594)	2026-05-27 09:30:17 +00:00
Light1YT	aa70e9e155	fix(tradein): yandex_realty captures house number + parse_rub strips NBSP (#593)	2026-05-27 07:23:36 +00:00
Light1YT	1ce9e10012	feat(tradein): persistent infra для backfill scripts (PR F) (#592)	2026-05-27 06:59:54 +00:00
Light1YT	3c506222e6	feat(tradein): Phase 2-3 of #582 — Yandex backfill + canonical audit (#591)	2026-05-27 06:30:54 +00:00
Light1YT	c08e4d7811	feat(rbac): pilot scope → только /trade-in/** (#587) ... Decision 2026-05-26: pilot не видит landing/analytics/site-finder/concept, только Trade-In.	2026-05-26 07:40:44 +00:00
Light1YT	88cdfd6adb	feat(rbac): role-based access control via X-Authenticated-User middleware (#585) ... Backend RBAC + Caddy header_up. Closes part of #fixes-rbac-pra.	2026-05-26 06:18:40 +00:00
Light1YT	02ad9a1f58	feat(tradein): Phase 1 of #582 — address mismatch audit infrastructure ... Stratified 200-house Yandex reverse-geocode audit comparing our DB's (address, lat/lon) pair against what Yandex.Карты returns for those coordinates. Лежит фундамент данных для Phases 2-5 (canonical = Yandex per user decision). What ships: - Migration 066: address_mismatch_audit table + FDW foreign table gendesign_ekb_districts_geom для stratified sampling. - Sampling SQL: 8 EKB districts × 25 houses = 200. - Driver scripts/audit_address_mismatch.py с двумя режимами: API (если YANDEX_GEOCODER_API_KEY есть) и Playwright (CAPTCHA-aware, персистентный контекст). Resumable по --batch. - Report SQL: p50/p75/p95 distance, top-20 outliers, per-district breakdown. - 19 unit-тестов: normalize, distance bind, API parser, resume idempotency, captcha → status=blocked. Devops note: после деплоя миграции — выдать tradein_fdw_reader SELECT на gendesign.public.ekb_districts_geom перед первым запуском audit. Refs #582 (Phase 1 of 5). Phase 3 backfill заблокирован до Yandex API key (#402).	2026-05-25 12:50:30 +05:00
lekss361	33c4c84467	feat(tradein): этаж/этажность optional + best test presets по deal count (#558)	2026-05-24 21:44:44 +00:00
lekss361	8c540ecec6	fix(tradein): extract_street_name handles Nominatim reverse format (#557)	2026-05-24 21:03:42 +00:00
lekss361	a63e459e25	feat(tradein): GET /street-deals — ДКП-сделки Росреестра по улице target адреса (#555)	2026-05-24 20:05:48 +00:00
lekss361	6bbb026cb4	fix(yandex-valuation): off-by-one cell index in _parse_row_cells (#552)	2026-05-24 19:57:17 +00:00
lekss361	596842df8d	fix(tradein): filter ДКП-only in rosreestr importer + re-enable deals (#549)	2026-05-24 19:42:28 +00:00
lekss361	8a88ea6508	refactor(yandex-valuation): DOM-based parser via .OffersArchiveSearchOffers__row (#544)	2026-05-24 16:25:56 +00:00
lekss361	3ed58e3e7a	fix(yandex-valuation): relax area regex lookbehind (2-комн regression) (#542)	2026-05-24 16:02:06 +00:00
lekss361	490bc8ca5d	fix(yandex-valuation): tighten area regex + chronological date ordering (#541)	2026-05-24 15:37:48 +00:00
lekss361	9505471129	fix(yandex-valuation): cap area_m2 sanity (drop >10000 or ≤0) (#538)	2026-05-24 15:14:13 +00:00
lekss361	c8675ce6e2	feat(yandex-valuation): link history rows to houses via match_or_create_house (#531)	2026-05-24 14:28:30 +00:00
lekss361	7ef4e91e50	fix(yandex-valuation): parse removed_date, fix total_floors regex, normalize NBSP (#526)	2026-05-24 14:12:16 +00:00
lekss361	45ee0a2945	fix(tradein-estimator): extend cohort filter to Tier S + Tier H, fix late_soviet overlap (#522)	2026-05-24 13:14:59 +00:00
lekss361	a0d50bd282	feat(tradein-estimator): tiered house-match S→H→W (#507)	2026-05-24 12:41:12 +00:00
lekss361	7d8c22ff39	fix(tradein-estimator): atomic IMV link, batched yandex history, drop redundant CAST (#509)	2026-05-24 11:18:12 +00:00