151 commits

Author	SHA1	Message	Date
bot-backend	cf91ac6b24	feat(tradein/scraper): per-city sweep capability для 5 городов области (schedules disabled) ... B1: avito/cian/yandex city-sweep по городам Свердловской обл. (Н.Тагил/Каменск/Первоуральск/В.Пышма/Серов). Schedules засеяны DISABLED — rollout вручную по одному городу (proxy = 1 живой прокси). - pipeline.py: CITY_ANCHORS (5) + get_city_anchors(slug) (None→EKB fallback). - scheduler.py: sweep-jobs читают params.city → анкоры; wildcard-хендлеры *_city_sweep_* (source UNIQUE → per-city source, как deactivate_stale_*). - geo.py: OBLAST66_BBOX + is_within_oblast66_bbox; avito/detail.py ingest-guard EKB→oblast66. - price_brackets.py: 5 city-seed (reuse EKB). migration 179: 15 rows enabled=false, staggered, idempotent. - +6 тестов. domclick (B2) не тронут.	2026-07-12 20:06:46 +03:00
bot-backend	e2502a0134	fix(tradein/estimator): per-city ценовой band ДКП-сделок для всей обл. 66 ... Глобальный DEAL_MIN_PPM2=50k резал 46.6% не-ЕКБ сделок (легит дешёвые города: Североуральск p50=21.7k, Новоуральск 36k, Асбест 41k). Band стал per-city. - migration 178: deal_city_price_bands (city PK, ppm2_min/max, n_deals), populate из deals (source=rosreestr, city<>Екатеринбург, count>=30), min=GREATEST(p1,8000) max=LEAST(p99,800000), idempotent upsert; HAVING-guard p99>=8000 (airtight против inverted band). - estimator.py оба enforcement-пойнта city-aware с fallback на глобаль: - _fetch_dkp_corridor SQL: LEFT JOIN deal_city_price_bands + COALESCE(band, :global). - _is_plausible_deal(city, bands) + _fetch_deals: _load_city_price_bands (TTL-cache), SELECT city. - ЕКБ исключён из таблицы → fallback на 50k/800k → EKB-сделки byte-identical (deals спеллит EKB только 'Екатеринбург', 49791). EKB deal-level инвариант airtight; interior-EKB оценки идентичны. Регресс-гейт байт-зелёный. Follow-ups: periodic refresh band-таблицы; city-scoping _fetch_dkp_corridor (→ C2).	2026-07-12 19:07:05 +03:00
bot-backend	752cb1044b	fix(tradein/ingest): раз-хардкод rosreestr DKP импорта на всю обл. 66 ... - scheduler.py import_rosreestr_dkp: снят фильтр city ILIKE '%катеринбург%', address из реального city источника, deals.region_code + новая deals.city заполняются (было: хардкод 'Екатеринбург,' + region_code NULL) - migration 177: deals.city + индекс + бэкфилл существующих EKB-строк region_code=66/city - guard city IS NOT NULL → address не NULL для ~15 null-city строк источника - sync deploy/import-rosreestr.sh (ops-fallback) под тот же oblast-scope - split dedup-теста: 077 (историческая) хранит EKB-фильтр, живой импорт — нет Открывает +47183 не-ЕКБ сделок region 66, уже сидящих в источнике, ранее резавшихся на импорте.	2026-07-12 18:11:47 +03:00
bot-backend	cc231946c2	feat(tradein): fill houses.year_built/material_walls from ДОМ.РФ КР1.1/1.2 + zhkh_year, propagate to listings (#2013) (#2476)	2026-07-12 13:12:07 +00:00
lekss361	f93ef5374d	feat(tradein/domclick): production Layer B detail-backfill orchestrator (#2000) (#2436)	2026-07-04 19:49:07 +00:00
lekss361	ced616d150	feat(tradein/domclick): cookie-injection MVP для обхода QRATOR-блока (#2000) (#2433)	2026-07-04 17:49:40 +00:00
bot-backend	b238d3ef50	chore(tradein/proxy-pool): добавить domclick в provider_affinity CHECK (residential ASocks для #2000)	2026-07-04 17:21:07 +03:00
lekss361	2538fc02e2	feat(tradein/lead): POST /api/v1/trade-in/lead — persist contact leads (#2376) (#2390)	2026-07-04 07:12:22 +00:00
lekss361	5fa505b809	fix(tradein/scrapers): подключить geoportal coords backfill в scheduler (#1967) (#2346)	2026-07-03 23:25:47 +00:00
bot-backend	90731da537	feat(tradein): location-coef MVP через FDW-мост к OSM POI Птицы (#2045) ... Финальный PR issue #2045 (BE-3): GET /api/v1/trade-in/location-coef для LocationDrawer. FDW foreign table -> локальное зеркало osm_poi_ekb_local (TRUNCATE+INSERT, тот же паттерн что cad_buildings_local/cadastral_geo_match, избегает ~1.16s/row FDW round-trip) -> straight-line POI-скоринг, портированный из Site Finder poi_score.py::compute_poi_weighted_top7 (CATEGORY_WEIGHTS as-is, радиус 1200м для квартир вместо Ptica 2000м для участков). score->coef - новая MVP-эвристика (0.95..1.05, не откалибрована на реальных дельтах). Graceful fallback (не 500, не фабрикуем факторы): пустая/не отрефрешенная osm_poi_ekb_local или отсутствие lat/lon у оценки -> coef=1.0, factors=[], geo_source="unavailable". Scheduler: source=osm_poi_ekb_refresh, daily, зарегистрирован и в боевом dispatch (scheduler.py), и в kit-registry (product_handlers.py) - иначе test_kit_registry_completeness падает на ship-dark инварианте (#2192). Frontend wiring (mappers.ts/LocationDrawer.tsx) - вне scope, отдельная задача после проверки endpoint'а curl'ом на деплое.	2026-07-03 23:44:55 +03:00
bot-backend	6f170504ba	fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969) ... - listings.phones: миграция 166 обнуляет данные; cian.py + scraper-kit serp.py (golden-parity зеркало) перестают читать offer.get("phones") на входе — write-path выключен у источника, колонка/поле в модели остаются. Мёртвая запись "phones" в LISTING_FIELD_PRIORITY убрана. - trade_in_estimates.client_name/client_phone: миграция 167 дропает колонки; синхронно убраны из TradeInEstimateInput, обоих INSERT в estimator.py (основной путь + _empty_estimate), frontend TradeInEstimateInput и CRM-блока EstimateForm (поля "Имя клиента"/"Телефон"). - sentry_scrub.py и management_companies.phones не тронуты — вне scope.	2026-07-03 23:00:42 +03:00
bot-backend	dd050af16d	chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops (#2204)	2026-07-03 10:08:56 +03:00
bot-backend	dd8b5769e5	fix(tradein/migrations): дописать 162 в _manifest_applied — stale manifest из #2228 (#2216)	2026-07-03 09:41:44 +03:00
bot-backend	33e3503f97	fix(tradein/data): yandex url-дубли — дедуп-миграция + инвариант + корень (#2235)	2026-07-03 09:39:29 +03:00
bot-backend	bbd47ae536	fix(tradein): оставить domklik активным — отключить его TTL-деактивацию (#2204) ... Продуктовое решение (user, 2026-07-03): domklik остаётся активным источником; TTL-деактивация по scraped_at (заведена миграцией 160 этой ночью) отключается до возобновления регулярных domclick-свипов. deactivate_stale_n1 не тронут (n1 мёртв — деактивация остаётся). Миграция 163 идемпотентна (enabled=false). Refs #2204	2026-07-03 08:52:56 +03:00
lekss361	0793571c4a	fix(tradein/deploy): миграции ДО подъёма app-контейнеров + manifest-инвариант (#2216) (#2228)	2026-07-02 21:03:37 +00:00
lekss361	ac19c4f7b3	feat(tradein/monitor): алерт на staleness данных deals по max(deal_date) (#2212) (#2226)	2026-07-02 20:50:37 +00:00
lekss361	47f45fc3d2	fix(tradein/scrapers): bump scraped_at при ре-подтверждении живым + бэкфилл (#2206) (#2224)	2026-07-02 20:30:01 +00:00
lekss361	f5b0076e6f	fix(tradein): deactivate_stale для domklik/n1 + честная freshness по scraped_at (#2204) (#2221)	2026-07-02 20:10:34 +00:00
bot-backend	67a852caf1	feat(tradein/matching): fias_exact tier + estimate fias persist + suggest fias_id contract	2026-07-02 20:49:04 +03:00
lekss361	d7f4873a53	feat(proxy-pool): pool service (acquire/release/health) + healthcheck scheduler task (#2162)	2026-07-02 16:41:39 +00:00
lekss361	90e4a741f7	feat(proxy-pool): scrape_proxies table + admin bulk-load/list endpoints (#2161)	2026-07-02 16:31:21 +00:00
lekss361	abef3e6e02	feat(market): revoke gendesign_reader direct SELECT on raw tables (#2138 step 3/3)	2026-07-02 15:11:55 +00:00
lekss361	03b3cb9fe4	feat(market): grant gendesign_reader SELECT on contract views (#2138 step 1/3)	2026-07-02 14:47:49 +00:00
lekss361	e2bb5061f9	feat(market): contract views market.v_* over producer tables (#2130)	2026-07-02 14:02:59 +00:00
bot-backend	078dadc440	fix(tradein): cadastre ЖКХ-fallback + COALESCE merge-key + median-floors guard ... Серия sale-share data-quality (по находкам юзера): - house_dedup_merge: cluster_key → tradein_canon_addr(COALESCE(short_address, full_address, address)) — ловит дубли с район-noise в address (Вайнера 66). - zhkh_flats_loader: cadastre-fallback (searchByAddress по cadastreNumber, guid-независимо) — резолвит дома где gar_house_guid ≠ ЖКХ houseGuid (Переходный 6: guid→0, cadastre→165). CLI --cadastre. - мигр.153: плаузибилити-гард по медиане этажности листингов — denom >= GREATEST(total_floors, median(listings.total_floors), 8); отсекает gar-недосчёт башен без ЖКХ (gar=9 vs листинги 19-26 эт → NULL). ruff clean, pytest 36 green.	2026-06-29 01:32:48 +03:00
bot-backend	ebc3813648	fix(tradein/sale-share): гард по этажности — отсечь near-neighbor mis-match ... Гео-фильтр ≤300м (мигр.150) широк для плотной застройки: к 5-этажному дому (Мраморская 34к4) примагничены чужие листинги 9/16/19-этажных башен (Благодатская 15, Мраморская 6) на 229-282м — все <300м, фильтр не отсекал. - мигр.152: +houses.zhkh_floors (parse zhkh_floors_raw "10-30"→max); гард во view во всех 5 FILTER: считать листинг только если abs(l.total_floors - COALESCE(zhkh_floors, total_floors)) <= 3 (или этажность неизвестна). Гео-фильтр 300м сохранён. - buildings_query.build_listings_query: тот же гард в детальной выдаче. Прод-замер: отсекает 2754 листинга (12%) height-mismatched. Покрытие этажности 75% total_floors / 73% ЖКХ. ruff clean, pytest 26 green.	2026-06-29 00:31:09 +03:00
bot-backend	b105e0a500	fix(tradein/sale-share): дедуп карточки листингов + чистка голых алиасов ... #4 Карточка дома показывала cross-площадочные дубли (Искровцев 33: 2 квартиры = 4 строки avito/domklik/cian). build_listings_query теперь дедуплит по сигнатуре (rooms, round(area_m2), floor) — как v_building_sale_share мигр.148 — одна строка на квартиру, представитель = самый дешёвый, +колонка sources[] (площадки). Гео-фильтр ≤300м (мигр.150) сохранён. +BuildingListing.sources в схеме. P4a Мигр.151: DELETE 6338/21720 голых алиасов house_address_aliases (без номера дома) — сток, в который сваливались безномерные листинги (Tier-2b). Матчер уже захардненен (P1 #2082), голые не регенерируют. Алиасы — регенерируемый кэш, house_id_fk/house_sources не тронуты. ruff clean, pytest test_buildings_api 26 green.	2026-06-29 00:22:20 +03:00
bot-backend	f617c323bd	fix(tradein/sale-share): гео-фильтр числителя ≤300м — отсечь mis-bucketed листинги ... Листинги примагничиваются к НЕ ТОМУ дому (кривой house_id_fk): прод-замер 373 дома (5.5%) / 1685 листингов (7.2%) дальше 300м от своего дома. Пример — house 131237 «Мамина-Сибиряка 126» (ЖКХ=51 кв, знаменатель ВЕРНЫЙ): из 20 активных листингов реально его ~2, остальные — Свердлова 32 / Азина 31 (до 2.2км) → ложная доля 39% вместо ~4%. - мигр.150: v_building_sale_share — числители (active/45д) + медианы считают только листинги ≤300м от geom дома (ST_DistanceSphere; листинг/дом без geom — keep). Знаменатель не тронут. - buildings_query.build_listings_query: тот же гео-фильтр в детальной выдаче (карточка дома больше не показывает чужие листинги). Симуляция на проде: меняется 351 дом, обнуляется 164 (чистые «мусорные вёдра»), числитель −8.3%. Мамина-126: 20→2. Это митигация на уровне view; корневой фикс house_id_fk-матчера — отдельно. ruff clean, pytest 24 green.	2026-06-28 23:24:05 +03:00
bot-backend	77c01b6d3b	feat(tradein/zhkh): ЖКХ-приоритет знаменателя «квартир в доме» + loader ... ГАР дико недосчитывает квартиры в МКД (прод-замер: Крауля 89А ГАР=11 vs ЖКХ=429; 27 из 347 домов ГАР ≥2× недосчёт). ГИС ЖКХ точнее — резолвит ~90% вторички с gar_house_guid. - мигр.149: COALESCE знаменателя → ЖКХ ПЕРВЫЙ (zhkh_flat_count, gar_flat_count, total_units, flat_count) во всех 7 местах view v_building_sale_share; +houses.zhkh_year/zhkh_floors_raw; +transparency- колонки zhkh_flat_count/flat_count_source. - app/services/zhkh_flats_loader.py + app/tasks/zhkh_flats_load.py: фетч ГИС ЖКХ searchByAddress (батч ≤100 по gar_house_guid == ЖКХ houseGuid, pageIndex=1, cookieless), идемпотентный UPDATE houses.zhkh_* (CAST(:x AS type) + IS DISTINCT FROM gate, SAVEPOINT-чанки, dry-run). Безопасно к мержу: до ручного прогона loader'а zhkh_flat_count=NULL → COALESCE падает на ГАР → поведение идентично до-149. ruff clean, pytest 8 green.	2026-06-28 21:55:05 +03:00
lekss361	0641183ecd	fix(tradein): дедуп объявлений по квартире + over_100 NULL-фикс (500 на списке) (148) (#2075)	2026-06-28 18:04:32 +00:00
lekss361	b45a819cb6	fix(tradein): канон срезает гео-префиксы (Россия/Екатеринбург/мкр/пр-т) + REINDEX — покрытие 38%→~70% (147) (#2073)	2026-06-28 17:54:26 +00:00
lekss361	2a38561175	feat(tradein): второй % «за 45 дней» + zhkh-знаменатель slot (146) (#2071)	2026-06-28 17:51:38 +00:00
lekss361	57ae2dfe00	fix(tradein): guard ГАР-undercount знаменателя в v_building_sale_share (145) (#2064)	2026-06-28 16:05:33 +00:00
lekss361	579536b4ad	feat(tradein): канонический матч ГАР↔houses (0%→41% yield) + tradein_canon_addr + --match-only (#2063)	2026-06-28 15:50:07 +00:00
lekss361	9e2d9ddbea	feat(tradein): схема «доли квартир дома в продаже» — gar_house_flats + houses.gar_* + v_building_sale_share (143) (#2053)	2026-06-28 13:48:41 +00:00
lekss361	e39fb86a9b	feat(tradein): AI-curated premium-building overlay — class + false-positive demotion (#2002)	2026-06-27 18:43:05 +00:00
lekss361	c5227a164e	feat(tradein/cian): promote kitchen/mortgage/apartments + normalize house_type (#2008) ... cian house_type normalized via shared house_type_normalizer (monolithBrick->monolith_brick etc.) — fixes estimator soft-penalty false-mismatch (~1208 rows); backfill migration 141 + new columns is_apartments/is_rosreestr_checked. kitchen/mortgage/apartments promoted (dashboard/matching, not valuation — #2012). Refs #2008	2026-06-27 18:01:50 +00:00
lekss361	440bb2ca51	feat(tradein/yandex): normalize house_type + promote kitchen/ceiling to columns (#2007) ... house_type normalized via shared house_type_normalizer (canon = _IMV_HOUSE_TYPE_MAP) — fixes estimator soft-penalty false-mismatch on ~70% yandex analogs; backfill migration 140 (SCREAMING->canon + 'other'->NULL). kitchen/ceiling promoted to columns (dashboard/matching, not valuation — see #2012); ceiling capped 2.0-6.0m to avoid numeric(3,2) overflow. Refs #2007	2026-06-27 17:45:11 +00:00
lekss361	840d64a4a0	feat(tradein): premium_houses MV + premium_building flag (#2002)	2026-06-27 16:40:39 +00:00
bot-backend	52fc920507	fix(tradein/domclick): rewrite dead scraper to BFF JSON API + honest status (#1846, #1968) ... Old HTML scraper dead: /search?city_id retired in DomClick redesign + VPS IP QRATOR-banned (prod domclick_city_sweep reported done/0 every run). New path: - GET bff-search-web.domclick.ru/api/offers/v1 + count/v1 via BrowserFetcher(source="domclick") -> generic provider -> shared mobile proxy -> bypasses QRATOR (prod-verified live: 20 items returned, no block). - Sweeps 6 room buckets (st/1/2/3/4/5+); recursive binary price-split for oversized buckets (rooms=2 ~2215 > offset cap 2000); count/v1 sizes buckets. - Maps SERP JSON -> ScrapedLot with lat/lon at ~100% (closes avito 54% NULL-lat gap); per-card EKB geo-guard. - Honest status (#1968): QRATOR block OR fetch errors with 0 lots -> mark_failed, not mark_done. Parse failures are per-page resilient (break bucket, keep partial lots) so a transient bad page never aborts the whole sweep. - Schedule shipped DORMANT (enabled=false, pages=100) via 138_domclick_bff_rewrite_schedule.sql; operator enables after prod smoke. 42 scraper tests (price-split boundaries, parse-error resilience, honest status); full backend suite green; ruff clean. Layer B (detail renovation/wallType/ priceHistory) deferred to #1846 follow-up.	2026-06-27 13:57:07 +03:00
Light1YT	8d5c1a888d	perf(estimate): trigram expression index for same-building anchor Tier A (~94x) ... _fetch_anchor_comps Tier A runs on EVERY /estimate (flag estimate_same_building_anchor_enabled defaults True, not overridden in prod). Its address predicate wraps address in lower(translate(address,'ёЁ','ее')) for both the LIKE '%street%' and the ~house-number regex — non-sargable, and the existing listings_address_trgm_idx is on the RAW address, so the planner seq-scanned all ~66.7k listings (167ms, 15801 buffers) every estimate. Add a GIN trigram expression index on lower(translate(address,'ёЁ','ее')) matching the predicate exactly (gin_trgm_ops serves both LIKE and the regex). Prod EXPLAIN (BEGIN/ROLLBACK, "Хохрякова 48"): 167ms -> 1.77ms (~94x), buffers 15801 -> 97. Independently dry-run-verified: Bitmap Index Scan, 0.66ms. Result-identical (pure access-path; count/sum/min/max unchanged). No code change (expression matches the predicate). ~8MB, sub-second build. Other estimate-path queries confirmed already optimal (Tier W/H geom+rooms BitmapAnd, Tier S house_id_fk) — no other index warranted. tradein-mvp/backend/data/sql/137 (correct tradein migrations path).	2026-06-27 11:16:48 +05:00
Light1YT	6ce60a0d8c	fix(tradein): backfill house_id_fk via source-identity path (#1781) ... Migration 130 only filled house_id_fk for listings carrying house_source/house_ext_id. Prod (2026-06-27): 1884 active NULL-FK rows remain, 0 with house_source/ext_id (130 re-run = no-op). They were matched via the per-listing-identity path the realtime mirror uses when no house catalog id exists: match_or_create_house(ext_source=source, ext_id=source_id) -> Tier-1 house_sources lookup (confidence 1.0). 136 replays that exact lookup offline: UPDATE listings SET house_id_fk = house_sources.house_id WHERE (ext_source=source, ext_id=source_id) and house_id_fk IS NULL. Faithful to base.py:704-750; idempotent (NULL guard); deterministic (no fuzzy/geo); collision-safe (catalog ids live under distinct ext_source like 'cian_newbuilding'). Dry-run BEGIN/ROLLBACK fills 4608 NULL-FK rows (744 active), restoring estimator Tier-S "same-building" grouping. The remaining ~1140 active need re-scrape/ re-match (scraper coverage — #1781 Лёха). Refs #1781	2026-06-27 05:01:02 +05:00
bot-backend	63ac12dc23	feat(tradein): recurring house-dedup merge (schedule dormant) (#1772) (#1933)	2026-06-26 21:39:30 +00:00
bot-backend	d89210200b	perf(tradein): GIST index on (geom::geography) for estimator radius filter (#1189) (#1924)	2026-06-26 17:12:49 +00:00
bot-backend	e0cd378d19	fix(migration-133): dedup via cascade-delete, not child re-point (prod hotfix) ... Migration 133 failed on prod (offer_price_history UNIQUE (listing_id,change_time) + multi-loser collisions). Drop data-child re-points, rely on FK ON DELETE CASCADE; keep only merged_into. Dry-run on prod: 9840 groups, 9889 losers deleted, clean. Refs #1773	2026-06-26 08:16:27 +00:00
bot-backend	1d5b081cb4	fix(cian): recover new-build house via cadastral anchor + listings (source,source_id) dedup (#1773) (#1912) ... cian new-build cadastral anchor + listings (source,source_id) dedup (#1773): migration 133 (deep-reviewed data-loss-safe). Refs #1773	2026-06-26 07:45:22 +00:00
bot-backend	3f1925052b	feat(scheduler): wire house_imv_backfill as scheduled source (#854) (#1910) ... wire house_imv_backfill as scheduled source (#854): trigger fn + seed migration 132. Refs #854	2026-06-26 07:45:08 +00:00
bot-backend	89cbddf318	fix(tradein/db): widen offer_price_history.diff_percent numeric(5,2)→(8,2) + clamp в триггере (краш full_load)	2026-06-20 11:43:23 +03:00
lekss361	7bf39e24df	Merge pull request 'fix(db): #1781 backfill listings.house_id_fk from house_sources (cian novostroyki)' (#1784) from fix/1781-cian-novostroyki-fk-backfill into main ... Reviewed-on: #1784	2026-06-19 14:56:09 +00:00