2278 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
bot-backend	0583fb0efd	fix(trade-in): усилить валидацию /lead и почистить контракт (#2376) ... - [MED] phone: маска r"^[+]?[\d\s().-]{5,32}$" делала цифры опциональными ("(()) -- .." проходило) — добавлен field_validator, требующий 10-15 реальных цифр (re.sub(r"\D","")), формат-толерантность сохранена. - [MED] source: убран мёртвый литерал "landing" из Literal — воронка недостижима (rbac_guard закрывает /lead 401 без X-Authenticated-User, публичного лендинг-роута нет), контракт больше не обещает невозможное. - [LOW] 152-ФЗ: захват client_ip (X-Forwarded-For -> peer) и _CONSENT_POLICY_VERSION в audit-лог; live-схема trade_in_leads не имеет колонок под IP/policy/consent-snapshot -> TODO на follow-up миграцию (out of scope), durable proof-of-consent gap задокументирован. Тесты: +digit-free/too-few-digits phone 422, +source=landing 422, estimate-тест переведён на source=result. 9/9 pass, ruff clean.	2026-07-12 22:19:20 +03:00
bot-backend	0f4ed2f6e9	Merge pull request 'fix(tradein/estimator): СберИндекс только вторичка + confidence dispersion-ceiling (R2 H1+H2)' (#2493) from fix/tradein-estimator-sber-confidence into main	2026-07-12 19:06:43 +00:00
bot-backend	c1a01fdbf9	fix(tradein/estimator): СберИндекс — только вторичка + confidence dispersion-ceiling (R2 H1+H2) ... H1 (деньги, каждая оценка): time-adjust ДКП-коридора брал СберИндекс `residential_real_estate_prices`, а для обл.66 это 100% «Первичный рынок» (новостройки) → коррекция направленно противоположна вторичке (первичка Jan→May +0.89% vs вторичка −0.39%). Fix: SBER_COEFF_DASHBOARDS → (real_estate_deals, dinamika-tsen-obyavlenii) — обе вторичка; + segment-guard в SQL (`segment ILIKE '%вторичн%'`) как defense-in-depth. Live-verified: остаются только Вторичный-серии. H2 (честность): `_compute_confidence` ветка «≥4 адреса» не имела потолка разброса → пул с ±45% IQR + «расширили радиус из-за нехватки данных» уходил как «medium» вопреки объяснению. Fix: medium требует IQR/median < 0.35; + force-low при fallback-расширении с разбросом > 0.30. Regression-гейт: перегенерён baseline (dedup OFF, как в гейте) — ровно 1 из 277 фикстур-кейсов medium→low (высокодисперсный, справедливо): calibration.medium.n 2→1 (mape 14.64→6.99 — ненадёжный ушёл), low.coverage 81.82→81.88. Δ минимальна и обоснована. 127 тестов зелёные. Stale-СберИндекс (72д) — НЕ трогаю в коде: time-adjust валидно ре-базит Jan→May; сброс потерял бы валидную коррекцию. Реальный gap операционный (pull не гонялся с 19.06) — в scheduler/ops.	2026-07-12 22:03:59 +03:00
lekss361	fb123bd97e	Merge pull request 'fix(tradein/estimator): non-EKB headline из deals + geo-bound Tier-S analog leak' (#2492) from fix/tradein-oblast-nonekb-headline into main	2026-07-12 18:49:08 +00:00
bot-backend	f9ae6f0c53	fix(tradein/estimator): non-EKB headline из deals + geo-bound Tier-S analog leak ... Валидация вскрыла: не-ЕКБ headline over-priced — analog Tier-S (same-building) fallback БЕЗ geo-предиката матчил одноимённую улицу+дом в ДРУГОМ городе → тянул ЕКБ-листинги (40191 EKB/~0 non-EKB) с distance_m=0. Серов ask-head 186k vs sold 30k; Н.Тагил 187k vs deal-corridor 89k. Part 1 (Tier-S geo-bound, ~4624): + ST_DWithin(geom, subject, radius) в address-prefix fallback (зеркалит Tier-W). >99.97% листингов с coords → режет только cross-city false-positives. Part 2 (deals-headline-fallback): _fetch_dkp_corridor widen на city-wide при street-sample <3 (gated city!=екатеринбург); _price_from_inputs: при median_ppm2<=0 (нет листингов) + anchor_tier None + dkp_raw>=3 → headline из deal-corridor, confidence=low, n_analogs=0, expected_sold=None. Deep-review ✅ APPROVE (no 🔴/🟠; ~10 downstream stages traced coherent). EKB byte-green regression-гейт (fallback требует median_ppm2<=0, невозможно для frozen fixture; Part 1 SQL не в replay). Тесты: Н.Тагил 0-листингов+corridor85911 → headline=85911 (не 0/186k); EKB-control dense → headline из листингов (fallback не срабатывает). Full suite 2418 passed. Follow-ups (🟡): fallback без city-gate (sparse EKB n/a→deals, safe); api_analog_tier мислейбл 'city'; Part1/2a integration-test; EKB backtest post-deploy (rule #7).	2026-07-12 21:46:38 +03:00
lekss361	3293df8e14	Merge pull request 'feat(tradein/backtest): --city per-city валидация точности + corridor city-parity' (#2491) from fix/tradein-oblast-d-backtest into main	2026-07-12 17:51:12 +00:00
lekss361	4c56c5189a	Merge pull request 'fix(tradein/estimator): резолвить target-город коридора из payload.address (C2 hotfix)' (#2490) from fix/tradein-oblast-c2fix-corridor-city into main	2026-07-12 17:50:19 +00:00
bot-backend	25a865f27b	feat(tradein/backtest): --city per-city валидация + corridor city-parity ... D validation harness для oblast-точности: - --city '<точное deals.city>' → scope выборки по deals.city; default None = байт-идентично (тот же _SAMPLE_SQL object, literal identity). - per-city PPM2 band из deal_city_price_bands (fallback global, 0 доп-запросов при None). - corridor city-parity: backtest _fetch_dkp_corridor теперь передаёт city=_resolve_target_city(deal.address) — зеркалит прод C2 (был cross-city contaminated). NB: меняет и default-run live-числа (не fixture-replay) — intended catch-up к проду. - _compute_confidence подтверждён comp-count-based (без EKB-хардкода). - +10 unit-тестов. Регресс-гейт байт-зелёный (replay не гоняет corridor). code-review ✅ APPROVE. Frozen fixture/baseline не тронуты. Live per-city backtest прогоню после деплоя.	2026-07-12 20:49:04 +03:00
bot-backend	69f8b50934	docs(tradein): исправить GET-rehydrate comment — row.address=geo.full_address (city-stripped), corridor unscoped для не-ЕКБ (known limitation)	2026-07-12 20:48:25 +03:00
bot-backend	7801ac6cc1	fix(tradein/estimator): резолвить target-город коридора из payload.address (C2 hotfix) ... C2 city-scope коридора был NO-OP для не-ЕКБ: estimate_quality резолвил город из geo.full_address, но геокодер РОНЯЕТ город для не-ЕКБ («Ленина, 1» вместо «Нижний Тагил, Ленина, 1») → target_city=None → коридор либо unscoped, либо None. Verified на проде: Н.Тагил corridor=None. Фикс: резолвить город из payload.address (город есть) с fallback на canonical/geo; коридор матчить тоже по payload.address. GET: row.address приоритетнее canonical. Verified прод-диагностикой: corridor(address=payload.address, city=resolve) → Н.Тагил=9, ЕКБ=15 (было: Н.Тагил=None). EKB regression-гейт байт-зелёный. geocoder full_address city-strip (display «Ленина,1») → cosmetic, E.	2026-07-12 20:36:08 +03:00
lekss361	5d7c3e1c30	Merge pull request 'fix(tradein/estimator): city-scope ДКП-коридора + oblast city-tokens/bbox' (#2488) from fix/tradein-oblast-c2-estimator-scope into main	2026-07-12 17:21:55 +00:00
bot-backend	6936558f6f	Merge pull request 'fix(tradein): city-scope ДКП-запросы — убрать oblast-контаминацию (C1+C2)' (#2489) from fix/tradein-oblast-city-scope-corridor-ratio into main	2026-07-12 17:20:31 +00:00
bot-backend	f631af4de3	fix(tradein): city-scope ДКП-запросы — убрать oblast-контаминацию (C1+C2) ... Миграция 177 залила +47183 ДКП-сделки по всей Свердловской обл. (66, 368 городов, deals.city заполнен). Потребители deals матчат по имени улицы БЕЗ city-фильтра → одноимённые улицы дешёвых городов области контаминируют ЕКБ-числа. C1 — street-deals + ДКП-коридор (клиент видит СЕЙЧАС): - estimator._fetch_dkp_corridor + api/v1/trade_in.get_street_deals: добавлен city-скоуп `city IS NOT NULL AND :address ILIKE '%'||city||'%'` (канонический deals.city как подстрока целевого адреса — self-normalizing, адрес всегда содержит город). - Live-repro (Ленина, 2к, 12мес): median 52 908 → 118 052 ₽/м² (было занижение ~−55%). C2 — дневной пересчёт asking→sold ratio (imminent, «выкупная» −29%): - tasks/asking_to_sold_ratio: deal_side + deal_global скоупятся на ЕКБ (asking-сторона = listings покрыты скрейпом только по ЕКБ; в listings нет колонки city). Константа _ASKING_CITY_PATTERN. ask-стороны не трогаем. - Live-repro (rooms=2): sold_median all-city 82 593 (ratio 0.622) → EKB 116 858 (ratio 0.880). Предотвращает обвал «выкупной» на след. пересчёте. - Когда появятся oblast-листинги (B1/B2) → заменить на per-city ratio через `district`. Тесты: subset-тест 080↔refresh (mirror _drop_segment_guard прецедента для city-guard) + позитивный тест скоупа; 125 passed вкл. regression-гейт (байт-зелёный — коридор заморожен в фикстуре), expected_sold, idor, 781. Regression-гейт не затронут (dkp_raw — frozen kwarg).	2026-07-12 20:18:36 +03:00
bot-backend	4a579e74e0	Merge remote-tracking branch 'refs/remotes/forgejo/main' into fix/tradein-oblast-c2-estimator-scope ... # Conflicts: # tradein-mvp/backend/app/services/estimator.py	2026-07-12 20:14:17 +03:00
bot-backend	b93d26990b	fix(tradein/estimator): city-scope ДКП-коридора + oblast city-tokens/bbox ... Чинит доказанную кросс-город контаминацию коридора: street-name-матч без city тянул одноимённые улицы всех городов обл. («Ленина» = Н.Тагил+Лесной+Серов+ЕКБ...). - _resolve_target_city(address) — word-boundary поверх geocoder.SVERDLOVSK_OBLAST_CITIES (F, ~30 городов), district-guard («мкр Заречный» = район, не город-ЗАТО). - _fetch_dkp_corridor: +param city → AND LOWER(d.city)=CAST(:target_city AS text). Проводка в estimate_quality (dadata.canonical > geo) + trade_in.py GET rehydrate. city=None → прежнее поведение (fallback). - _CITY_TOKENS + _DEDUP_ADDR_NOISE_WORDS → derive из SVERDLOVSK_OBLAST_CITIES (было 6 EKB-городов) → same-house dedup для non-EKB. - bbox fast-path → geocoder.is_within_oblast66_bbox. - docstring: коридор НЕ чисто advisory (клампит headline + radius-floor при n>=clamp_min_n). EKB regression-гейт байт-зелёный (коридор upstream от frozen _price_from_inputs replay). Deep-review ⚠️APPROVE (no блокеров). Follow-ups (task #10): DB-derived city-set (Лесной 1103 uncovered), asking_to_sold_ratio city-scope, backtest city-parity.	2026-07-12 20:10:59 +03:00
lekss361	90a6e4bfe9	Merge pull request 'feat(tradein/scraper): per-city sweep capability для 5 городов области (schedules disabled)' (#2487) from fix/tradein-oblast-b1-city-anchors into main	2026-07-12 17:10:22 +00:00
bot-backend	cf91ac6b24	feat(tradein/scraper): per-city sweep capability для 5 городов области (schedules disabled) ... B1: avito/cian/yandex city-sweep по городам Свердловской обл. (Н.Тагил/Каменск/Первоуральск/В.Пышма/Серов). Schedules засеяны DISABLED — rollout вручную по одному городу (proxy = 1 живой прокси). - pipeline.py: CITY_ANCHORS (5) + get_city_anchors(slug) (None→EKB fallback). - scheduler.py: sweep-jobs читают params.city → анкоры; wildcard-хендлеры *_city_sweep_* (source UNIQUE → per-city source, как deactivate_stale_*). - geo.py: OBLAST66_BBOX + is_within_oblast66_bbox; avito/detail.py ingest-guard EKB→oblast66. - price_brackets.py: 5 city-seed (reuse EKB). migration 179: 15 rows enabled=false, staggered, idempotent. - +6 тестов. domclick (B2) не тронут.	2026-07-12 20:06:46 +03:00
bot-backend	74017b39c4	Merge pull request 'fix(tradein/dadata): suggest-fallback для house_fias_id когда CLEAN выключен' (#2486) from fix/tradein-dadata-clean-fallback-suggest into main	2026-07-12 16:59:29 +00:00
bot-backend	e250869c9d	fix(tradein/dadata): suggest-fallback для house_fias_id когда CLEAN выключен ... На проде у DaData-аккаунта выключена услуга CLEAN (Стандартизация) → /clean/address отдаёт HTTP 403 «Feature CLEAN disabled», из-за чего house_fias_id (ключ join с houses/ДОМ.РФ) и гео терялись, хотя /suggest их отдаёт бесплатно (token-only). - enrich_address(): /clean → graceful fallback на /suggest (house-level кандидат); canonical_address/house_cadnum честно None (их даёт только CLEAN — не выдумываем). - clean_address(): 403 «feature disabled» логируется отдельно от auth-rejection (токен валиден — refresh не поможет; чинить = включить услугу либо fallback). - DadataSuggestion + _parse_suggestion: тянут house_fias_id/kladr_id/qc_geo. - estimator: enrichment-вызов → enrich_address (алиас dadata_clean_address сохранён, это точка патча в 11 тестах — без churn). - Тесты: feature-disabled лог, enrich clean-path/suggest-fallback/both-fail, новые поля. Проверено вживую на прод-кредах: clean→403, enrich→house_fias_id восстановлен.	2026-07-12 19:55:37 +03:00
lekss361	b0b2c94ece	Merge pull request 'fix(tradein/estimator): per-city ценовой band ДКП-сделок для всей Свердловской обл. (66)' (#2485) from fix/tradein-oblast-c1-price-band into main	2026-07-12 16:09:05 +00:00
bot-backend	e2502a0134	fix(tradein/estimator): per-city ценовой band ДКП-сделок для всей обл. 66 ... Глобальный DEAL_MIN_PPM2=50k резал 46.6% не-ЕКБ сделок (легит дешёвые города: Североуральск p50=21.7k, Новоуральск 36k, Асбест 41k). Band стал per-city. - migration 178: deal_city_price_bands (city PK, ppm2_min/max, n_deals), populate из deals (source=rosreestr, city<>Екатеринбург, count>=30), min=GREATEST(p1,8000) max=LEAST(p99,800000), idempotent upsert; HAVING-guard p99>=8000 (airtight против inverted band). - estimator.py оба enforcement-пойнта city-aware с fallback на глобаль: - _fetch_dkp_corridor SQL: LEFT JOIN deal_city_price_bands + COALESCE(band, :global). - _is_plausible_deal(city, bands) + _fetch_deals: _load_city_price_bands (TTL-cache), SELECT city. - ЕКБ исключён из таблицы → fallback на 50k/800k → EKB-сделки byte-identical (deals спеллит EKB только 'Екатеринбург', 49791). EKB deal-level инвариант airtight; interior-EKB оценки идентичны. Регресс-гейт байт-зелёный. Follow-ups: periodic refresh band-таблицы; city-scoping _fetch_dkp_corridor (→ C2).	2026-07-12 19:07:05 +03:00
lekss361	51952ebd70	Merge pull request 'fix(tradein/geocoder): раз-хардкод геокодера/DaData на всю Свердловскую обл. (region 66)' (#2484) from fix/tradein-oblast-f-geocoder into main	2026-07-12 15:35:27 +00:00
bot-backend	c0cbdc2f99	fix(tradein/geocoder): раз-хардкод геокодера/DaData на всю Свердловскую обл. (region 66) ... Геокодер был жёстко EKB-bound и ВЫБРАСЫВАЛ корректные non-EKB геокоды (bbox-accept-фильтры) → блокировал оценку любого адреса области. Обобщено до region-66. - OBLAST66_BBOX + is_within_oblast66_bbox (superset EKB-tight, EKB не затронут); EKB Yandex Tier1/2 fast-path сохранён. - Все accept-фильтры (Yandex/Nominatim forward+suggest, geocode() accept+typo) → oblast-66. - City-prefix по word-boundary _has_oblast_marker (не substring): EKB-улицы 'Серова 27'/'Ирбитская 5' и др. больше не роняют 'Екатеринбург,'-префикс (был silent wrong-city баг). - Two-pass tie-break в accept-циклах: tight-EKB кандидат приоритетнее → EKB-результат идентичен прежнему. - Region cross-check (Nominatim address.state / Yandex AdministrativeAreaName) отсекает соседние области (Тюмень и др.); bbox-fallback когда region отсутствует. - DaData suggest: region-параметр (hard-filter), убран no-op restrict_value. - +26 тестов: OBLAST66 superset TIGHT, far-town accept, Тюмень reject, marker +/- (street-collision), DaData region body. Foundation для A2 (геокодинг non-EKB сделок) и live-оценки адресов области.	2026-07-12 18:33:05 +03:00
bot-backend	fcc37c46ab	fix(tradein/v2): аналитика — выровнять два графика в равную высоту (#2483)	2026-07-12 15:16:34 +00:00
lekss361	95f0b0aa64	Merge pull request 'fix(tradein/ingest): раз-хардкод rosreestr DKP импорта на всю Свердловскую обл. (region 66)' (#2482) from fix/tradein-oblast-a1-ingest into main	2026-07-12 15:14:22 +00:00
bot-backend	752cb1044b	fix(tradein/ingest): раз-хардкод rosreestr DKP импорта на всю обл. 66 ... - scheduler.py import_rosreestr_dkp: снят фильтр city ILIKE '%катеринбург%', address из реального city источника, deals.region_code + новая deals.city заполняются (было: хардкод 'Екатеринбург,' + region_code NULL) - migration 177: deals.city + индекс + бэкфилл существующих EKB-строк region_code=66/city - guard city IS NOT NULL → address не NULL для ~15 null-city строк источника - sync deploy/import-rosreestr.sh (ops-fallback) под тот же oblast-scope - split dedup-теста: 077 (историческая) хранит EKB-фильтр, живой импорт — нет Открывает +47183 не-ЕКБ сделок region 66, уже сидящих в источнике, ранее резавшихся на импорте.	2026-07-12 18:11:47 +03:00
bot-backend	338ccbb78f	fix(tradein/v2): честность+консистентность — реконсиляция счётчика аналогов, убрать фейк-donut/линейку, outlier-guard, created_at, дисклеймеры (#2481)	2026-07-12 15:09:10 +00:00
bot-backend	a88e755403	fix(tradein/v2): аналитика — 2 графика в ряд, чтобы Цена×срок влезала на экран (#2480)	2026-07-12 14:56:08 +00:00
bot-backend	4f205bd7da	fix(tradein/v2): polish АНАЛИТИКА — растянуть scatter, клэмп оси к 0, честные легенды/бакеты, убрать фейк-тренд (#2479)	2026-07-12 14:37:05 +00:00
bot-backend	8dd35c01d8	feat(tradein/v2): карта вторички — сделки Росреестра + объявления по источникам (SourcesView) (#2478)	2026-07-12 13:26:55 +00:00
bot-backend	ed504cbbd9	fix(tradein): repoint rosreestr_poll to /data-sets/ + verify Content-Type (СДЕЛКИ dataset moved off /opendata) (#2477)	2026-07-12 13:21:58 +00:00
bot-backend	cc231946c2	feat(tradein): fill houses.year_built/material_walls from ДОМ.РФ КР1.1/1.2 + zhkh_year, propagate to listings (#2013) (#2476)	2026-07-12 13:12:07 +00:00
bot-backend	d22e0e00ae	tech-debt(tradein/estimator): collapse won estimate_* flags into defaults (#1970) (#2475)	2026-07-12 12:46:18 +00:00
bot-backend	346767ba90	Merge pull request 'test(rbac): user2 expected role expired after brusnika trial cutoff' (#2473) from fix/rbac-test-user2-expired into main	2026-07-09 16:33:19 +00:00
bot-backend	f4c26d474a	test(rbac): user2 expected role expired after brusnika trial cutoff ... Follow-up к смене user2 pilot→expired в roles.yaml. test_get_role_known_users гонял user1..user10 == pilot циклом; user2 теперь expired. На PR #2472 этот тест был skipped (paths-filter не матчил tradein-mvp/**, менялся только auth/roles.yaml) → упал уже на полном деплое. Правка в обоих зеркалах (tradein + main backend).	2026-07-09 19:16:59 +03:00
bot-backend	3fe1216317	Merge pull request 'fix(tradein/auth): expire brusnika (user2) trial access' (#2472) from fix/expire-brusnika-trial-access into main	2026-07-09 16:07:54 +00:00
bot-backend	3c4a33ca32	fix(tradein/auth): expire brusnika (user2) trial access ... Аналогично praktika (#1977): user2 pilot→expired в roles.yaml. RouteGuard уже short-circuit'ит на role=expired → NoAccessScreen variant="trial" («Пробный доступ закончился», контакт @ArtemKopylov87). Логин остаётся в caddy/users.caddy.snippet, чтобы дойти до фронта и увидеть экран. Инфра expired-роли + trial-экран уже в проде — здесь только смена роли.	2026-07-09 19:06:05 +03:00
bot-backend	f987e819b2	fix(honesty): true competitors/neighbors totals + permits truncation disclosure (#2464 cluster B) (#2471)	2026-07-08 08:31:02 +00:00
bot-backend	9a6b56016b	fix(analytics): de-inflate domrf_kn snapshot counts (8.49×) + backfill UPSERT columns (#2464) (#2470)	2026-07-08 07:30:12 +00:00
bot-backend	d3f3370bed	fix(site_finder): SAVEPOINT supply/market + convert 2 bare rollbacks (#2464 Wave 2) (#2469)	2026-07-08 06:46:09 +00:00
bot-backend	01360e9c3d	fix(site_finder): SAVEPOINT-isolate gate-lookup db.execute swallows (#2464 Wave 2) (#2468)	2026-07-08 06:46:03 +00:00
bot-backend	22f3c44dc2	fix(site_finder): SAVEPOINT-isolate quarter-dump lookup db.execute (#2464 Wave 2) (#2467)	2026-07-08 06:30:32 +00:00
bot-backend	82fdabccba	fix(forecasting): SAVEPOINT-isolate §22 db.execute failures + close RELEASE-trap (#2464) (#2466)	2026-07-08 05:41:35 +00:00
bot-backend	39dd63333e	fix(site_finder): SAVEPOINT-isolate DB errors across cluster A (#2464) (#2465)	2026-07-07 12:50:11 +00:00
bot-backend	1fa99812af	fix(concept): §7 massing-сцена осознаёт весь MultiPolygon (соседи уезжали до 1.6км) (#2180) (#2463)	2026-07-07 08:10:27 +00:00
bot-backend	53b160ff0a	fix(scrapers): rate-limit/backoff/circuit-breaker для ОКН EGRKN-скрапера (#2445-D3) (#2461)	2026-07-05 20:09:18 +00:00
bot-backend	464519c69b	fix(workers): izyatie per-doc isolation + newbuilding-crossload breadcrumb (#2445-D5/D6) (#2460)	2026-07-05 20:09:12 +00:00
bot-backend	7315d04396	fix(scrapers): WAF-guard эндпоинтов + throttled catalog BrowserSession (#2445-D1/D2) (#2459)	2026-07-05 20:09:06 +00:00
bot-backend	d1fa450f48	fix(backend): reservation_ingest пейсинг + короткоживущая DB-сессия (#2445-D4) (#2458)	2026-07-05 20:09:00 +00:00
bot-backend	be4b2ee1fa	fix(export): недостающая §13.7 «Уверенность» в PDF-экспортёре отчёта (#2445-C2) (#2456)	2026-07-05 19:40:38 +00:00