2641 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
bot-backend	b13880ff15	fix(tradein/estimate): координатный резолв квартала — за флагом OFF, порог 25 м ... Точность самого резолва измерена против НЕЗАВИСИМОЙ истины: 2398 домов ЕКБ, где квартал известен из кадастра DaData (ответ на адрес, а не KNN-подсказка — см. house_dedup_merge.py:126; вырожденный 66:41:0000000 у 146 домов исключён). порог ответ выдан чужой квартал точность покрытие 15 м 475 26 94.5% 19.8% 25 м 748 59 92.1% 31.2% 50 м 1341 271 79.8% 55.9% 100 м 2090 644 69.2% 87.2% Порог 50 м, заимствованный у cadastral_geo_match, замером НЕ подтверждён: каждый пятый ответ — чужой квартал, а промах стоит 1.111× по медиане и 1.447× в p90 (отношение индексов чужого и своего квартала). Порог 25 м обоснован замером. Разделение: снятие фолбэка на кадастр аналога поставляется включённым (измерено бэктестом, −0.55 пп MAPE), координатный резолв — за estimate_quarter_from_coords_enabled=False. Причина: точность РЕЗОЛВА измерена, эффект поправки на точность ЦЕНЫ — нет (фикстура гейта идёт с target_house_cadnum=None и координатный путь не проходит). Критерий приёмки и дата-предохранитель (2026-09-12) записаны в config рядом с флагом. На рабочем тракте (координаты оценок, а не домов справочника) точность ниже: из 20 оценок со своим кадастром ответ в 50 м выдан 9 раз, совпал 3; в 25 м — 3 ответа, 3 совпадения. Попадания на 0-4 м, промахи на 32-39 м. Один из промахов — Малышева 84, тот самый кейс, где координатный квартал двигал цену на −20.6%.	2026-08-12 20:48:34 +05:00
bot-backend	86cb294949	test(tradein/backtest): эталон гейта после снятия квартала соседа ... Гейт `test_backtest_regression_gate` реплеит замороженную фикстуру (277 сделок) прямо через `_price_from_inputs` с `target_house_cadnum=None`, минуя `estimate_quality`. То есть на фикстуре меряется ровно снятие поправки по кварталу СОСЕДА (координатный резолв в реплей не попадает — его делает вызывающий код). Затронуто 30 сделок из 277 (10.8% — сходится с прод-оценкой поверхности ~10%); множитель цены стало/было: min 0.704, медиана 1.019, max 1.661 (17 вверх / 13 вниз). Сдвиг метрик (эталон → стало): expected_sold.overall.mape_pct 13.18 → 12.63 (−0.55) calibration.low.mape_pct 13.2 → 12.67 (−0.53) студии mape 19.38 → 16.96 (−2.42) 3к mape 9.34 → 7.79 (−1.55) 2к mape 18.26 → 17.39 (−0.87) комфорт mape 11.80 → 10.14 (−1.66) бизнес mape 14.65 → 13.65 (−1.00) УХУДШИЛОСЬ: эконом mape 13.71 → 14.20 (+0.49), bias 2.54 → 3.33 4+ mape 16.30 → 16.38 (+0.08), bias 3.34 → −1.32 хвосты: студии p75 34.32 → 38.82, бизнес p25 −22.93 → −27.15 Покрытие (82.09/82.16), sharpness (0.743), n по всем бакетам и headline не менялись. Атрибуция: на origin/main регенерация тем же путём даёт эталон байт-в-байт, расхождение появляется ровно от правки резолва квартала.	2026-08-12 20:35:52 +05:00
bot-backend	2bf9e76a10	fix(tradein/estimate): квартал цели — по её координатам, а не из кадастра аналога ... `target_quarter` для квартального индекса (#764) резолвился так: свой кадастр цели (DaData) → а если пусто, кадастр ПЕРВОГО аналога с кадастром. Пусто оно в 15 из 15 применений на проде, то есть «индекс квартала цели» на витрине всегда был индексом квартала соседа. Замер 2026-08-12 (прод, 1081 оценка): - 15/15 применений — house_cadnum пуст; аналог-донор квартала стоял в 201-4087 м от цели (медиана ~580 м); - индексы кварталов на такой дистанции расходятся в 1.15-1.23 раза по медиане и в 1.6-1.8 по p90 → множитель на витрине был чужой; - индекс при этом НЕ шум: корреляция с независимой медианой живых объявлений того же квартала r(log)=0.84 (307 кварталов), 0.88 на плотных (n_deals>=50) — поэтому чужой квартал это реальный сдвиг цены, а не безобидная неточность. Фикс: квартал цели снимается по СОБСТВЕННЫМ координатам цели — ближайшее здание в cad_buildings_local (ЕКБ-зеркало Росреестра, 47 111 зданий) в пределах 50 м, тем же geo-nearest приёмом и с тем же порогом, каким уже заполняется listings.building_cadastral_number (tasks/cadastral_geo_match). Нет здания в 50 м → поправки нет: это честнее, чем взять квартал соседа. Эффект на 15 исторических применений: 7 теряют поправку (ближайшее здание 59-180 м), 8 пересчитываются от своего квартала; диапазон изменения цены −25.0% … +66.7%.	2026-08-12 20:15:16 +05:00
bot-backend	677fcb749c	fix(tradein/geocoder): инвариант «чужой топоним + результат внутри ЕКБ = недостоверно» (#2590) (#2837)	2026-08-12 14:26:58 +00:00
bot-backend	ad190be233	fix(tradein/estimate): отдавать фактический радиус подбора, а не выбор пользователя (#2835)	2026-08-12 12:48:18 +00:00
bot-backend	4d31a0ee82	fix(tradein/scraper): пустой пул прокси перестаёт стирать чекпоинт полного обхода (#2834)	2026-08-12 12:18:03 +00:00
bot-backend	e17687aed7	fix(tradein/scrapers): убрать оставшиеся обходы пула прокси (#2830) (#2833)	2026-08-12 10:53:36 +00:00
lekss361	f2cbd76ae0	fix(tradein/scrapers): egress по источнику из пула с учётом банов, а не статичный env (#2831)	2026-08-11 06:29:48 +00:00
lekss361	29db137375	fix(tradein/admin): развести исходы проверки кук — бан не равен «плохим кукам» (#2829)	2026-08-11 06:08:16 +00:00
lekss361	55c25416f6	fix(tradein/estimate): не перетирать дату обращения при оживлении оценки (#2828)	2026-08-11 05:52:05 +00:00
lekss361	82d8db9f42	fix(tradein/estimate): оживлять мёртвые сохранённые оценки при открытии (#2826)	2026-08-11 04:15:40 +00:00
lekss361	0b84f0b661	fix(tradein/estimate): уверенность не может противоречить надёжности выборки (#2825)	2026-08-10 16:21:31 +00:00
lekss361	8423af5dd5	feat(tradein): версионирование продукта — единый источник, подвал, PDF, /versions (#2824)	2026-08-10 16:00:54 +00:00
lekss361	9d9457f67d	fix(tradein/estimate): не блокировать оценку — расширять подбор и честно предупреждать (#2823)	2026-08-10 15:42:22 +00:00
bot-backend	74344f7b8b	docs(tradein/scraper): 42 прогона, а не 52 — в замере считались пары «прогон × фаза» (#2700) (#2822)	2026-08-10 11:49:27 +00:00
bot-backend	20ec6a5d33	fix(tradein/cian): 403 снимает узел с выдачи, а не гаснет в return None (#2700) (#2821)	2026-08-10 11:29:19 +00:00
bot-backend	0ed0140c9e	fix(tradein/dedup): остаток схлопывания домов становится измеряемым числом, а не оценкой (#2690) (#2820)	2026-08-10 11:18:19 +00:00
bot-backend	1307d55da6	fix(site-finder): метка источника весов выводится из результата резолва, а не из входа (#2811) (#2817)	2026-08-10 10:34:39 +00:00
bot-backend	405d2f2eec	fix(tradein/db): разовая чистка 1123 адресов Авито с приклеенным рейтингом (#2814) (#2818)	2026-08-10 10:22:33 +00:00
bot-backend	5ee4126ed0	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) (#2815)	2026-08-10 09:47:15 +00:00
bot-backend	a227877905	fix(tradein/scraper): прогон, у которого отказал каждый якорь, перестаёт быть успехом (#2625) (#2813)	2026-08-10 09:36:23 +00:00
bot-backend	ab5c4b86cd	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) ... Авито с 27.07 рендерит рейтинг и число отзывов внутри того же <p> в data-marker="item-location", откуда serp.py берёт адрес: «ул. Ткачей,17·5,0 · 4 отзыва». Прод 2026-08-10: 1 123 активных объявления с таким адресом, и у 1 123 из 1 123 нет координат — доля 100%, 711 из них геокодер уже пробовал. Контроль в тех же данных: у чистых адресов координаты есть у 4 766 из 5 715 (83%). Строка без geom молча выпадает из comp-пула: Tier W отбирает через ST_DWithin, а NULL не проходит предикат и нигде не считается. 2 446 из 3 270 безкоординатных попадают в свежий пул аналогов — 12.7% аналогов невидимы радиусному поиску. Режем по «·», за которой идёт ЦИФРА (рейтинг «·4,9», счётчик «·2 отзыва»). По любой «·» нельзя: разделитель района пишется «, 59 · р-н Академический» — за точкой буква, и этот хвост _deglue_house_marker намеренно сохраняет (#1773). Тест проверяет обе стороны плюс три прежних хвоста (CSS, метро, «от N мин.»). Чинит только новые вставки: base.py пишет address = COALESCE(listings.address, EXCLUDED.address), адрес при конфликте не перезаписывается осознанно (#2777). Бэкфилл 1 123 существующих строк вынесен в #2814 для database-expert.	2026-08-10 14:32:25 +05:00
bot-backend	272abac4d2	fix(tradein/matching): город развёртки доезжает до стража Tier-2a — межгородские склейки домов (#2777) (#2808)	2026-08-10 08:51:14 +00:00
bot-backend	72472c2783	fix(tradein/newbuilding): счётчики записи различают вставку и обновление (#2807) (#2809)	2026-08-10 08:50:56 +00:00
bot-backend	84a65d40dd	fix(site-finder): §4.1 «Применить» действительно применяет веса POI (#2790) (#2810)	2026-08-10 08:39:59 +00:00
bot-backend	12c189ac27	fix(tradein/scraper): сводка «что сейчас не собирает» — лестница вех не видит стрик 0 (#2670) (#2806)	2026-08-10 08:29:26 +00:00
bot-backend	27e199e370	fix(tradein/proxy): упавшая проба присваивала себе бан боевого сбора (#2800) (#2805)	2026-08-09 20:13:10 +00:00
bot-backend	9cd6db023b	fix(tradein/cian): Циан переименовал MFE карточки ЖК — читать оба имени (#2767) (#2804)	2026-08-09 18:41:02 +00:00
bot-backend	08bb9d6549	fix(tradein/proxy): проба спрашивает каждую площадку, вердикт пишется на пару «узел × источник» (#2800 B) (#2803)	2026-08-09 18:28:37 +00:00
bot-backend	7cd8c63b89	fix(tradein/proxy): узел, зарезервированный за Домкликом, до Домклика не доходит (#2800 A) (#2802)	2026-08-09 18:15:55 +00:00
bot-backend	f45ce3be2d	fix(tradein/cian): банить узел только когда состояния НЕТ, а не по слову «captcha» (#2767) (#2801)	2026-08-09 18:04:01 +00:00
bot-backend	687bd38322	chore(tradein/db): снести DEPRECATED-колонку listings.ceiling_height (#2799)	2026-08-09 17:51:15 +00:00
bot-backend	f3bcb1a25f	fix(tradein/cian): обогащение ЖК падало не на разметке, а на сожжённом узле (#2767) (#2798)	2026-08-09 17:38:40 +00:00
bot-backend	f1f2bca2e9	fix(tradein/deactivate): TTL не снимает объявления по порогу ниже собственного цикла обхода (#2797)	2026-08-09 17:26:18 +00:00
bot-backend	7b36f86ea6	fix(tradein/domclick): свип ходит через прокси-пул, а отказ узла не обнуляет прогон (#2657) (#2796)	2026-08-09 17:21:49 +00:00
bot-backend	45924021a7	chore(tradein/db): вернуть снос дубля индекса expires_at — теперь с lock_timeout (#2795)	2026-08-09 17:10:18 +00:00
lekss361	ef82172bd1	Merge pull request 'feat(tradein/payments): оплаченный отчёт хранится год — retain_until и предохранители в задаче удаления' (#2754) from feat/tradein-paid-retention into main	2026-08-07 13:08:45 +00:00
bot-backend	5ce95a28a8	fix(tradein/payments): SET LOCAL lock_timeout в миграции 240 (gate threshold — артефакт) ... check-migration-lock-timeout.py требует lock_timeout только для NN >= 250 в tradein — порог назначен по номеру аварийной миграции 250, которую затем сняли с деплоя (#2792). Фактический максимум применённого на main — 239, то есть весь диапазон 240-249 гейтом не проверяется вообще ("проверено новых миграций: 0" = не проверено ни одного файла, не "все чисты"). Функция scan() из самого гейта, прогнанная напрямую без порогового отсечения, помечает ALTER TABLE в этом файле как блокирующий DDL без lock_timeout. trade_in_estimates — самая горячая таблица стека (история, история сотрудников, каждое чтение/PDF оценки); на этой БД уже наблюдались открытые транзакции на 46 и 22 часа. Ждущая ACCESS EXCLUSIVE-блокировка встаёт в очередь перед новыми запросами приложения. DDL на 1058 строках мгновенный — риск не в исполнении, а в ожидании чужой блокировки. Добавлено SET LOCAL lock_timeout = '5s' сразу после BEGIN + объяснение в шапке файла, почему оно здесь при том что гейт формально не требует — чтобы не убрали как "лишнее". Порог гейта не трогаю — отдельный issue.	2026-08-07 15:59:28 +03:00
bot-backend	7431615415	Merge remote-tracking branch 'forgejo/main' into feat/tradein-paid-retention ... # Conflicts: # tradein-mvp/backend/data/sql/_manifest_applied.txt # tradein-mvp/frontend/src/components/trade-in/v2/fixtures.ts	2026-08-07 15:40:52 +03:00
bot-backend	e6591a450a	fix(tradein/payments): миграция 234 → 240 — номер снова занят на main ... main уехал вперёд за сутки: 234 занял 234_scrape_runs_ban_kind_unknown.sql (0de22f4b), максимум на main сейчас 239 (235-237 — дыры). max+1=240 безопаснее дыр; ни один открытый PR номер 235-240 не занимает (сверено по forgejo/main и всем открытым веткам). Переименован файл + обновлены все 7 упоминаний "migration 234" (_manifest_applied.txt, config.py, schemas/trade_in.py, purge_expired_trade_in_data.py, test_estimate_idor.py, content.ts, types/trade-in.ts) — правки текстовые, ни один тест не читает миграцию по имени файла.	2026-08-07 15:31:01 +03:00
bot-backend	482deb4864	fix(migrations): закрепить lock_timeout для блокирующего DDL и ловить невалидные индексы (#2791)	2026-08-07 11:21:28 +00:00
bot-backend	29f1000228	revert(tradein/db): снять 250 с деплоя — очередь за локом блокирует пайплайн (#2792)	2026-08-07 11:01:31 +00:00
bot-backend	e4680082ea	test(ci): развести «нагрузку не создать» и «защита сломана» в двух флапающих гейтах (#2783) (#2789)	2026-08-07 10:35:15 +00:00
bot-backend	209e4e145f	fix(site-finder): вернуть доступ к профилям весов — владелец из сессии (#2782) (#2788)	2026-08-07 10:22:55 +00:00
bot-backend	c3a35a31d4	fix(ptica): скраб ПДн перестаёт утекать то, что защищает + проводка проверяется поведением (#2753) (#2787)	2026-08-07 10:11:36 +00:00
bot-backend	9de690ad4f	chore(tradein/frontend): удалить остаточный слой фикстур (#2755) (#2785)	2026-08-07 10:00:48 +00:00
bot-backend	90c3e7e490	test(scrapers/krt): вернуть в прогон проверку многоблочной страницы (#2778) (#2781)	2026-08-07 09:48:52 +00:00
bot-backend	1f036e94d1	refactor(security): убрать мёртвую проверку админского токена (#2775) (#2776)	2026-08-07 09:30:23 +00:00
bot-backend	a9096f125a	fix(tradein/db): снять побайтовый дубль индекса на trade_in_estimates(expires_at) (#2752) (#2784)	2026-08-07 09:30:14 +00:00
bot-backend	306fd82836	fix(tradein): свести высоту потолков к одной колонке ceiling_height_m (#2779)	2026-08-07 09:18:48 +00:00