756 commits

Author	SHA1	Message	Date
bot-backend	5fd03827dd	fix(tradein/quality): витрина перестаёт рапортовать «доля с кадастром» (#2674) ... v_data_quality.pct_cadastr считался по listings.cadastral_number — кадастру КВАРТИРЫ, которого не отдаёт ни одна площадка (прод 13.08: 0 из 99 304 объявлений, 0 из 96 974 deals, 0 из 53 house_metadata). Ноль, гарантированный устройством системы, читался рядом с pct_geocoded 95.61% как измеренное качество данных. Это не дефект измерителя: тот же CTE и тот же шаблон count в соседних строках дают 95.61% / 39.82% / 65.10%. Ноль настоящий и означает «неприменимо». Источник НЕ переключён на listings.building_cadastral_number: та колонка про ЗДАНИЕ, её единственный писатель — наш ночной KNN ≤50 м по зеркалу ЕГРН (tasks/cadastral_geo_match.py:161), и #2674 замерил ключ как неинъективный (20.1% значений накрывают >1 здание ГАР). Под подписью «доля объявлений с кадастром» она мерила бы покрытие геокодера — новая ложь вместо старой. Третий показатель этого класса после 214 (outliers_flagged) и 216 (price_disagreements_count), поэтому действие то же: снять, а не чинить.	2026-08-13 01:00:21 +05:00
bot-backend	3cd7e0a9c4	fix(tradein/sber): сторож мерит отставание загрузки, а не календарь (#2846) (#2849)	2026-08-12 19:36:20 +00:00
bot-backend	e59a102b16	fix(tradein/dkp): «ФАКТИЧЕСКИЕ СДЕЛКИ» называют свой возраст, а не окно поиска (#2847)	2026-08-12 18:51:10 +00:00
bot-backend	1ff6699b95	feat(tradein/scheduler): планировщик подхватывает чекпоинт оборванного прогона (#930) (#2845)	2026-08-12 18:51:02 +00:00
bot-backend	081319c290	fix(tradein/ci): объявить пропуски живых тестов повтора IMV — деплой-лэйн без БД (#2844)	2026-08-12 16:38:02 +00:00
bot-backend	c927b77777	fix(tradein/imv): «временная» ошибка снова временная — 1390 домов возвращаются в очередь (#2843)	2026-08-12 16:06:24 +00:00
bot-backend	9a89c34971	fix(tradein/estimate): не подставлять квартал соседа вместо квартала цели (#2839)	2026-08-12 15:55:24 +00:00
bot-backend	b5f3366577	fix(tradein/yandex): 3535 source_url ведут на сайт застройщика — переписываем из offerId (#2840)	2026-08-12 15:33:31 +00:00
bot-backend	447fbbd3a5	fix(tradein/yandex): «непригодных» 3535 не было — адресуем их по offerId (#2838)	2026-08-12 15:04:53 +00:00
bot-backend	677fcb749c	fix(tradein/geocoder): инвариант «чужой топоним + результат внутри ЕКБ = недостоверно» (#2590) (#2837)	2026-08-12 14:26:58 +00:00
bot-backend	ad190be233	fix(tradein/estimate): отдавать фактический радиус подбора, а не выбор пользователя (#2835)	2026-08-12 12:48:18 +00:00
bot-backend	4d31a0ee82	fix(tradein/scraper): пустой пул прокси перестаёт стирать чекпоинт полного обхода (#2834)	2026-08-12 12:18:03 +00:00
bot-backend	e17687aed7	fix(tradein/scrapers): убрать оставшиеся обходы пула прокси (#2830) (#2833)	2026-08-12 10:53:36 +00:00
lekss361	f2cbd76ae0	fix(tradein/scrapers): egress по источнику из пула с учётом банов, а не статичный env (#2831)	2026-08-11 06:29:48 +00:00
lekss361	29db137375	fix(tradein/admin): развести исходы проверки кук — бан не равен «плохим кукам» (#2829)	2026-08-11 06:08:16 +00:00
lekss361	55c25416f6	fix(tradein/estimate): не перетирать дату обращения при оживлении оценки (#2828)	2026-08-11 05:52:05 +00:00
lekss361	82d8db9f42	fix(tradein/estimate): оживлять мёртвые сохранённые оценки при открытии (#2826)	2026-08-11 04:15:40 +00:00
lekss361	0b84f0b661	fix(tradein/estimate): уверенность не может противоречить надёжности выборки (#2825)	2026-08-10 16:21:31 +00:00
lekss361	8423af5dd5	feat(tradein): версионирование продукта — единый источник, подвал, PDF, /versions (#2824)	2026-08-10 16:00:54 +00:00
lekss361	9d9457f67d	fix(tradein/estimate): не блокировать оценку — расширять подбор и честно предупреждать (#2823)	2026-08-10 15:42:22 +00:00
bot-backend	20ec6a5d33	fix(tradein/cian): 403 снимает узел с выдачи, а не гаснет в return None (#2700) (#2821)	2026-08-10 11:29:19 +00:00
bot-backend	0ed0140c9e	fix(tradein/dedup): остаток схлопывания домов становится измеряемым числом, а не оценкой (#2690) (#2820)	2026-08-10 11:18:19 +00:00
bot-backend	5ee4126ed0	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) (#2815)	2026-08-10 09:47:15 +00:00
bot-backend	a227877905	fix(tradein/scraper): прогон, у которого отказал каждый якорь, перестаёт быть успехом (#2625) (#2813)	2026-08-10 09:36:23 +00:00
bot-backend	ab5c4b86cd	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) ... Авито с 27.07 рендерит рейтинг и число отзывов внутри того же <p> в data-marker="item-location", откуда serp.py берёт адрес: «ул. Ткачей,17·5,0 · 4 отзыва». Прод 2026-08-10: 1 123 активных объявления с таким адресом, и у 1 123 из 1 123 нет координат — доля 100%, 711 из них геокодер уже пробовал. Контроль в тех же данных: у чистых адресов координаты есть у 4 766 из 5 715 (83%). Строка без geom молча выпадает из comp-пула: Tier W отбирает через ST_DWithin, а NULL не проходит предикат и нигде не считается. 2 446 из 3 270 безкоординатных попадают в свежий пул аналогов — 12.7% аналогов невидимы радиусному поиску. Режем по «·», за которой идёт ЦИФРА (рейтинг «·4,9», счётчик «·2 отзыва»). По любой «·» нельзя: разделитель района пишется «, 59 · р-н Академический» — за точкой буква, и этот хвост _deglue_house_marker намеренно сохраняет (#1773). Тест проверяет обе стороны плюс три прежних хвоста (CSS, метро, «от N мин.»). Чинит только новые вставки: base.py пишет address = COALESCE(listings.address, EXCLUDED.address), адрес при конфликте не перезаписывается осознанно (#2777). Бэкфилл 1 123 существующих строк вынесен в #2814 для database-expert.	2026-08-10 14:32:25 +05:00
bot-backend	272abac4d2	fix(tradein/matching): город развёртки доезжает до стража Tier-2a — межгородские склейки домов (#2777) (#2808)	2026-08-10 08:51:14 +00:00
bot-backend	72472c2783	fix(tradein/newbuilding): счётчики записи различают вставку и обновление (#2807) (#2809)	2026-08-10 08:50:56 +00:00
bot-backend	12c189ac27	fix(tradein/scraper): сводка «что сейчас не собирает» — лестница вех не видит стрик 0 (#2670) (#2806)	2026-08-10 08:29:26 +00:00
bot-backend	27e199e370	fix(tradein/proxy): упавшая проба присваивала себе бан боевого сбора (#2800) (#2805)	2026-08-09 20:13:10 +00:00
bot-backend	9cd6db023b	fix(tradein/cian): Циан переименовал MFE карточки ЖК — читать оба имени (#2767) (#2804)	2026-08-09 18:41:02 +00:00
bot-backend	08bb9d6549	fix(tradein/proxy): проба спрашивает каждую площадку, вердикт пишется на пару «узел × источник» (#2800 B) (#2803)	2026-08-09 18:28:37 +00:00
bot-backend	f45ce3be2d	fix(tradein/cian): банить узел только когда состояния НЕТ, а не по слову «captcha» (#2767) (#2801)	2026-08-09 18:04:01 +00:00
bot-backend	f3bcb1a25f	fix(tradein/cian): обогащение ЖК падало не на разметке, а на сожжённом узле (#2767) (#2798)	2026-08-09 17:38:40 +00:00
bot-backend	f1f2bca2e9	fix(tradein/deactivate): TTL не снимает объявления по порогу ниже собственного цикла обхода (#2797)	2026-08-09 17:26:18 +00:00
bot-backend	7b36f86ea6	fix(tradein/domclick): свип ходит через прокси-пул, а отказ узла не обнуляет прогон (#2657) (#2796)	2026-08-09 17:21:49 +00:00
bot-backend	7431615415	Merge remote-tracking branch 'forgejo/main' into feat/tradein-paid-retention ... # Conflicts: # tradein-mvp/backend/data/sql/_manifest_applied.txt # tradein-mvp/frontend/src/components/trade-in/v2/fixtures.ts	2026-08-07 15:40:52 +03:00
bot-backend	e6591a450a	fix(tradein/payments): миграция 234 → 240 — номер снова занят на main ... main уехал вперёд за сутки: 234 занял 234_scrape_runs_ban_kind_unknown.sql (0de22f4b), максимум на main сейчас 239 (235-237 — дыры). max+1=240 безопаснее дыр; ни один открытый PR номер 235-240 не занимает (сверено по forgejo/main и всем открытым веткам). Переименован файл + обновлены все 7 упоминаний "migration 234" (_manifest_applied.txt, config.py, schemas/trade_in.py, purge_expired_trade_in_data.py, test_estimate_idor.py, content.ts, types/trade-in.ts) — правки текстовые, ни один тест не читает миграцию по имени файла.	2026-08-07 15:31:01 +03:00
bot-backend	e4680082ea	test(ci): развести «нагрузку не создать» и «защита сломана» в двух флапающих гейтах (#2783) (#2789)	2026-08-07 10:35:15 +00:00
bot-backend	306fd82836	fix(tradein): свести высоту потолков к одной колонке ceiling_height_m (#2779)	2026-08-07 09:18:48 +00:00
bot-backend	de4b2a4ae5	fix(tradein/houses): вернуть координаты объявлений в дом, когда объявления согласны (#2771) (#2780)	2026-08-07 09:08:06 +00:00
bot-backend	69ba6002da	fix(tradein): поштучный процент гаснет вместе со сводным, когда причина — сама пара (#2672) (#2774)	2026-08-07 08:56:43 +00:00
bot-backend	339713c1aa	fix(tradein/yandex): просмотры режутся по разделителю тысяч + Циан молчит о непонятой фразе (#2669) (#2773)	2026-08-07 08:44:48 +00:00
bot-backend	5046ac7b4e	fix(tradein/cian): показать, ЧТО пришло вместо состояния ЖК-страницы, и честно закрывать нулевой прогон (#2767) (#2768)	2026-08-07 08:06:25 +00:00
bot-backend	0de22f4bc9	fix(tradein/scraper): диагноз бана перестаёт назначаться по умолчанию (#2764) (#2765)	2026-08-06 23:17:59 +00:00
bot-backend	48664dfe0e	fix(tradein/payments): pre-flight должен ловить аномалию, не штатное состояние (review PR #2754) ... Deep-review MEDIUM: предполётная проверка purge_expired_trade_in_data считала по базовому предикату без retain_until — здоровая оплаченная строка (retain_until проставлен, платёж есть) через сутки после продажи тоже попадала под счётчик, и джоба аварийно останавливалась на первой же честной продаже навсегда (вместе с ней — и 180-дневное удаление лидов, вызываемое из той же функции после этой проверки). - _PREFLIGHT_PAID_CANDIDATES_SQL: добавлен терм `retain_until IS NULL` — теперь считает только реальную аномалию (retain_until не проставлен, а платёж есть), а не штатное состояние. Докстринги функции/модуля поправлены под фактическое поведение. - Тест на неверный инвариант (`"retain_until" not in sql`) заменён на позитивный (`"retain_until IS NULL" in sql`) + добавлены live-DB тесты на оба случая из ревью (здоровая оплаченная строка не поднимает тревогу, джоба не блокируется). - privacy/page.tsx: константа "12 месяцев" вынесена в content.ts (PAID_REPORT_RETENTION_MONTHS) вместо литерала + расходящегося комментария; добавлен сверяющий тест (test_paid_retention_text_consistency.py) по образцу _CONSENT_TEXT_SNAPSHOT. Смягчена формулировка про автоматическое удаление — задача на проде выключена и ни разу не запускалась, текст теперь описывает установленный порядок, а не наблюдаемый факт. - Все 10 висячих ссылок на untracked `mera-pr-d-spec.md` (7 файлов) заменены на краткое изложение сути в комментарии + ссылку на PR #2754.	2026-08-06 22:49:09 +03:00
bot-backend	5ff06d25b4	feat(tradein/payments): оплаченный отчёт хранится год — retain_until и предохранители в задаче удаления ... Мина: purge_expired_trade_in_data (сейчас enabled=false) удаляет строки WHERE expires_at < NOW() AND created_by IS NULL — это ровно популяция будущих платящих физлиц (владелец продаёт отчёт за 150 руб., отчёт должен жить год на нашей стороне, а не 24ч). Первый прогон после запуска продаж безвозвратно снёс бы оплаченное. Делается ДО платёжного кода, которого в этом PR нет: - migration 234: колонка trade_in_estimates.retain_until (NULL = неоплачено, бэкенд-бита-в-бит не меняется) + частичный индекс под purge-предикат. - config.py: trade_in_paid_retention_days=365 (ENV) — единственный источник "12 месяцев" для будущей оферты/экрана/SQL продления. - Единый гейт чтения ESTIMATE_READABLE_SQL + estimate_readable() — раньше SQL-фильтр (404) и Python-проверка (410) в trade_in.py уже разошлись по тексту ответа; текст "estimate expired (24h TTL)" убран (стал бы ложью при годовом хранении). - purge_expired_trade_in_data: retain_until IS NULL (не < NOW() — оплаченное не удаляем в принципе) + NOT EXISTS(payments) как независимая страховка + pre-flight, который считает оплаченных кандидатов и падает в mark_failed ДО первого батча при ненулевом результате. - PDF: "Ссылка доступна до …" только при retain_until IS NOT NULL; "ДЕЙСТВИТЕЛЕН ДО" (expires_at, актуальность расчёта) не тронут. - Фронт: retain_until прокинут в mapper (validUntil остаётся на expires_at). - privacy-страница: убрано устаревшее "механизма удаления нет" (неправда после #2547), добавлен срок 12 месяцев для оплаченных отчётов. Ни строчки платёжного кода. expires_at, trade_in_estimate_retention_hours, _DELETE_EXPIRED_LEADS_SQL не тронуты.	2026-08-06 21:48:06 +03:00
bot-backend	2496670859	fix(tests): объявить 4 live-DB проверки приватности в skip_allowlist (#2750)	2026-08-06 18:20:04 +00:00
bot-backend	eb98852ddf	ci: пропуск теста обязан назвать себя — иначе прогон красный (#2745)	2026-08-06 17:52:56 +00:00
lekss361	d87c9fa191	Merge pull request 'feat(mera/b2c): правовая рамка — согласие до сохранения, удаление по сроку и по запросу — этап 4 из 8' (#2547) from feat/mera-b2c-privacy into main ... Deep review APPROVE (deep-code-reviewer, 2026-08-06). HIGH закрыт: purge trade_in_estimates ограничен `created_by IS NULL` — 129 B2C-строк под удаление, 911 пилотских защищены (сверено на проде: 1040 просрочено всего). MEDIUM закрыт: телефон в erase_person_data сравнивается по каноническому РФ-виду с обеих сторон (8→7 при 11 цифрах, без усечения до последних 10). Проверено: миграции 229/231 прогнаны на прод-схеме в BEGIN…ROLLBACK, тело дважды — идемпотентны; CHECK consent отбивает false; NN свободны на main и в открытых PR; consent-гейт недостижим для B2B (session-cookie инжектит X-Authenticated-User); адрес не попадает в БД раньше согласия ни одним путём. Гейт: CI Trade-In / backend-tests success 3m9s на 4ee4d4b8.	2026-08-06 17:04:27 +00:00
bot-backend	4ee4d4b8e2	fix(tradein/privacy): нормализация телефона к каноническому РФ-виду при erasure (#2547) ... Follow-up к прошлому фиксу (regexp_replace \D): чистое удаление форматирования не закрывало разрыв, который сам ревьюер привёл в примере -- "+7 999 123-45-67" и "89991234567" после digit-stripping дают РАЗНЫЕ строки (79991234567 vs 89991234567, différent на первой цифре) -- классическая для РФ путаница 8/+7 trunk-префикса. _ru_phone_norm_sql(expr) добавляет второй шаг: если после digit-stripping получилось РОВНО 11 цифр с ведущей '8' -- заменить её на '7'. Точное тождество для российской нумерации, не эвристика (обсуждали: усечение до "последних 10 цифр" риск-скориальнее -- склеивает номера разных стран, удаление чужих данных хуже неудаления своих). Оба вызова (_PHONE_COLUMN_NORM_SQL / _PHONE_PARAM_NORM_SQL) строят SQL-структуру из статичных фрагментов (имя колонки / CAST(:phone AS text)) -- ни один телефон не попадает в текст запроса напрямую. Живая проверка (throwaway Postgres 16 в docker): лид "89991234567" находится и удаляется по запросу "+7 999 123-45-67" -- ровно кейс из ревью. Встроенный counterfactual в самом тесте доказывает, что чистый digit-strip (прошлая версия фикса) для этой пары находит 0 строк. Negative control: номер, отличающийся одной значащей цифрой, НЕ удаляется (защита от ложного совпадения = удаления чужих данных).	2026-08-06 19:59:34 +03:00