2574 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
bot-backend	26fe9e4d77	chore(ci): деплой на изменение ролей, ruff-гейт для МЕРЫ, удаление мёртвого workflow ... - deploy.yml: добавлен auth/** в path-триггеры. app.core.auth кэширует roles.yaml на весь lifetime процесса (@lru_cache), а файл монтируется ТОЛЬКО в backend (не в worker, у него лишь ./data и ./reports) — без триггера правка ролей вступала бы в силу в случайный момент. - ci-tradein.yml: добавлен блокирующий шаг `ruff check` — гейт для tradein backend его не гонял вообще. Заодно почищены 3 срабатывания RUF059 (unused unpacked vars) в test_estimator_pure_units.py:381 по established convention (`_` уже используется в соседнем тесте того же файла). - Удалён мёртвый .github/workflows/ci.yml (Forgejo его не исполняет; GitHub mirror отстал на 500+ коммитов). Закомментированный postgres-services блок НЕ перенесён — обоснование, ради которого его хотели оставить как заготовку ("тестов против живой БД нет"), уже неверно: tests/sql/ реально гоняются против Postgres в ci.yml (#2745), и там намеренно НЕ используется `services:` — раннер поднимает job и service-контейнеры в сети хоста, где порт 5432 занят прод-базой (см. ci.yml:91-100). - README.md: убрана ложная привязка mypy к живому CI-гейту (только ruff + pytest + coverage gate ≥65%); убран stale-блок про .github/workflows/ — каталог после удаления ci.yml пуст.	2026-08-06 21:34:36 +03:00
bot-backend	2496670859	fix(tests): объявить 4 live-DB проверки приватности в skip_allowlist (#2750)	2026-08-06 18:20:04 +00:00
lekss361	d3d7464267	fix(tradein/deploy): скрапер пересобирается вместе с бэкендом + сверка образов после деплоя (#2679) (#2680)	2026-08-06 17:53:30 +00:00
bot-backend	eb98852ddf	ci: пропуск теста обязан назвать себя — иначе прогон красный (#2745)	2026-08-06 17:52:56 +00:00
lekss361	d87c9fa191	Merge pull request 'feat(mera/b2c): правовая рамка — согласие до сохранения, удаление по сроку и по запросу — этап 4 из 8' (#2547) from feat/mera-b2c-privacy into main ... Deep review APPROVE (deep-code-reviewer, 2026-08-06). HIGH закрыт: purge trade_in_estimates ограничен `created_by IS NULL` — 129 B2C-строк под удаление, 911 пилотских защищены (сверено на проде: 1040 просрочено всего). MEDIUM закрыт: телефон в erase_person_data сравнивается по каноническому РФ-виду с обеих сторон (8→7 при 11 цифрах, без усечения до последних 10). Проверено: миграции 229/231 прогнаны на прод-схеме в BEGIN…ROLLBACK, тело дважды — идемпотентны; CHECK consent отбивает false; NN свободны на main и в открытых PR; consent-гейт недостижим для B2B (session-cookie инжектит X-Authenticated-User); адрес не попадает в БД раньше согласия ни одним путём. Гейт: CI Trade-In / backend-tests success 3m9s на 4ee4d4b8.	2026-08-06 17:04:27 +00:00
bot-backend	4ee4d4b8e2	fix(tradein/privacy): нормализация телефона к каноническому РФ-виду при erasure (#2547) ... Follow-up к прошлому фиксу (regexp_replace \D): чистое удаление форматирования не закрывало разрыв, который сам ревьюер привёл в примере -- "+7 999 123-45-67" и "89991234567" после digit-stripping дают РАЗНЫЕ строки (79991234567 vs 89991234567, différent на первой цифре) -- классическая для РФ путаница 8/+7 trunk-префикса. _ru_phone_norm_sql(expr) добавляет второй шаг: если после digit-stripping получилось РОВНО 11 цифр с ведущей '8' -- заменить её на '7'. Точное тождество для российской нумерации, не эвристика (обсуждали: усечение до "последних 10 цифр" риск-скориальнее -- склеивает номера разных стран, удаление чужих данных хуже неудаления своих). Оба вызова (_PHONE_COLUMN_NORM_SQL / _PHONE_PARAM_NORM_SQL) строят SQL-структуру из статичных фрагментов (имя колонки / CAST(:phone AS text)) -- ни один телефон не попадает в текст запроса напрямую. Живая проверка (throwaway Postgres 16 в docker): лид "89991234567" находится и удаляется по запросу "+7 999 123-45-67" -- ровно кейс из ревью. Встроенный counterfactual в самом тесте доказывает, что чистый digit-strip (прошлая версия фикса) для этой пары находит 0 строк. Negative control: номер, отличающийся одной значащей цифрой, НЕ удаляется (защита от ложного совпадения = удаления чужих данных).	2026-08-06 19:59:34 +03:00
bot-backend	a091da1aa8	fix(tests): починить и вычистить проверки, которые не исполнялись ни разу (#2744)	2026-08-06 16:57:28 +00:00
bot-backend	881730bf20	fix(tradein/privacy): не удалять B2B-строки в purge + находить телефон в другом формате при erasure (#2547) ... Deep-review HIGH: purge_expired_trade_in_data удалял trade_in_estimates по expires_at без разбора B2B/B2C -- эта колонка TTL ссылки/PDF, а не срок хранения строки, и её единообразно проставляет каждой оценке estimator.py. Прод-аудит: 1040/1057 строк просрочены, 911 из них у пилотов (admin, kopylov, brusnika, praktika, pilottest, admintest, user1). DELETE теперь ограничен created_by IS NULL -- ровно анонимная B2C-популяция (129 строк). Докстринг миграции 231 переписан: явные цифры аудита, необратимость, чек-лист (свежий SELECT count + один supervised прогон) перед enable. Deep-review MEDIUM: erase_person_data сравнивал phone точным =, а lead.py сохраняет номер как прислали (без нормализации, намеренно) -- разное форматирование одного и того же номера не находилось, 0 строк удалялось, но ответ всё равно был 200 "данные удалены". Сравнение переведено на regexp_replace(x, '\D', '', 'g') с обеих сторон. Оба фикса проверены живьём (throwaway Postgres 16 в docker, вне обычного mock-only CI-лейна): без гварда пилотская строка удалялась вместе с анонимной; без нормализации разноформатный телефон не находился. С фиксами -- находит/не находит ровно как задумано. Добавлены self-skipping live-DB тесты (паттерн test_house_dedup_merge.py::_live_session) плюс статические SQL-guard тесты.	2026-08-06 19:49:13 +03:00
bot-backend	9f51c98ff4	fix(tradein/matching): listing_sources датируется построчно, а не стартом транзакции (#2731) (#2743)	2026-08-06 16:35:29 +00:00
bot-backend	2d62b87cf3	feat(tradein/payments): схема БД, конфиг и kill-switch платёжного контура (#2732) ... Миграция 233_payments.sql (payments / payment_notifications / payment_entitlements), поля TBANK_* и PAYMENTS_ENABLED, fail-fast в lifespan. Бизнес-логики нет, контур выключен по умолчанию. По итогам deep review: UNIQUE NULLS NOT DISTINCT на обоих дедуп-ключах, payment_notifications.processed_at, payments.pd_erased_at, payments_lead_idx, CHECK на длину order_id, статусы сверены с официальной openapi.yaml (Confirm-2, v1.24). Co-authored-by: bot-backend <bot-backend@gendsgn.local> Co-committed-by: bot-backend <bot-backend@gendsgn.local>	2026-08-06 16:33:27 +00:00
bot-backend	91423e0b53	fix(tradein/scrapers): метка наблюдения — время строки, а не старта транзакции (#2731) (#2742)	2026-08-06 16:19:56 +00:00
bot-reviewer	a398b17e6d	Merge pull request 'fix(tradein/payments): строгий разбор нотификации и отказ вместо догадок на враждебном входе' (#2737) from feat/tradein-payments-notification-hardening into main	2026-08-06 16:10:29 +00:00
bot-backend	3ee99efaa4	chore(tradein/privacy): перенумерация 231 и merge main - коллизия префикса (#2547)	2026-08-06 19:10:27 +03:00
bot-backend	b93bee5393	Merge remote-tracking branch 'forgejo/main' into pr2547-privacy-work	2026-08-06 19:02:18 +03:00
bot-backend	c86a5378ef	feat(tradein/houses): журнал слияний домов — слияние стало обратимым (#2740)	2026-08-06 15:41:20 +00:00
bot-backend	0dc6f12630	fix(tradein/avito): серия отказов обрывается и называет причину, а не выедает бюджет (#2674) (#2739)	2026-08-06 15:29:48 +00:00
bot-backend	4aec49f7fb	fix(tradein/yandex): в очередь обогащения не берём то, что парсер отвергает до сети (#2674) (#2738)	2026-08-06 15:22:21 +00:00
bot-backend	f0968c8513	test(tradein/auth): правило про синхронную сверку — сторожем, а не комментарием (#2715) (#2735)	2026-08-06 14:35:32 +00:00
bot-backend	90e328df66	fix(tradein/auth): отказ по насыщению — до выборки из БД и с агрегированным следом (#2715) (#2734)	2026-08-06 14:27:26 +00:00
bot-backend	dccd2d4272	chore(tradein/privacy): перенумерация миграций и merge main - разблокировка PR (#2547) ... 192/193 -> 229/230: main занял 192_tradein_users_auth.sql и 193_tradein_users_seed.sql за время простоя PR. 228 зарезервирован открытым PR #2732 (228_payments.sql) - следующие реально свободные 229/230, порядок consent_proof -> retention сохранён. Правки ссылок на старые имена/префиксы: docstring-заголовки самих SQL-файлов, перекрёстная ссылка 229 -> 230 в комментарии-докстринге, комментарии migration 192/193 в lead.py / config.py / schemas/trade_in.py / purge_expired_trade_in_data.py, переменные и имена тестов в test_estimate_consent_gate.py / test_purge_expired_trade_in_data.py. (Оставлены нетронутыми ссылки на migration 192/193 в auth_session.py и test_team_api.py - это про другие, уже существующие на main миграции 192_tradein_users_auth.sql / 193_tradein_users_seed.sql, не про эту пару.)	2026-08-06 15:56:02 +03:00
bot-backend	64a7975549	fix(tradein/proxy): проба узла ходит браузерным трактом, вердикт живёт отдельно от HTTP-пробы (#2723) (#2736)	2026-08-06 12:50:24 +00:00
bot-backend	00d1f78668	fix(tradein/payments): строгий разбор нотификации и отказ вместо догадок на враждебном входе	2026-08-06 15:48:57 +03:00
bot-backend	6820337da0	Merge remote-tracking branch 'forgejo/main' into pr2547-privacy-work ... # Conflicts: # tradein-mvp/backend/app/services/estimator.py # tradein-mvp/backend/app/services/product_handlers.py	2026-08-06 15:47:03 +03:00
bot-backend	a32ccabd0d	feat(tradein/payments): подпись Token, клиент Т-Банка и сборка чека (#2733) ... PR-C платёжного контура: token.py (sign + verify_notification_token, оба эталонных вектора Т-Банка перепроверены независимо), receipt.py (54-ФЗ ФФД 1.05, целые копейки), tbank_client.py (Init/GetState/CheckOrder/Confirm/Cancel, таймаут 15с, 4xx не ретраится). Слой инертный: 0 импортёров, роутеров нет. Co-authored-by: bot-backend <bot-backend@gendsgn.local> Co-committed-by: bot-backend <bot-backend@gendsgn.local>	2026-08-06 12:36:57 +00:00
bot-backend	2a1577738a	chore(tradein/db): DROP listings_snapshots.position_in_serp — шаг 2 из 2 (#2697) (#2728)	2026-08-06 11:41:39 +00:00
bot-backend	5f71fc670f	fix(tradein/scraper): сигнал живости из середины батча — живые прогоны перестают числиться зависшими (#2725) (#2727)	2026-08-06 11:30:52 +00:00
bot-backend	02b256288d	fix(tradein): молча задеселекченный тест починен, deselect снят (#2722) (#2729)	2026-08-06 11:30:42 +00:00
bot-backend	3527d2b608	ci(tradein): тесты браузерного сайдкара наконец бегут в пайплайне (#2722) (#2726)	2026-08-06 11:19:50 +00:00
bot-backend	3231233b73	fix(tradein/browser): четыре теста сайдкара догоняют код — тест отстал, не код сломан (#2722) (#2724)	2026-08-06 11:13:17 +00:00
bot-backend	6cf9172d96	fix(tradein/auth): доля слотов сверки пароля на адрес — потолок перестаёт бить по своим (#2714) (#2717)	2026-08-06 10:42:39 +00:00
bot-backend	a52b9d07cf	fix(tradein/browser): повтор evaluate на той же странице — гонка случается ПОСЛЕ load (#2676) (#2721)	2026-08-06 10:18:14 +00:00
bot-backend	b8afe13ae4	fix(tradein/scraper): длинная серия неудач перестаёт замолкать, оборванный прогон — называться успехом (#2670) (#2720)	2026-08-06 10:06:58 +00:00
bot-backend	0144092856	fix(tradein/houses): camelCase-типы домов приводятся к канону у источника (#2678) (#2719)	2026-08-06 09:55:54 +00:00
bot-backend	663a831775	fix(tradein/scraper): отметки времени прогона перестают замерзать в его же транзакции (#2702) (#2718)	2026-08-06 09:55:50 +00:00
bot-backend	1ba1a55770	fix(tradein/browser): гонка «execution context destroyed» — восстановимая, ретрай без relaunch (#2676) (#2716)	2026-08-06 09:44:23 +00:00
bot-backend	9d8114158b	fix(tradein/auth): bcrypt вне событийного цикла + настоящий потолок темпа логинов (#2665) (#2712)	2026-08-06 09:02:10 +00:00
bot-backend	627e163103	fix(tradein): TTL-деактивация не исполняется, пока сбор по источнику лежит (#2659) (#2710)	2026-08-06 08:40:41 +00:00
bot-backend	396d8a74b6	fix(tradein/scraper): сторож «ноль результатов» перестаёт читать «не измерено» как ноль (#2703) (#2713)	2026-08-06 08:28:59 +00:00
bot-backend	9e5e9fca08	fix(tradein/scraper): статус «забанен» перестаёт выдавать наш сбой за чужой (#2686) (#2711)	2026-08-06 08:18:26 +00:00
bot-backend	cb64796b44	fix(tradein/scraper): дневной снимок узнаёт свой прогон (#2701) (#2707)	2026-08-06 07:00:17 +00:00
bot-backend	c66e18cd13	fix(tradein/imv): домовая оценка ходит в сайдкар через пул, а не через чужой env-прокси (#2698) (#2708)	2026-08-06 06:52:15 +00:00
bot-backend	90c193f898	fix(tradein): «медианный торг» гаснет на псевдорепликах и на неправдоподобном минусе (#2672) (#2706)	2026-08-06 06:48:47 +00:00
bot-backend	bc5233de15	fix(tradein/cian): просмотры перестают теряться на int() по фразе (#2669) (#2705)	2026-08-06 06:46:18 +00:00
bot-backend	58dcd76d2e	fix(tradein/domclick): sale_type перестаёт быть третьим словарём (#2674) (#2696)	2026-08-06 06:11:45 +00:00
bot-backend	44470f7310	fix(tradein/scraper): detail-backfill с нулём обогащений перестаёт называться успехом (#2674) (#2695)	2026-08-06 05:59:37 +00:00
bot-backend	27272762ef	fix(tradein): такт в сохранении расписания, position_in_serp невыразим (#2674)	2026-08-06 05:49:48 +00:00
bot-backend	a7ca0e9ee8	fix(tradein): вернуть фотографии подсказок Avito IMV задним числом (#2674) (#2693)	2026-08-06 05:40:02 +00:00
bot-backend	e1c26c212a	chore(tradein): догнать _manifest_applied.txt до факта прода (31 имя) (#2692)	2026-08-06 00:54:41 +00:00
bot-backend	fb5ec56a54	Merge pull request 'chore(tradein): разбор мёртвого кода — подключить, удалить или задокументировать (#2674)' (#2689) from chore/2674-dead-code-sweep into main	2026-08-06 00:37:05 +00:00
bot-backend	3d38d589d0	fix(tradein): панорама для страниц без истории, точные счётчики, окно без гонки (#2674) ... Правки по ревью PR #2689. Признак панорамы был недостижим примерно для десятой части страниц. Вызов стоял после раннего возврата по пустой истории размещений, поэтому идеально отрисованная страница без единого объявления до записи не доходила: на проде 1519 оценок против 1360 домов с историей. Резолв дома и запись панорамы подняты выше возврата — гейт честности не тронут. Цена: match_or_create_house теперь вызывается и для таких страниц (может создать дом), но это тот же вызов с тем же адресом, который уже отрабатывает на остальных 90%. Числа в комментариях к схеме были оценками планировщика, а не точным счётом: listings 142 569 против реальных 93 408 (раздув мёртвыми кортежами на 53%), house_sources 46 813 против 49 502. На безопасность удаления это не влияло — нули там точные, — но оценка уезжала в постоянный комментарий к схеме, в PR, тезис которого «каждое утверждение несёт число с прода». Пересчитано точным count(*). Окно расписания ДОМ.РФ 03:00-04:00 совпадало с refresh_search_matview — то есть ровно с тем заданием, которое переносит year_built в поиск. Планировщик берёт случайный момент внутри окна и гоняет источники параллельно, так что порядок был подбрасыванием монеты. Перенесено на 01:00-02:00; в комментарии честно сказано, что гарантии всё равно нет и при аномально долгом прогоне возможно отставание на цикл. Тесты, адресовавшие вызовы по позиции (db.execute.call_args_list[0]), переведены на фильтр по SQL — это и была причина, по которой добавление второго execute ломало шесть чужих тестов разом. То же для side_effect в тесте отката батча: исключение доставалось бы записи панорамы, которая свои ошибки глотает, и тест молча проверял бы не тот путь. В test_save_history_items_inserts_each возвращено утверждение о числе коммитов (было удалено вместо обновления). Refs #2674	2026-08-06 05:32:14 +05:00