2755 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
bot-backend	13ce1045bb	fix(tradein/estimate): домовой IMV-якорь приводится к базису ремонта квартиры (#2677) (#2816)	2026-08-12 20:17:10 +00:00
bot-backend	3cd7e0a9c4	fix(tradein/sber): сторож мерит отставание загрузки, а не календарь (#2846) (#2849)	2026-08-12 19:36:20 +00:00
bot-backend	e59a102b16	fix(tradein/dkp): «ФАКТИЧЕСКИЕ СДЕЛКИ» называют свой возраст, а не окно поиска (#2847)	2026-08-12 18:51:10 +00:00
bot-backend	1ff6699b95	feat(tradein/scheduler): планировщик подхватывает чекпоинт оборванного прогона (#930) (#2845)	2026-08-12 18:51:02 +00:00
bot-backend	2c8dc46205	Merge remote-tracking branch 'origin/main' into fix/2683-manifest-drift ... # Conflicts: # tradein-mvp/backend/data/sql/_manifest_applied.txt # tradein-mvp/backend/tests/skip_allowlist.txt	2026-08-12 23:06:41 +05:00
bot-backend	081319c290	fix(tradein/ci): объявить пропуски живых тестов повтора IMV — деплой-лэйн без БД (#2844)	2026-08-12 16:38:02 +00:00
bot-backend	c927b77777	fix(tradein/imv): «временная» ошибка снова временная — 1390 домов возвращаются в очередь (#2843)	2026-08-12 16:06:24 +00:00
bot-backend	9a89c34971	fix(tradein/estimate): не подставлять квартал соседа вместо квартала цели (#2839)	2026-08-12 15:55:24 +00:00
bot-backend	b5f3366577	fix(tradein/yandex): 3535 source_url ведут на сайт застройщика — переписываем из offerId (#2840)	2026-08-12 15:33:31 +00:00
bot-backend	447fbbd3a5	fix(tradein/yandex): «непригодных» 3535 не было — адресуем их по offerId (#2838)	2026-08-12 15:04:53 +00:00
bot-backend	677fcb749c	fix(tradein/geocoder): инвариант «чужой топоним + результат внутри ЕКБ = недостоверно» (#2590) (#2837)	2026-08-12 14:26:58 +00:00
bot-backend	ad190be233	fix(tradein/estimate): отдавать фактический радиус подбора, а не выбор пользователя (#2835)	2026-08-12 12:48:18 +00:00
bot-backend	4d31a0ee82	fix(tradein/scraper): пустой пул прокси перестаёт стирать чекпоинт полного обхода (#2834)	2026-08-12 12:18:03 +00:00
bot-backend	e17687aed7	fix(tradein/scrapers): убрать оставшиеся обходы пула прокси (#2830) (#2833)	2026-08-12 10:53:36 +00:00
lekss361	f2cbd76ae0	fix(tradein/scrapers): egress по источнику из пула с учётом банов, а не статичный env (#2831)	2026-08-11 06:29:48 +00:00
lekss361	29db137375	fix(tradein/admin): развести исходы проверки кук — бан не равен «плохим кукам» (#2829)	2026-08-11 06:08:16 +00:00
lekss361	55c25416f6	fix(tradein/estimate): не перетирать дату обращения при оживлении оценки (#2828)	2026-08-11 05:52:05 +00:00
lekss361	82d8db9f42	fix(tradein/estimate): оживлять мёртвые сохранённые оценки при открытии (#2826)	2026-08-11 04:15:40 +00:00
lekss361	0b84f0b661	fix(tradein/estimate): уверенность не может противоречить надёжности выборки (#2825)	2026-08-10 16:21:31 +00:00
lekss361	8423af5dd5	feat(tradein): версионирование продукта — единый источник, подвал, PDF, /versions (#2824)	2026-08-10 16:00:54 +00:00
lekss361	9d9457f67d	fix(tradein/estimate): не блокировать оценку — расширять подбор и честно предупреждать (#2823)	2026-08-10 15:42:22 +00:00
bot-backend	74344f7b8b	docs(tradein/scraper): 42 прогона, а не 52 — в замере считались пары «прогон × фаза» (#2700) (#2822)	2026-08-10 11:49:27 +00:00
bot-backend	20ec6a5d33	fix(tradein/cian): 403 снимает узел с выдачи, а не гаснет в return None (#2700) (#2821)	2026-08-10 11:29:19 +00:00
bot-backend	0ed0140c9e	fix(tradein/dedup): остаток схлопывания домов становится измеряемым числом, а не оценкой (#2690) (#2820)	2026-08-10 11:18:19 +00:00
bot-backend	1307d55da6	fix(site-finder): метка источника весов выводится из результата резолва, а не из входа (#2811) (#2817)	2026-08-10 10:34:39 +00:00
bot-backend	6ab359a127	fix(db): /dev/shm боевого postgres — 64 МБ умолчания Docker на 1 ГиБ ... Параллельные планы Постгреса размещают DSM-сегменты в /dev/shm (dynamic_shared_memory_type=posix). Контейнеру БД никто не задавал shm_size, поэтому там держалось умолчание Docker — 64 МБ, и запросы Объектива падали с psycopg.errors.DiskFull «could not resize shared memory segment». Текст ошибки называет НЕ тот ресурс: на разделе 28 ГБ свободно, кончался именно /dev/shm. Замеры на проде 2026-08-10 (не рекомендация из интернета): постоянный расход ~9.8 МиБ (DSA кумулятивной статистики pgstat) один параллельный ~15.4 МиБ (3 одновременных → 55.9 МиБ из 64) → 4-й одновременный запрос не влезает; ровно это и наблюдалось (6 отказов за 1.2 с из двух backend-процессов) Нижняя граница: 128 МиБ покрывают лишь ~7-8 одновременных, а потолок celery (--concurrency=8) плюс request-path даёт ~12 → минимум 256 МиБ. Верхняя: /dev/shm это tmpfs, страницы выделяются по факту, поэтому значение — потолок, а не резерв; на хосте 11 ГиБ RAM (свободно ~6), 2 ГиБ я бы не переходил. 1 ГиБ = ~65 таких запросов, ~5x запаса. Локальная проверка A/B (postgres:16, GUC как на проде, различается только --shm-size): 6 одновременных параллельных запросов 64m → 4 отказа, пик 57.3 МиБ (упёрлись в лимит) 1g → 0 отказов, пик 113.3 МиБ (реальный спрос вдвое выше 64 МиБ) Refs #2812	2026-08-10 15:30:06 +05:00
bot-backend	405d2f2eec	fix(tradein/db): разовая чистка 1123 адресов Авито с приклеенным рейтингом (#2814) (#2818)	2026-08-10 10:22:33 +00:00
bot-backend	5ee4126ed0	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) (#2815)	2026-08-10 09:47:15 +00:00
bot-backend	a227877905	fix(tradein/scraper): прогон, у которого отказал каждый якорь, перестаёт быть успехом (#2625) (#2813)	2026-08-10 09:36:23 +00:00
bot-backend	ab5c4b86cd	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) ... Авито с 27.07 рендерит рейтинг и число отзывов внутри того же <p> в data-marker="item-location", откуда serp.py берёт адрес: «ул. Ткачей,17·5,0 · 4 отзыва». Прод 2026-08-10: 1 123 активных объявления с таким адресом, и у 1 123 из 1 123 нет координат — доля 100%, 711 из них геокодер уже пробовал. Контроль в тех же данных: у чистых адресов координаты есть у 4 766 из 5 715 (83%). Строка без geom молча выпадает из comp-пула: Tier W отбирает через ST_DWithin, а NULL не проходит предикат и нигде не считается. 2 446 из 3 270 безкоординатных попадают в свежий пул аналогов — 12.7% аналогов невидимы радиусному поиску. Режем по «·», за которой идёт ЦИФРА (рейтинг «·4,9», счётчик «·2 отзыва»). По любой «·» нельзя: разделитель района пишется «, 59 · р-н Академический» — за точкой буква, и этот хвост _deglue_house_marker намеренно сохраняет (#1773). Тест проверяет обе стороны плюс три прежних хвоста (CSS, метро, «от N мин.»). Чинит только новые вставки: base.py пишет address = COALESCE(listings.address, EXCLUDED.address), адрес при конфликте не перезаписывается осознанно (#2777). Бэкфилл 1 123 существующих строк вынесен в #2814 для database-expert.	2026-08-10 14:32:25 +05:00
bot-backend	272abac4d2	fix(tradein/matching): город развёртки доезжает до стража Tier-2a — межгородские склейки домов (#2777) (#2808)	2026-08-10 08:51:14 +00:00
bot-backend	72472c2783	fix(tradein/newbuilding): счётчики записи различают вставку и обновление (#2807) (#2809)	2026-08-10 08:50:56 +00:00
bot-backend	84a65d40dd	fix(site-finder): §4.1 «Применить» действительно применяет веса POI (#2790) (#2810)	2026-08-10 08:39:59 +00:00
bot-backend	12c189ac27	fix(tradein/scraper): сводка «что сейчас не собирает» — лестница вех не видит стрик 0 (#2670) (#2806)	2026-08-10 08:29:26 +00:00
bot-backend	77dfd072a7	chore(tradein): комментарий в skip_allowlist описывал снятый шаг git fetch ... Во втором коммите PR отдельный `git fetch origin main` был снят (из job-контейнера git.gendsgn.ru недостижим, run 6977), эталон даёт сам checkout с fetch-depth: 0. Комментарий про «тянут main отдельным шагом» остался и читался бы дальше как факт.	2026-08-10 01:28:20 +05:00
bot-backend	9e5bcd3fa9	Merge origin/main (27e199e3) в fix/2683-manifest-drift ... Конфликт modify/delete по tradein-mvp/backend/data/sql/_manifest_applied.txt разрешён удалением — удаление и есть предмет PR. За трое суток в main дописали три имени (240/250/251); дописывать их некуда: файла больше нет, а гейт tests/test_migration_numbering.py берёт эталон применённого из origin/main. Проверено, что удаление ничего не оставляет без потребителя: манифест не *.sql, цикл миграций в deploy-tradein.yml и bootstrap схемы в ci-tradein.yml берут glob '*.sql', новый scripts/check-migration-lock-timeout.py — тоже. Замер дрейфа на 27e199e3: 216 имён в манифесте против 232 файлов, отставание 16 (было 15 на 07.08). Старый гейт на этом дереве: 4 passed. # Conflicts: # tradein-mvp/backend/data/sql/_manifest_applied.txt	2026-08-10 01:27:38 +05:00
bot-backend	27e199e370	fix(tradein/proxy): упавшая проба присваивала себе бан боевого сбора (#2800) (#2805)	2026-08-09 20:13:10 +00:00
bot-backend	9cd6db023b	fix(tradein/cian): Циан переименовал MFE карточки ЖК — читать оба имени (#2767) (#2804)	2026-08-09 18:41:02 +00:00
bot-backend	08bb9d6549	fix(tradein/proxy): проба спрашивает каждую площадку, вердикт пишется на пару «узел × источник» (#2800 B) (#2803)	2026-08-09 18:28:37 +00:00
bot-backend	7cd8c63b89	fix(tradein/proxy): узел, зарезервированный за Домкликом, до Домклика не доходит (#2800 A) (#2802)	2026-08-09 18:15:55 +00:00
bot-backend	f45ce3be2d	fix(tradein/cian): банить узел только когда состояния НЕТ, а не по слову «captcha» (#2767) (#2801)	2026-08-09 18:04:01 +00:00
bot-backend	687bd38322	chore(tradein/db): снести DEPRECATED-колонку listings.ceiling_height (#2799)	2026-08-09 17:51:15 +00:00
bot-backend	f3bcb1a25f	fix(tradein/cian): обогащение ЖК падало не на разметке, а на сожжённом узле (#2767) (#2798)	2026-08-09 17:38:40 +00:00
bot-backend	f1f2bca2e9	fix(tradein/deactivate): TTL не снимает объявления по порогу ниже собственного цикла обхода (#2797)	2026-08-09 17:26:18 +00:00
bot-backend	7b36f86ea6	fix(tradein/domclick): свип ходит через прокси-пул, а отказ узла не обнуляет прогон (#2657) (#2796)	2026-08-09 17:21:49 +00:00
bot-backend	45924021a7	chore(tradein/db): вернуть снос дубля индекса expires_at — теперь с lock_timeout (#2795)	2026-08-09 17:10:18 +00:00
bot-backend	1f85ef7d4e	fix(tradein/payments): тело нотификации не течёт в мониторинг и аудит, повторы банка не отбиваются лимитом ... PR-D2 платёжного контура МЕРЫ — закрывает утечки до открытия публичных путей (PR-D3/D4), сам ничего не открывает: _PUBLIC_PATHS (rbac.py), Caddyfile, roles.yaml, auth_session.py не тронуты. - sentry_scrub.py: новая scrub_payment_request_body — вырезает event.request.data целиком для /api/v1/trade-in/payments/* (sentry_sdk 2.64 кладёт полное тело запроса в request.data, send_default_pii=False это НЕ гейтит — тот флаг управляет только куками). Плюс расширен _PII_KEYS: customer_email/customer_phone/pan/expdate/cardid/rebillid/token/terminalkey. - main.py, scheduler_main.py, tgbot_main.py (все 3 точки инициализации sentry_sdk.init в проекте) — тот же обработчик проведён в ОБА канала, before_send и before_send_transaction. Мотивирующий инцидент: на соседнем продукте вчера закрыли только error-канал, transaction остался без обработчика вообще. - ratelimit.py: точный путь notify — свой щедрый SlidingWindowLimiter (3000/60с per-IP, идиома support.py) вместо общего лимитера, но НЕ полное отключение — backstop против шторма запросов остаётся, подпись проверяется уже после разбора тела (PR-D3). Только notify, не checkout (тот с сессией). - request_audit.py: notify — в audit skip-набор (defense-in-depth: middleware внешний относительно rbac_guard и читает сырой X-Authenticated-User — спуфнутый заголовок иначе писал бы фальшивые события с атрибуцией admin). - smoke-mera-perimeter.sh: негативные проверки-канарейки — notify/checkout сейчас закрыты 404 (meraocenka.ru, Caddy не проксирует) и 401 (gendsgn.ru, rbac ещё не открыл) с обеих сторон периметра. Тесты: scrub на произвольной глубине + payment-path body-wipe, AST-разбор (не substring — комментарии в этих же файлах сами упоминают before_send_transaction) на проводку обоих каналов во всех точках инициализации, 400 запросов notify без единого 429 + контроль что общий лимитер по-прежнему активен на других путях, notify вне user_events даже со спуфнутым X-Authenticated-User: admin.	2026-08-07 16:17:59 +03:00
lekss361	ef82172bd1	Merge pull request 'feat(tradein/payments): оплаченный отчёт хранится год — retain_until и предохранители в задаче удаления' (#2754) from feat/tradein-paid-retention into main	2026-08-07 13:08:45 +00:00
bot-backend	5ce95a28a8	fix(tradein/payments): SET LOCAL lock_timeout в миграции 240 (gate threshold — артефакт) ... check-migration-lock-timeout.py требует lock_timeout только для NN >= 250 в tradein — порог назначен по номеру аварийной миграции 250, которую затем сняли с деплоя (#2792). Фактический максимум применённого на main — 239, то есть весь диапазон 240-249 гейтом не проверяется вообще ("проверено новых миграций: 0" = не проверено ни одного файла, не "все чисты"). Функция scan() из самого гейта, прогнанная напрямую без порогового отсечения, помечает ALTER TABLE в этом файле как блокирующий DDL без lock_timeout. trade_in_estimates — самая горячая таблица стека (история, история сотрудников, каждое чтение/PDF оценки); на этой БД уже наблюдались открытые транзакции на 46 и 22 часа. Ждущая ACCESS EXCLUSIVE-блокировка встаёт в очередь перед новыми запросами приложения. DDL на 1058 строках мгновенный — риск не в исполнении, а в ожидании чужой блокировки. Добавлено SET LOCAL lock_timeout = '5s' сразу после BEGIN + объяснение в шапке файла, почему оно здесь при том что гейт формально не требует — чтобы не убрали как "лишнее". Порог гейта не трогаю — отдельный issue.	2026-08-07 15:59:28 +03:00
bot-backend	7431615415	Merge remote-tracking branch 'forgejo/main' into feat/tradein-paid-retention ... # Conflicts: # tradein-mvp/backend/data/sql/_manifest_applied.txt # tradein-mvp/frontend/src/components/trade-in/v2/fixtures.ts	2026-08-07 15:40:52 +03:00