2738 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
lekss361	55c25416f6	fix(tradein/estimate): не перетирать дату обращения при оживлении оценки (#2828)	2026-08-11 05:52:05 +00:00
lekss361	82d8db9f42	fix(tradein/estimate): оживлять мёртвые сохранённые оценки при открытии (#2826)	2026-08-11 04:15:40 +00:00
lekss361	0b84f0b661	fix(tradein/estimate): уверенность не может противоречить надёжности выборки (#2825)	2026-08-10 16:21:31 +00:00
lekss361	8423af5dd5	feat(tradein): версионирование продукта — единый источник, подвал, PDF, /versions (#2824)	2026-08-10 16:00:54 +00:00
lekss361	9d9457f67d	fix(tradein/estimate): не блокировать оценку — расширять подбор и честно предупреждать (#2823)	2026-08-10 15:42:22 +00:00
bot-backend	74344f7b8b	docs(tradein/scraper): 42 прогона, а не 52 — в замере считались пары «прогон × фаза» (#2700) (#2822)	2026-08-10 11:49:27 +00:00
bot-backend	20ec6a5d33	fix(tradein/cian): 403 снимает узел с выдачи, а не гаснет в return None (#2700) (#2821)	2026-08-10 11:29:19 +00:00
bot-backend	0ed0140c9e	fix(tradein/dedup): остаток схлопывания домов становится измеряемым числом, а не оценкой (#2690) (#2820)	2026-08-10 11:18:19 +00:00
bot-backend	1307d55da6	fix(site-finder): метка источника весов выводится из результата резолва, а не из входа (#2811) (#2817)	2026-08-10 10:34:39 +00:00
bot-backend	6ab359a127	fix(db): /dev/shm боевого postgres — 64 МБ умолчания Docker на 1 ГиБ ... Параллельные планы Постгреса размещают DSM-сегменты в /dev/shm (dynamic_shared_memory_type=posix). Контейнеру БД никто не задавал shm_size, поэтому там держалось умолчание Docker — 64 МБ, и запросы Объектива падали с psycopg.errors.DiskFull «could not resize shared memory segment». Текст ошибки называет НЕ тот ресурс: на разделе 28 ГБ свободно, кончался именно /dev/shm. Замеры на проде 2026-08-10 (не рекомендация из интернета): постоянный расход ~9.8 МиБ (DSA кумулятивной статистики pgstat) один параллельный ~15.4 МиБ (3 одновременных → 55.9 МиБ из 64) → 4-й одновременный запрос не влезает; ровно это и наблюдалось (6 отказов за 1.2 с из двух backend-процессов) Нижняя граница: 128 МиБ покрывают лишь ~7-8 одновременных, а потолок celery (--concurrency=8) плюс request-path даёт ~12 → минимум 256 МиБ. Верхняя: /dev/shm это tmpfs, страницы выделяются по факту, поэтому значение — потолок, а не резерв; на хосте 11 ГиБ RAM (свободно ~6), 2 ГиБ я бы не переходил. 1 ГиБ = ~65 таких запросов, ~5x запаса. Локальная проверка A/B (postgres:16, GUC как на проде, различается только --shm-size): 6 одновременных параллельных запросов 64m → 4 отказа, пик 57.3 МиБ (упёрлись в лимит) 1g → 0 отказов, пик 113.3 МиБ (реальный спрос вдвое выше 64 МиБ) Refs #2812	2026-08-10 15:30:06 +05:00
bot-backend	405d2f2eec	fix(tradein/db): разовая чистка 1123 адресов Авито с приклеенным рейтингом (#2814) (#2818)	2026-08-10 10:22:33 +00:00
bot-backend	5ee4126ed0	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) (#2815)	2026-08-10 09:47:15 +00:00
bot-backend	a227877905	fix(tradein/scraper): прогон, у которого отказал каждый якорь, перестаёт быть успехом (#2625) (#2813)	2026-08-10 09:36:23 +00:00
bot-backend	ab5c4b86cd	fix(tradein/avito): рейтинг дома перестаёт уезжать в адрес объявления (#2814) ... Авито с 27.07 рендерит рейтинг и число отзывов внутри того же <p> в data-marker="item-location", откуда serp.py берёт адрес: «ул. Ткачей,17·5,0 · 4 отзыва». Прод 2026-08-10: 1 123 активных объявления с таким адресом, и у 1 123 из 1 123 нет координат — доля 100%, 711 из них геокодер уже пробовал. Контроль в тех же данных: у чистых адресов координаты есть у 4 766 из 5 715 (83%). Строка без geom молча выпадает из comp-пула: Tier W отбирает через ST_DWithin, а NULL не проходит предикат и нигде не считается. 2 446 из 3 270 безкоординатных попадают в свежий пул аналогов — 12.7% аналогов невидимы радиусному поиску. Режем по «·», за которой идёт ЦИФРА (рейтинг «·4,9», счётчик «·2 отзыва»). По любой «·» нельзя: разделитель района пишется «, 59 · р-н Академический» — за точкой буква, и этот хвост _deglue_house_marker намеренно сохраняет (#1773). Тест проверяет обе стороны плюс три прежних хвоста (CSS, метро, «от N мин.»). Чинит только новые вставки: base.py пишет address = COALESCE(listings.address, EXCLUDED.address), адрес при конфликте не перезаписывается осознанно (#2777). Бэкфилл 1 123 существующих строк вынесен в #2814 для database-expert.	2026-08-10 14:32:25 +05:00
bot-backend	272abac4d2	fix(tradein/matching): город развёртки доезжает до стража Tier-2a — межгородские склейки домов (#2777) (#2808)	2026-08-10 08:51:14 +00:00
bot-backend	72472c2783	fix(tradein/newbuilding): счётчики записи различают вставку и обновление (#2807) (#2809)	2026-08-10 08:50:56 +00:00
bot-backend	84a65d40dd	fix(site-finder): §4.1 «Применить» действительно применяет веса POI (#2790) (#2810)	2026-08-10 08:39:59 +00:00
bot-backend	12c189ac27	fix(tradein/scraper): сводка «что сейчас не собирает» — лестница вех не видит стрик 0 (#2670) (#2806)	2026-08-10 08:29:26 +00:00
bot-backend	77dfd072a7	chore(tradein): комментарий в skip_allowlist описывал снятый шаг git fetch ... Во втором коммите PR отдельный `git fetch origin main` был снят (из job-контейнера git.gendsgn.ru недостижим, run 6977), эталон даёт сам checkout с fetch-depth: 0. Комментарий про «тянут main отдельным шагом» остался и читался бы дальше как факт.	2026-08-10 01:28:20 +05:00
bot-backend	9e5bcd3fa9	Merge origin/main (27e199e3) в fix/2683-manifest-drift ... Конфликт modify/delete по tradein-mvp/backend/data/sql/_manifest_applied.txt разрешён удалением — удаление и есть предмет PR. За трое суток в main дописали три имени (240/250/251); дописывать их некуда: файла больше нет, а гейт tests/test_migration_numbering.py берёт эталон применённого из origin/main. Проверено, что удаление ничего не оставляет без потребителя: манифест не *.sql, цикл миграций в deploy-tradein.yml и bootstrap схемы в ci-tradein.yml берут glob '*.sql', новый scripts/check-migration-lock-timeout.py — тоже. Замер дрейфа на 27e199e3: 216 имён в манифесте против 232 файлов, отставание 16 (было 15 на 07.08). Старый гейт на этом дереве: 4 passed. # Conflicts: # tradein-mvp/backend/data/sql/_manifest_applied.txt	2026-08-10 01:27:38 +05:00
bot-backend	27e199e370	fix(tradein/proxy): упавшая проба присваивала себе бан боевого сбора (#2800) (#2805)	2026-08-09 20:13:10 +00:00
bot-backend	9cd6db023b	fix(tradein/cian): Циан переименовал MFE карточки ЖК — читать оба имени (#2767) (#2804)	2026-08-09 18:41:02 +00:00
bot-backend	08bb9d6549	fix(tradein/proxy): проба спрашивает каждую площадку, вердикт пишется на пару «узел × источник» (#2800 B) (#2803)	2026-08-09 18:28:37 +00:00
bot-backend	7cd8c63b89	fix(tradein/proxy): узел, зарезервированный за Домкликом, до Домклика не доходит (#2800 A) (#2802)	2026-08-09 18:15:55 +00:00
bot-backend	f45ce3be2d	fix(tradein/cian): банить узел только когда состояния НЕТ, а не по слову «captcha» (#2767) (#2801)	2026-08-09 18:04:01 +00:00
bot-backend	687bd38322	chore(tradein/db): снести DEPRECATED-колонку listings.ceiling_height (#2799)	2026-08-09 17:51:15 +00:00
bot-backend	f3bcb1a25f	fix(tradein/cian): обогащение ЖК падало не на разметке, а на сожжённом узле (#2767) (#2798)	2026-08-09 17:38:40 +00:00
bot-backend	f1f2bca2e9	fix(tradein/deactivate): TTL не снимает объявления по порогу ниже собственного цикла обхода (#2797)	2026-08-09 17:26:18 +00:00
bot-backend	7b36f86ea6	fix(tradein/domclick): свип ходит через прокси-пул, а отказ узла не обнуляет прогон (#2657) (#2796)	2026-08-09 17:21:49 +00:00
bot-backend	45924021a7	chore(tradein/db): вернуть снос дубля индекса expires_at — теперь с lock_timeout (#2795)	2026-08-09 17:10:18 +00:00
lekss361	ef82172bd1	Merge pull request 'feat(tradein/payments): оплаченный отчёт хранится год — retain_until и предохранители в задаче удаления' (#2754) from feat/tradein-paid-retention into main	2026-08-07 13:08:45 +00:00
bot-backend	5ce95a28a8	fix(tradein/payments): SET LOCAL lock_timeout в миграции 240 (gate threshold — артефакт) ... check-migration-lock-timeout.py требует lock_timeout только для NN >= 250 в tradein — порог назначен по номеру аварийной миграции 250, которую затем сняли с деплоя (#2792). Фактический максимум применённого на main — 239, то есть весь диапазон 240-249 гейтом не проверяется вообще ("проверено новых миграций: 0" = не проверено ни одного файла, не "все чисты"). Функция scan() из самого гейта, прогнанная напрямую без порогового отсечения, помечает ALTER TABLE в этом файле как блокирующий DDL без lock_timeout. trade_in_estimates — самая горячая таблица стека (история, история сотрудников, каждое чтение/PDF оценки); на этой БД уже наблюдались открытые транзакции на 46 и 22 часа. Ждущая ACCESS EXCLUSIVE-блокировка встаёт в очередь перед новыми запросами приложения. DDL на 1058 строках мгновенный — риск не в исполнении, а в ожидании чужой блокировки. Добавлено SET LOCAL lock_timeout = '5s' сразу после BEGIN + объяснение в шапке файла, почему оно здесь при том что гейт формально не требует — чтобы не убрали как "лишнее". Порог гейта не трогаю — отдельный issue.	2026-08-07 15:59:28 +03:00
bot-backend	7431615415	Merge remote-tracking branch 'forgejo/main' into feat/tradein-paid-retention ... # Conflicts: # tradein-mvp/backend/data/sql/_manifest_applied.txt # tradein-mvp/frontend/src/components/trade-in/v2/fixtures.ts	2026-08-07 15:40:52 +03:00
bot-backend	e6591a450a	fix(tradein/payments): миграция 234 → 240 — номер снова занят на main ... main уехал вперёд за сутки: 234 занял 234_scrape_runs_ban_kind_unknown.sql (0de22f4b), максимум на main сейчас 239 (235-237 — дыры). max+1=240 безопаснее дыр; ни один открытый PR номер 235-240 не занимает (сверено по forgejo/main и всем открытым веткам). Переименован файл + обновлены все 7 упоминаний "migration 234" (_manifest_applied.txt, config.py, schemas/trade_in.py, purge_expired_trade_in_data.py, test_estimate_idor.py, content.ts, types/trade-in.ts) — правки текстовые, ни один тест не читает миграцию по имени файла.	2026-08-07 15:31:01 +03:00
bot-backend	482deb4864	fix(migrations): закрепить lock_timeout для блокирующего DDL и ловить невалидные индексы (#2791)	2026-08-07 11:21:28 +00:00
bot-backend	29f1000228	revert(tradein/db): снять 250 с деплоя — очередь за локом блокирует пайплайн (#2792)	2026-08-07 11:01:31 +00:00
bot-backend	e4680082ea	test(ci): развести «нагрузку не создать» и «защита сломана» в двух флапающих гейтах (#2783) (#2789)	2026-08-07 10:35:15 +00:00
bot-backend	209e4e145f	fix(site-finder): вернуть доступ к профилям весов — владелец из сессии (#2782) (#2788)	2026-08-07 10:22:55 +00:00
bot-backend	c3a35a31d4	fix(ptica): скраб ПДн перестаёт утекать то, что защищает + проводка проверяется поведением (#2753) (#2787)	2026-08-07 10:11:36 +00:00
bot-backend	9de690ad4f	chore(tradein/frontend): удалить остаточный слой фикстур (#2755) (#2785)	2026-08-07 10:00:48 +00:00
bot-backend	0b14e64b58	fix(ci): убрать лишний fetch main — depth=0 уже тянет refs/heads/* ... Отдельный шаг `git fetch origin main` в backend-тестовых job'ах ронял прогон: из job-контейнера git.gendsgn.ru:443 недостижим (run 6977, connection refused за 5 мс), сеть есть только у самого checkout. Шаг и не был нужен — в логе того же прогона видно, что при fetch-depth: 0 checkout идёт refspec'ом `+refs/heads/*:refs/remotes/origin/*`, то есть origin/main появляется сам. Refs #2683	2026-08-07 14:48:58 +05:00
bot-backend	90c3e7e490	test(scrapers/krt): вернуть в прогон проверку многоблочной страницы (#2778) (#2781)	2026-08-07 09:48:52 +00:00
bot-backend	2e20b6307b	fix(tradein): гейт номеров миграций берёт эталон из git, ручной манифест удалён ... _manifest_applied.txt по построению не мог покраснеть. Тест считал «новым» любой файл, которого нет в списке, а новые файлы от списка освобождены (докстринг test_manifest_covers_all_but_new_files: «НЕ требует, чтобы новый файл уже был в manifest»). Забытое имя и новая миграция PR для гейта — одно и то же, поэтому дрейф был не пропуском проверки, а её штатным исключением. Замер на main 2026-08-07: 15 имён не дописано, все четыре теста зелёные — через сутки после того, как #2692 догнал список руками. Список при этом был лишь копией того, что git и так знает: deploy-tradein.yml применяет КАЖДЫЙ data/sql/*.sql из main под ON_ERROR_STOP, то есть «файл доехал до main» и есть «имя закреплено на проде». Ведём эталон в git — и дрейфовать становится нечему. Кросс-ветковая дыра закрыта тем же ходом: номер нового файла сверяется с ПОЛНЫМ origin/main, а не с рабочим деревом, поэтому коллизия с миграцией, смерженной после ветвления, находится. Проверено на живом PR #2754 (234_trade_in_estimates_retain_until против 234_scrape_runs_ban_kind_unknown из main): старый гейт зелёный, новый красный. Удаление/переименование применённой миграции сверяется с ТОЧКОЙ ВЕТВЛЕНИЯ, а не с origin/main: иначе ветка недельной давности краснела бы за чужие миграции. Проверено — ветка от 2026-07-30 при +43 миграциях в main зелёная. CI: checkout переведён на fetch-depth 0 + отдельный fetch main. Этот Forgejo не публикует refs/pull/N/merge (1620 */head, ноль */merge), а на depth=1 нет ни origin/main, ни общего предка — без этого гейту не с чем сверять, и он намеренно красный, а не тихо пропущенный. Контракт сведён к одной формулировке — докстринг test_migration_numbering.py; шапка манифеста, правило 3, хвост манифеста и рецепт из .claude/rules удалены или заменены ссылкой. Заодно исправлен сам рецепт: `git ls-tree` без `-r` печатает каталог, а не файлы. Refs #2683	2026-08-07 14:35:28 +05:00
bot-backend	1f036e94d1	refactor(security): убрать мёртвую проверку админского токена (#2775) (#2776)	2026-08-07 09:30:23 +00:00
bot-backend	a9096f125a	fix(tradein/db): снять побайтовый дубль индекса на trade_in_estimates(expires_at) (#2752) (#2784)	2026-08-07 09:30:14 +00:00
bot-backend	306fd82836	fix(tradein): свести высоту потолков к одной колонке ceiling_height_m (#2779)	2026-08-07 09:18:48 +00:00
bot-backend	de4b2a4ae5	fix(tradein/houses): вернуть координаты объявлений в дом, когда объявления согласны (#2771) (#2780)	2026-08-07 09:08:06 +00:00
bot-backend	05bc321728	build(tradein/frontend): состав зависимостей перестаёт зависеть от даты сборки (#2770) (#2772)	2026-08-07 09:07:58 +00:00
bot-backend	69ba6002da	fix(tradein): поштучный процент гаснет вместе со сводным, когда причина — сама пара (#2672) (#2774)	2026-08-07 08:56:43 +00:00
bot-backend	339713c1aa	fix(tradein/yandex): просмотры режутся по разделителю тысяч + Циан молчит о непонятой фразе (#2669) (#2773)	2026-08-07 08:44:48 +00:00