tradein/deploy: tradein-scraper не пересоздаётся при изменении matching/dedup-кода — DORMANT-дедуп запустил бы старый код #2188

New issue

Closed

opened 2026-07-02 18:09:21 +00:00 by lekss361 · 0 comments

lekss361 commented

2026-07-02 18:09:21 +00:00

Owner

Факт с деплоев 2026-07-02 (PR #2184/#2185): deploy-tradein.yml пересоздаёт scraper-контейнер только при изменении путей из paths-filter scraper (app/services/scrapers/**, scrape_pipeline.py, scheduler.py, …). Изменения в app/services/house_dedup_merge.py и app/services/matching/** фильтр НЕ триггерят → tradein-scraper остался на образе от 19:50, без fias-dedup кода (проверено: _FIAS_KEY_EXPR отсутствует в контейнере, при этом в tradein-backend есть).

Риск: расписание house_dedup_merge (DORMANT, мигр. 135) при включении исполнит СТАРЫЙ код без cross-fias guard → возможен over-merge слэш-коллизий канона. Сегодняшний прогон делался вручную в свежем tradein-backend — прошёл на новом коде.

Предложения:

Добавить app/services/house_dedup_merge.py и app/services/matching/** в paths-filter scraper (scheduler исполняет оба).
Разово пересоздать tradein-scraper после завершения текущих ранов (на 18:20 UTC шли: avito_detail_backfill #558, house_imv_backfill #556, yandex_city_sweep #555). Осознанный трейдофф workflow — не SIGKILL'ить многочасовые джобы — сохранить.

До закрытия issue расписание дедупа НЕ включать (сейчас enabled=false — ок).

Факт с деплоев 2026-07-02 (PR #2184/#2185): `deploy-tradein.yml` пересоздаёт scraper-контейнер только при изменении путей из paths-filter `scraper` (`app/services/scrapers/**`, `scrape_pipeline.py`, `scheduler.py`, …). Изменения в `app/services/house_dedup_merge.py` и `app/services/matching/**` фильтр НЕ триггерят → `tradein-scraper` остался на образе от 19:50, без fias-dedup кода (проверено: `_FIAS_KEY_EXPR` отсутствует в контейнере, при этом в `tradein-backend` есть). Риск: расписание `house_dedup_merge` (DORMANT, мигр. 135) при включении исполнит СТАРЫЙ код без cross-fias guard → возможен over-merge слэш-коллизий канона. Сегодняшний прогон делался вручную в свежем `tradein-backend` — прошёл на новом коде. Предложения: 1. Добавить `app/services/house_dedup_merge.py` и `app/services/matching/**` в paths-filter `scraper` (scheduler исполняет оба). 2. Разово пересоздать `tradein-scraper` после завершения текущих ранов (на 18:20 UTC шли: avito_detail_backfill #558, house_imv_backfill #556, yandex_city_sweep #555). Осознанный трейдофф workflow — не SIGKILL'ить многочасовые джобы — сохранить. До закрытия issue расписание дедупа НЕ включать (сейчас enabled=false — ок).