feat(tradein): отдельный scraper-контейнер — scheduler вне API-процесса #1183

Merged

lekss361 merged 2 commits from feat/tradein-scraper-container into main

2026-06-12 08:01:24 +00:00

lekss361 commented

2026-06-12 07:57:09 +00:00

Owner

Summary

Новый standalone-entrypoint tradein-mvp/backend/app/scheduler_main.py (python -m app.scheduler_main): sentry-init без FastAPI-integrations, best-effort FDW bootstrap, SIGTERM/SIGINT → clean cancel scheduler_loop, уважает SCHEDULER_ENABLE (единый kill-switch). Zombie-reap не дублируется — он уже в начале каждого тика scheduler_loop (reap_zombies, scheduler.py:976).
docker-compose.prod.yml (tradein): новый сервис scraper (container tradein-scraper, тот же backend-image, сеть tradein-net, env-зеркало backend + SCHEDULER_ENABLE=true); в API-контейнере SCHEDULER_ENABLE=false — после деплоя ровно один scheduler.
deploy-tradein.yml: новый paths-filter output scraper + селективный up -d --no-deps postgres browser backend frontend; tradein-scraper пересоздаётся ТОЛЬКО при изменении scraper-путей/infra (SCRAPER_CHANGED, default-safe true). Иначе блочный up -d рестартовал бы scraper на каждом backend-деплое (общий :latest image) — ровно та боль, которую чиним.
Тесты test_scheduler_main.py (4): import, kill-switch выходит без запуска loop, clean cancellation.

Pre-push review: ⚠️ MINOR → мёртвый monkeypatch убран fixup-коммитом; GIT_SHA/SENTRY_RELEASE gap и browser healthcheck — не-регрессии (то же у backend), отмечены как follow-up.

Test plan

pytest tests/test_scheduler_main.py — 4 passed
полная суита tradein-backend: 1733 passed, 2 deselected
ruff + compose YAML valid
post-merge: первый деплой (infra-filter) поднимает tradein-scraper; лог backend «in-app scheduler disabled»; лог scraper «scheduler task spawned»
post-merge: backend-only коммит → docker ps uptime tradein-scraper не сбрасывается

Refs #1182

## Summary - Новый standalone-entrypoint `tradein-mvp/backend/app/scheduler_main.py` (`python -m app.scheduler_main`): sentry-init без FastAPI-integrations, best-effort FDW bootstrap, SIGTERM/SIGINT → clean cancel `scheduler_loop`, уважает `SCHEDULER_ENABLE` (единый kill-switch). Zombie-reap не дублируется — он уже в начале каждого тика `scheduler_loop` (reap_zombies, scheduler.py:976). - `docker-compose.prod.yml` (tradein): новый сервис `scraper` (container `tradein-scraper`, тот же backend-image, сеть `tradein-net`, env-зеркало backend + `SCHEDULER_ENABLE=true`); в API-контейнере `SCHEDULER_ENABLE=false` — после деплоя ровно один scheduler. - `deploy-tradein.yml`: новый paths-filter output `scraper` + селективный `up -d --no-deps postgres browser backend frontend`; `tradein-scraper` пересоздаётся ТОЛЬКО при изменении scraper-путей/infra (`SCRAPER_CHANGED`, default-safe `true`). Иначе блочный `up -d` рестартовал бы scraper на каждом backend-деплое (общий `:latest` image) — ровно та боль, которую чиним. - Тесты `test_scheduler_main.py` (4): import, kill-switch выходит без запуска loop, clean cancellation. Pre-push review: ⚠️ MINOR → мёртвый monkeypatch убран fixup-коммитом; GIT_SHA/SENTRY_RELEASE gap и browser healthcheck — не-регрессии (то же у backend), отмечены как follow-up. ## Test plan - [x] `pytest tests/test_scheduler_main.py` — 4 passed - [x] полная суита tradein-backend: 1733 passed, 2 deselected - [x] ruff + compose YAML valid - [ ] post-merge: первый деплой (infra-filter) поднимает `tradein-scraper`; лог backend «in-app scheduler disabled»; лог scraper «scheduler task spawned» - [ ] post-merge: backend-only коммит → `docker ps` uptime tradein-scraper не сбрасывается Refs #1182

Rows
Columns