b579fa4ced
All checks were successful
CI Trade-In / changes (pull_request) Successful in 9s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / changes (pull_request) Successful in 11s
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / backend-tests (pull_request) Successful in 5m4s
Клиент пишет боту в личку → воркер зеркалит сообщение через copyMessage в топик супергруппы-форума → оператор отвечает реплаем на зеркало → бот доставляет ответ клиенту. Полный лог переписки в Postgres. Отдельный контейнер на long-polling, а не webhook в tradein-backend: не нужно пробивать дырку в auth-middleware (_PUBLIC_PATHS, #2213) и маршрут в Caddy, нулевая внешняя поверхность, падение бота не задевает API. Без aiogram — httpx уже в зависимостях, нужны только getUpdates/copyMessage. Маршрутизация ответа — по topic_message_id: message_id в Telegram уникален в пределах чата сквозь все топики, а все зеркала лежат в одном support-чате, поэтому спутать адресата нельзя. Реплай на шапку/на ответ другого оператора не резолвится (у direction='out' topic_message_id IS NULL) → тихий игнор. Безопасность (найдено ревью, воспроизведено эмпирически): - токен Telegram живёт в PATH URL, поэтому sanitize_url его не режет; утекал в GlitchTip через locals стек-фреймов (include_local_variables по умолчанию True) и через span data HttpxIntegration. Закрыто include_local_variables=False + regex-редактор в before_send (обе формы: /bot<id>:<secret> и голая <id>:<secret>), поверх существующего PII-scrub. - httpx-логгер печатает полный URL на INFO → боевой токен уходил бы в docker logs каждые 30с. Приглушён до WARNING. Надёжность: - kill-switch при пустом токене — idle-блокировка, не exit(0): при restart: unless-stopped выход с любым кодом даёт рестарт-луп. unless-stopped выбран сознательно — только он гарантирует автозапуск после ребута VPS. - stop_grace_period: 120s — дефолтные 10с убивали бы контейнер раньше, чем докрутится long-poll (30с) и отработает drain (100с). - сбой SQL теперь ловится отдельно и делает rollback перед сдвигом offset: иначе сессия в failed-transaction не давала сохранить offset, апдейт переигрывался и зеркалился в топик по кругу. 152-ФЗ: переписка — ПДн, ON DELETE CASCADE по chat_id, удаление клиента одним DELETE. Ретенция — follow-up. Бот не включается автоматически: TELEGRAM_* задаются в runtime-env на VPS, без них воркер штатно висит в idle. Порядок — в DEPLOY.md. Тесты: 51 passed (маршрутизация обоих направлений, дедуп, 403→is_blocked, throttle-окно шапки, redaction токена во всех формах event).
277 lines
16 KiB
YAML
277 lines
16 KiB
YAML
# Trade-In MVP — production overlay для деплоя ВНУТРИ gendesign-стека.
|
||
#
|
||
# Запускается из /opt/gendesign/tradein-mvp/ на bot-server:
|
||
# docker compose -p gendesign \
|
||
# -f docker-compose.yml -f docker-compose.prod.yml up -d
|
||
#
|
||
# Особенности vs локального docker-compose.yml:
|
||
# - НЕТ своего Caddy и postgres-данных в bind mount
|
||
# (postgres контейнер один на всю машину, но изолированная БД tradein_mvp)
|
||
# - Образы тянутся из GHCR (build делает GitHub Actions)
|
||
# - Backend/frontend подключены к network gendesign_shared чтобы основной
|
||
# Caddy мог проксировать /trade-in/* → tradein-frontend
|
||
# - Frontend строится с basePath=/trade-in (см. next.config.ts)
|
||
#
|
||
# ── Observability hardening (#2214) ───────────────────────────────────────────
|
||
# mem_limit/memswap_limit: до этого лимитов НЕ было — при runaway любой tradein-
|
||
# контейнер мог съесть весь хост (замер 2026-07-03: коробка 11.96G, ~1.7G в свопе).
|
||
# memswap_limit == mem_limit ⇒ контейнеру запрещён свап → tradein перестаёт
|
||
# докидывать в общий свап хоста (у browser оставлен небольшой swap-cushion).
|
||
# Лимиты — ПОТОЛКИ безопасности (×2-3 от фактического рабочего набора), а не
|
||
# ожидаемое потребление. Обоснование каждого — рядом с сервисом (замер docker stats).
|
||
# ⚠️ ПЕРВЫЙ деплой после мержа этого файла (infra-путь → compose up -d)
|
||
# ПЕРЕСОЗДАСТ ВСЕ tradein-контейнеры, включая scraper — прервёт бегущий sweep
|
||
# (stop_grace_period 120s даёт unit'у до-checkpoint'иться). Допустимо, разово.
|
||
#
|
||
# logging: json-file с ротацией (20m × 3 = ≤60M на сервис). До этого драйвер по
|
||
# умолчанию рос без границ. Общий anchor ниже.
|
||
x-logging: &default-logging
|
||
driver: json-file
|
||
options:
|
||
max-size: "20m"
|
||
max-file: "3"
|
||
|
||
services:
|
||
browser:
|
||
image: ghcr.io/lekss361/gendesign-tradein-browser:${IMAGE_TAG:-latest}
|
||
container_name: tradein-browser
|
||
# mem: каждая headless-Firefox страница ~0.8-1.5G. Прод-замер 2026-07-03:
|
||
# BROWSER_CONCURRENCY=1 (ops выставил в .env.runtime), idle 29MiB. 2.5g —
|
||
# исторически валидированный потолок для «1-за-раз» (#884/#905); было 5g под
|
||
# рассчёт на concurrency=4, но прод работает 1 → 5g избыточно. memswap +0.5g:
|
||
# единственный сервис со swap-cushion, чтобы не OOM-killнуть карточку mid-flight.
|
||
# ⚠️ Поднимаешь BROWSER_CONCURRENCY в .env.runtime — подними и mem_limit
|
||
# (грубо ~2.5g на каждую доп. параллельную страницу).
|
||
mem_limit: 2560m
|
||
memswap_limit: 3g
|
||
logging: *default-logging
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
environment:
|
||
BROWSER_PORT: "3000"
|
||
# Сколько /fetch параллельно. Дефолт 4; ops поднимет до 8 в .env.runtime после смоука.
|
||
BROWSER_CONCURRENCY: ${BROWSER_CONCURRENCY:-4}
|
||
# SCRAPER_PROXY_URL читается из .env.runtime (см. env_file выше)
|
||
expose:
|
||
- "3000"
|
||
restart: unless-stopped
|
||
networks:
|
||
- tradein-net
|
||
|
||
postgres:
|
||
image: postgis/postgis:16-3.4
|
||
container_name: tradein-postgres
|
||
# mem: прод-замер 2026-07-03 = 656MiB. Самый большой относительный запас (×3):
|
||
# OOM-kill БД — худший исход (порванные коннекты, recovery). memswap==mem ⇒
|
||
# без свапа (shared_buffers не должны уходить в swap-thrash).
|
||
# ревью #2214: 3g (idle 656MiB — БД дороже всего при ложном OOM; work_mem-спайки
|
||
# тяжёлых PostGIS-сортировок бэктеста/эстиматора + autovacuum)
|
||
mem_limit: 3g
|
||
memswap_limit: 3g
|
||
logging: *default-logging
|
||
environment:
|
||
POSTGRES_DB: tradein
|
||
POSTGRES_USER: ${TRADEIN_POSTGRES_USER:-tradein}
|
||
POSTGRES_PASSWORD: ${TRADEIN_POSTGRES_PASSWORD:?required}
|
||
volumes:
|
||
- tradein-postgres-data:/var/lib/postgresql/data
|
||
- ./backend/data/sql:/docker-entrypoint-initdb.d:ro
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -U ${TRADEIN_POSTGRES_USER:-tradein}"]
|
||
interval: 10s
|
||
timeout: 5s
|
||
retries: 5
|
||
restart: unless-stopped
|
||
networks:
|
||
- tradein-net
|
||
- gendesign_shared
|
||
|
||
backend:
|
||
image: ghcr.io/lekss361/gendesign-tradein-backend:${IMAGE_TAG:-latest}
|
||
container_name: tradein-backend
|
||
# mem: прод-замер 2026-07-03 = 100MiB. 640m (×6) — запас под спайки экспорта
|
||
# (WeasyPrint PDF / ezdxf / openpyxl держат документ в памяти). memswap==mem ⇒
|
||
# без свапа (single-worker uvicorn, предсказуемый event-loop).
|
||
# ревью #2214: 768m (WeasyPrint PDF разово берёт 200-500MB поверх ~100MiB idle;
|
||
# наложение export + бэкфилл при 640m было бы впритык)
|
||
mem_limit: 768m
|
||
memswap_limit: 768m
|
||
logging: *default-logging
|
||
# Prod: uvicorn БЕЗ --reload (Dockerfile CMD несёт --reload только для dev hot-reload,
|
||
# где app/ bind-mount'ится). В prod --reload = лишний WatchFiles-наблюдатель + риск
|
||
# reload в середине запроса. Single worker сохраняется для предсказуемости
|
||
# (один process = единственный asyncio event loop, нет shared-state race).
|
||
# Scheduler переехал в tradein-scraper (#1182) — SCHEDULER_ENABLE=false ниже.
|
||
command: ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
|
||
# .env.runtime пишется вручную на VPS (см. DEPLOY.md / scripts/README.md).
|
||
# Контейнер читает YANDEX_GEOCODER_API_KEY, COOKIE_ENCRYPTION_KEY и пр. из
|
||
# этого файла — без него backfill scripts падают с "key required".
|
||
# required: false — compose не падает если файла нет (первый деплой).
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
environment:
|
||
DATABASE_URL: "postgresql+psycopg://${TRADEIN_POSTGRES_USER:-tradein}:${TRADEIN_POSTGRES_PASSWORD}@postgres:5432/tradein"
|
||
PUBLIC_URL: "https://gendsgn.ru/trade-in"
|
||
CORS_ORIGINS: '["https://gendsgn.ru"]'
|
||
ENVIRONMENT: "production"
|
||
CONTACT_EMAIL: "${TRADEIN_CONTACT_EMAIL:-tradein@gendsgn.ru}"
|
||
# Yandex Geocoder API key — читается из backend/.env.runtime (env_file).
|
||
# Раньше дублировалось здесь как ${YANDEX_GEOCODER_API_KEY:-} — убрано
|
||
# т.к. environment: overrides env_file и при пустой host-env стирает значение.
|
||
# GlitchTip DSN — мониторинг ошибок (#396). Пусто = выключено.
|
||
GLITCHTIP_DSN: "${GLITCHTIP_DSN:-}"
|
||
GENDESIGN_FDW_PASSWORD: "${GENDESIGN_FDW_PASSWORD:-}"
|
||
# Encryption key for Cian session cookies (pgp_sym_encrypt). Required for
|
||
# Valuation Calculator (Stage 9). Empty = Calculator scraper disabled +
|
||
# cookies upload endpoint returns 503. Generate with `openssl rand -hex 32`.
|
||
COOKIE_ENCRYPTION_KEY: "${COOKIE_ENCRYPTION_KEY:-}"
|
||
# Scheduler отключён в API-процессе — он живёт в tradein-scraper (#1182).
|
||
# Это предотвращает двойной запуск sweep'ов при наличии обоих контейнеров.
|
||
SCHEDULER_ENABLE: "false"
|
||
# #2213 defense-in-depth: общий секрет с Caddy. ЗАДАН → backend требует
|
||
# валидный X-Internal-Auth-Secret на каждом запросе с X-Authenticated-User
|
||
# (иначе 401). Пусто = защита не активна (fail-open до провижининга).
|
||
# Значение ДОЛЖНО совпадать с TRADEIN_INTERNAL_AUTH_SECRET в .env главного
|
||
# (Caddy) стека. Читается также из backend/.env.runtime (env_file выше).
|
||
TRADEIN_INTERNAL_AUTH_SECRET: "${TRADEIN_INTERNAL_AUTH_SECRET:-}"
|
||
depends_on:
|
||
browser:
|
||
condition: service_started
|
||
postgres:
|
||
condition: service_healthy
|
||
volumes:
|
||
# RBAC roles config — single source of truth (../auth/roles.yaml в репо,
|
||
# это /opt/gendesign/auth/roles.yaml на VPS). MIRROR of main backend mount.
|
||
# app/core/auth.py читает /app/auth/roles.yaml для middleware + /me.
|
||
- ../auth/roles.yaml:/app/auth/roles.yaml:ro
|
||
restart: unless-stopped
|
||
networks:
|
||
- tradein-net
|
||
- gendesign_shared # чтобы Caddy gendesign-стека достучался
|
||
|
||
# Отдельный scraper-контейнер (#1182): scheduler_loop() живёт здесь, а не в API.
|
||
# Мотивация: docker restart tradein-backend убивал бегущие sweep'ы (avito/cian/
|
||
# rosreestr могут идти часами). Теперь backend-деплой не трогает scraper.
|
||
# Образ тот же что у backend (один Dockerfile), команда другая.
|
||
# НЕ пересоздаётся при каждом backend-деплое — селективный up в deploy-tradein.yml
|
||
# поднимает scraper только при изменениях scraper/infra путей (см. SCRAPER_CHANGED).
|
||
# #1951: когда scraper ВСЁ ЖЕ пересоздаётся, deploy-tradein.yml (1) ждёт до 5 мин
|
||
# graceful drain'а активных scrape_runs, (2) поднимает его АТОМАРНО одним compose
|
||
# invocation вместе с browser/backend/frontend (а не отдельной командой позже), и
|
||
# (3) сразу после recreate помечает 'cancelled' любые осиротевшие 'running'-строки
|
||
# вместо ожидания 6h zombie-reaper'а. Все три меры — в deploy-скрипте, не здесь.
|
||
scraper:
|
||
image: ghcr.io/lekss361/gendesign-tradein-backend:${IMAGE_TAG:-latest}
|
||
container_name: tradein-scraper
|
||
# mem: прод-замер 2026-07-03 = 11MiB idle. 640m (×~1.5 от backend-профиля) —
|
||
# тяжёлый парсинг делает browser-контейнер, здесь только оркестрация + JSON-
|
||
# payload'ы sweep'ов. memswap==mem ⇒ без свапа.
|
||
mem_limit: 640m
|
||
memswap_limit: 640m
|
||
logging: *default-logging
|
||
command: ["python", "-m", "app.scheduler_main"]
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
environment:
|
||
DATABASE_URL: "postgresql+psycopg://${TRADEIN_POSTGRES_USER:-tradein}:${TRADEIN_POSTGRES_PASSWORD}@postgres:5432/tradein"
|
||
ENVIRONMENT: "production"
|
||
GLITCHTIP_DSN: "${GLITCHTIP_DSN:-}"
|
||
GENDESIGN_FDW_PASSWORD: "${GENDESIGN_FDW_PASSWORD:-}"
|
||
COOKIE_ENCRYPTION_KEY: "${COOKIE_ENCRYPTION_KEY:-}"
|
||
SCHEDULER_ENABLE: "true"
|
||
# Активация scraper-kit + proxy-pool (#2126/#2160): kit-scheduler вместо
|
||
# legacy sweep-путей; curl/browser-фетчи берут прокси из пула scrape_proxies.
|
||
USE_KIT_SCHEDULER: "true"
|
||
USE_PROXY_POOL_CURL: "true"
|
||
USE_PROXY_POOL_BROWSER: "true"
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
browser:
|
||
condition: service_started
|
||
restart: unless-stopped
|
||
# Phase 1: give the in-flight scrape unit (browser card ~15-27s) time to finish
|
||
# + checkpoint on SIGTERM before Docker SIGKILLs. Default grace is only 10s, which
|
||
# SIGKILLs a running card mid-flight. (Cooperative-drain handler lands in a later phase.)
|
||
stop_grace_period: 120s
|
||
stop_signal: SIGTERM
|
||
networks:
|
||
- tradein-net
|
||
|
||
# Telegram support-bot bridge: long-polling worker (asyncio/httpx), тот же
|
||
# backend-образ что и scraper/backend (один Dockerfile, другая команда).
|
||
# Ничего не слушает (long-polling исходящий к Telegram API) → без expose/ports.
|
||
# НЕ подписан на gendesign_shared — не проксируется Caddy, только tradein-net
|
||
# (нужен доступ к postgres). TELEGRAM_* переменные — ТОЛЬКО из backend/.env.runtime
|
||
# (env_file ниже); пусто/нет токена = бот молча не стартует (см. tgbot_main.py).
|
||
# ⚠️ НЕ дублировать TELEGRAM_* в блоке environment: (см. предупреждение у backend
|
||
# выше про environment: перекрывающий env_file при пустой host-env).
|
||
tgbot:
|
||
image: ghcr.io/lekss361/gendesign-tradein-backend:${IMAGE_TAG:-latest}
|
||
container_name: tradein-tgbot
|
||
# mem: нет прод-замера (новый сервис, 2026-07-16) — консервативный старт по
|
||
# аналогии с профилем scraper (лёгкая asyncio-оркестрация, без headless-браузера
|
||
# и без больших payload'ов). Пересмотреть после первого docker stats на проде.
|
||
mem_limit: 256m
|
||
memswap_limit: 256m
|
||
logging: *default-logging
|
||
command: ["python", "-m", "app.tgbot_main"]
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
environment:
|
||
DATABASE_URL: "postgresql+psycopg://${TRADEIN_POSTGRES_USER:-tradein}:${TRADEIN_POSTGRES_PASSWORD}@postgres:5432/tradein"
|
||
ENVIRONMENT: "production"
|
||
GLITCHTIP_DSN: "${GLITCHTIP_DSN:-}"
|
||
# Этот процесс — не scheduler_main; false на всякий случай, если общий
|
||
# Settings()-объект образа где-то читает флаг при импорте (defense-in-depth,
|
||
# аналогично backend). tgbot_main.py не должен зависеть от этого значения.
|
||
SCHEDULER_ENABLE: "false"
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# unless-stopped (как и весь остальной стек): только always/unless-stopped
|
||
# гарантируют автозапуск после ребута VPS. Kill-switch при пустом
|
||
# TELEGRAM_BOT_TOKEN реализован idle-блокировкой в tgbot_main.py, а НЕ exit(0) —
|
||
# иначе эта политика дала бы рестарт-луп (перезапускает независимо от кода).
|
||
restart: unless-stopped
|
||
# >_DRAIN_TIMEOUT_S (100s) в tgbot_main.py, иначе docker убьёт по дефолтным 10с
|
||
# раньше, чем докрутится long-poll (до 30с), и кооперативный drain не сработает.
|
||
stop_grace_period: 120s
|
||
networks:
|
||
- tradein-net
|
||
|
||
frontend:
|
||
image: ghcr.io/lekss361/gendesign-tradein-frontend:${IMAGE_TAG:-latest}
|
||
container_name: tradein-frontend
|
||
# mem: прод-замер 2026-07-03 = 32MiB. 384m (×12) — Next.js standalone SSR,
|
||
# лёгкий; потолок с большим запасом. memswap==mem ⇒ без свапа.
|
||
mem_limit: 384m
|
||
memswap_limit: 384m
|
||
logging: *default-logging
|
||
environment:
|
||
NODE_ENV: production
|
||
# Next.js standalone server.js читает HOSTNAME для bind-адреса.
|
||
# Docker по умолчанию ставит HOSTNAME=<container-id> → сервер слушает
|
||
# только свой hostname-интерфейс и недоступен как tradein-frontend:3000.
|
||
# Принудительно 0.0.0.0 чтобы Caddy достучался.
|
||
HOSTNAME: "0.0.0.0"
|
||
BACKEND_URL: "http://backend:8000" # internal SSR
|
||
depends_on: [backend]
|
||
restart: unless-stopped
|
||
networks:
|
||
- tradein-net
|
||
- gendesign_shared
|
||
|
||
volumes:
|
||
tradein-postgres-data:
|
||
name: tradein-postgres-data
|
||
|
||
networks:
|
||
tradein-net:
|
||
name: tradein-net
|
||
gendesign_shared:
|
||
external: true
|