lekss361/gendesign

Fork 0

[P1] Observability: off-box uptime-probe + fail health-check на dead backend + mem-лимиты + log-rotation #2214

New issue

Open

opened 2026-07-02 19:18:56 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-07-02 19:18:56 +00:00

Owner

Эпик: #2200

Находки (Ops, High + Medium, verified):

Health-check деплоя декоративен: deploy-tradein.yml:427-431 цикл кончается sleep 1 (exit 0) — после 30 фейлов скрипт продолжает и пишет success-маркер. Мёртвый бэкенд помечается задеплоенным.
Uptime-kuma определён (docker-compose.uptime.yml), но не запущен (0 контейнеров); gendesign-couchdb «unhealthy» 6 недель — никто не смотрит. Единственный монитор (GlitchTip) на той же коробке → полная авария тиха by construction.
Нет mem-лимитов на backend/scraper/postgres/frontend (коробка в свопе 2927/4095М) → OOM-killer может убить сосед-postgres.
Нет docker log-rotation (нет daemon.json, logopts пустые) → unbounded рост логов на общем диске.

Acceptance:

Health-check реально валит деплой при dead backend (проверка кода после цикла).
Внешний (off-box) uptime-probe на публичные эндпоинты Меры + алерт.
mem_limit на tradein backend/scraper/postgres/frontend.
logging: (json-file max-size/max-file) или daemon.json log-rotation.

Scope: .forgejo/workflows/deploy-tradein.yml, docker-compose.prod.yml, ops/. часть needs-human (внешний хост для probe).

Эпик: #2200 **Находки (Ops, High + Medium, verified):** - Health-check деплоя декоративен: `deploy-tradein.yml:427-431` цикл кончается `sleep 1` (exit 0) — после 30 фейлов скрипт продолжает и пишет success-маркер. Мёртвый бэкенд помечается задеплоенным. - Uptime-kuma определён (`docker-compose.uptime.yml`), но не запущен (0 контейнеров); gendesign-couchdb «unhealthy» 6 недель — никто не смотрит. Единственный монитор (GlitchTip) на той же коробке → полная авария тиха by construction. - Нет mem-лимитов на backend/scraper/postgres/frontend (коробка в свопе 2927/4095М) → OOM-killer может убить сосед-postgres. - Нет docker log-rotation (нет daemon.json, logopts пустые) → unbounded рост логов на общем диске. **Acceptance:** - [ ] Health-check реально валит деплой при dead backend (проверка кода после цикла). - [ ] Внешний (off-box) uptime-probe на публичные эндпоинты Меры + алерт. - [ ] mem_limit на tradein backend/scraper/postgres/frontend. - [ ] `logging:` (json-file max-size/max-file) или daemon.json log-rotation. Scope: `.forgejo/workflows/deploy-tradein.yml`, `docker-compose.prod.yml`, `ops/`. _часть needs-human (внешний хост для probe)._

lekss361 added the

labels 2026-07-02 19:20:25 +00:00

lekss361 referenced this issue

2026-07-02 19:21:03 +00:00

EPIC: Мера (trade-in) — ремедиация полного аудита 2026-07-02 #2200

lekss361 referenced this issue

2026-07-02 20:51:47 +00:00

fix(tradein/deploy): миграции ДО подъёма app-контейнеров + manifest-инвариант (#2216) #2228

lekss361 referenced this issue

2026-07-02 21:10:49 +00:00

[P2] Миграции tradein: порядок (до рестарта) + реконсиляция 152 vs 131 + дубль-префиксы #2216

bot-backend referenced this issue from a commit

2026-07-02 21:19:45 +00:00

fix(tradein/ops): health-check валит деплой + mem-лимиты + log-rotation (#2214)

lekss361 referenced this issue

2026-07-02 21:20:03 +00:00

fix(tradein/ops): health-check валит деплой + mem-лимиты + log-rotation (#2214) #2231

lekss361 referenced this issue

2026-07-02 21:23:50 +00:00

EPIC: Мера (trade-in) — ремедиация полного аудита 2026-07-02 #2200

lekss361 referenced this issue from a commit

2026-07-02 21:29:33 +00:00

fix(tradein/ops): health-check валит деплой + mem-лимиты + log-rotation (#2214) (#2231)

lekss361 referenced this issue

2026-07-02 21:31:55 +00:00

[P1] photo-upload буферизует всё тело в RAM до проверки лимита (OOM-риск при mem_limit 768m) #2233

lekss361 commented

2026-07-03 06:07:55 +00:00

Author

Owner

Bot-часть выполнена и верифицирована на проде (2026-07-03 06:06 UTC), PR #2231 задеплоен.

Проверка docker inspect на проде — mem-лимиты применены ко всем tradein-контейнерам:

Контейнер	Memory	Memswap
tradein-postgres	3g (healthcheck `pg_isready` добавлен, статус healthy)	= mem
tradein-backend	768m	= mem
tradein-browser	2560m	3g
tradein-frontend	384m	= mem
tradein-scraper	640m	= mem (запрет свапа)

Нюанс: scraper получил лимит только с деплоем #2253 (06:03 UTC) — деплой #2231 (21:32) его намеренно не пересоздавал: deploy-workflow не трогает scraper на не-scraper изменениях (#1182, чтобы не убивать бегущий sweep). Перед пересозданием проверено: активных scrape_runs не было.

Health-check, log-rotation, fail-on-dead-backend — в составе #2231 (смержен, задеплоен, backend health 200).

Остаётся (needs-human): off-box uptime-probe — внешний мониторинг с машины вне Beget VPS (UptimeRobot/healthchecks.io или cron с другого хоста). Бот с VPS это не провижионит. Issue оставляю open до настройки.

**Bot-часть выполнена и верифицирована на проде (2026-07-03 06:06 UTC), PR #2231 задеплоен.** Проверка `docker inspect` на проде — mem-лимиты применены ко всем tradein-контейнерам: | Контейнер | Memory | Memswap | |---|---|---| | tradein-postgres | 3g (healthcheck `pg_isready` добавлен, статус healthy) | = mem | | tradein-backend | 768m | = mem | | tradein-browser | 2560m | 3g | | tradein-frontend | 384m | = mem | | tradein-scraper | 640m | = mem (запрет свапа) | Нюанс: scraper получил лимит только с деплоем #2253 (06:03 UTC) — деплой #2231 (21:32) его намеренно не пересоздавал: deploy-workflow не трогает scraper на не-scraper изменениях (#1182, чтобы не убивать бегущий sweep). Перед пересозданием проверено: активных scrape_runs не было. Health-check, log-rotation, fail-on-dead-backend — в составе #2231 (смержен, задеплоен, backend health 200). **Остаётся (needs-human): off-box uptime-probe** — внешний мониторинг с машины вне Beget VPS (UptimeRobot/healthchecks.io или cron с другого хоста). Бот с VPS это не провижионит. Issue оставляю open до настройки.

lekss361 referenced this issue

2026-07-03 06:10:51 +00:00

fix(tradein/security): photo-upload — чанковое чтение с капом 10MB + Caddy request_body 12MB (#2233) #2258

lekss361 referenced this issue

2026-07-03 06:21:46 +00:00

[P1] photo-upload буферизует всё тело в RAM до проверки лимита (OOM-риск при mem_limit 768m) #2233

lekss361 referenced this issue

2026-07-03 07:43:32 +00:00

EPIC: Мера (trade-in) — ремедиация полного аудита 2026-07-02 #2200

lekss361 referenced this issue

2026-07-03 21:08:32 +00:00

EPIC: Мера (trade-in) — ремедиация полного аудита 2026-07-02 #2200