Телеметрия: метрики и Grafana — сегодня тихий отказ не виден ничем #3078

New issue

Closed

opened 2026-08-24 16:14:39 +00:00 by bot-backend · 5 comments

bot-backend commented

2026-08-24 16:14:39 +00:00

Collaborator

Телеметрия: метрики и Grafana для GenDesign

Зачем

Ниже — только случаи, где отсутствие измерения уже стоило времени или денег. Это не гипотезы, каждый разбирался постфактум руками.

Данные протухли на 7 месяцев, узнали от владельца. Плитка «ФАКТИЧЕСКИЕ СДЕЛКИ» показывала сделки семимесячной давности (#2846). Корень (#2998): deals не обновлялась 39 суток, при этом rosreestr_dkp_import каждый день рапортовал done с total_seen=0. Цитата из issue: «планировщик зелёный, монитор зелёный, данных нет». Поймала бы: freshness-метрика now() - max(scraped_at) по таблице-приёмнику + алерт на rows_ingested=0 при status=done.
Тот же тихий отказ ещё трижды. house_imv_backfill мёртв 34 дня (saved:0, errors:35/35, все прогоны done, #2698); cian newbuilding_enrich — 0 записей 8 суток, 200 попыток, все done (#2767); listing_source_snapshot уходил в zombie 6 ночей подряд, осиротевшие запросы висели 46 ч и держали горизонт vacuum (#2607). Поймала бы: success_ratio = saved/checked на прогон, а не status.
Бэкфилл Авито простаивал 23 часа из 24. 238 карточек за сутки при 9 951 активном объявлении: прогон умирал по бану за 17-83 мин, а перезапуск был раз в сутки (PR #3054). Поймала бы: утилизация задачи (доля суток с активным прогоном) + глубина очереди обогащения.
Деплой убивает длинные прогоны ~раз в три дня. За 30 дней 10 прогонов из 2462 в cancelled, и это ровно самые дорогие: avito_full_load_exhaustive 2 ч 58 мин, yandex_city_sweep 2 ч 33 мин, cian_full_load 2 ч 10 мин (#3074). Поймала бы: счётчик cancelled по source + потерянные часы сбора.
Раздутие БД копилось 91 день незамеченным. listings: 198 апдейтов на строку, HOT-обновлений 0,43 %, TOAST 15 ГБ при ~230 МБ живого, WAL 7,02 ГБ/сутки при ~4 пользовательских расчётах в сутки (#2992, #2989). Поймали бы: WAL/сутки и n_tup_upd vs n_tup_hot_upd по таблицам.
Разбор 1600 отказов подряд оказался невозможен. Логи контейнера avito_detail_backfill уничтожены пересозданием при обычном деплое через 17 минут; «сегодня было около двадцати деплоев» (#2741). Поймал бы: счётчик отказов на прогон с меткой причины, живущий вне lifecycle контейнера.
Переезд 30.08 нечем измерить. Метрик нет ни одной (grep prometheus|statsd|opentelemetry по backend/, tradein-mvp/, docker-compose*.yml — ноль), /metrics не существует ни в одном бэкенде. Сравнить Beget vs Poincare по latency/RPS/CPU объективно нечем; задержка Beget↔Selectel никогда не измерялась (#3032, оценка 10-15 мс).

Что уже есть

Инструмент	Что покрывает	Перекрытие с Grafana
GlitchTip (self-hosted `errors.gendsgn.ru`)	Исключения. Site Finder: `traces_sample_rate` 0.05, интеграции Starlette/FastAPI/Celery/SQLAlchemy/httpx. Trade-in: `traces_sample_rate=0.0` — только ошибки	Не перекрывается. GlitchTip ловит события, метрики — временные ряды. Молчаливый отказ (`done`, 0 строк) не порождает исключения вовсе
Uptime Kuma (`docker-compose.uptime.yml`, отдельный проект `gendesign-uptime`) + внешний `ops/uptime-healthcheck.sh`	«Отвечает ли `/health` 200-м». Дефолтный список проб — только `health\|/health\|200`, остальной `/api/*` под Basic-Auth и анонимно даёт 401	Частично. Kuma отвечает на «жив/мёртв», Grafana — на «насколько плохо». Деградация без 5xx (медленно, пустые данные, мёртвая очередь) не детектится ни одним
journald (`x-logging` anchor, driver journald)	Логи всего стека, потолок `SystemMaxUse=500M` ставится вручную drop-in'ом, не через deploy.yml	Не перекрывается. Логи — не агрегаты; при ~39 МБ/сутки и 500 МБ потолке окно ретенции ~13 дней
docker healthcheck'и (pg_isready, redis-cli ping, curl /health)	«Процесс поднялся». HTTP `/health` отдаёт `{status, environment, version}` — без проверки БД/Redis/очереди. Trade-in `/health` наружу через Caddy не проксируется	Не перекрывается. Зелёный `/health` при мёртвом Postgres — штатное поведение
Алерты	Единственный рабочий канал — вебхук GlitchTip → Telegram (`tradein-mvp/backend/app/api/v1/glitchtip.py`). Штатный алертинг GlitchTip нем: `alerts_projectalert` пуст, `EMAIL_URL=consolemail://` печатает письма в stdout	Alertmanager/Grafana Alerting должен идти в тот же Telegram, а не заводить второй канал

Итог: третьего дашборда не появляется. Появляется отсутствующий сейчас класс данных — числовые ряды и алерты по трендам вместо алертов по событиям.

Что мерить

HTTP / API — требует инструментирования: добавить /metrics в оба бэкенда (сегодня его нет). Latency p50/p95/p99, RPS, доля 4xx/5xx по роутам. Альтернатива без кода на первом шаге — Caddy-метрики (gendsgn.ru.log, ретенция не проверена).

Celery и скрапперы — почти всё уже в БД, просто не визуализируется: kn_scrape_runs / nspd_scrape_runs (started_at, finished_at, heartbeat_at, status), счётчики saved/checked/errors. Отсюда без кода: success_ratio, freshness приёмника, утилизация, cancelled по source. Требует кода: длина очереди Celery (Redis llen), возраст самой старой задачи, duration_ms — колонок длительности в ORM нет, единственный хит job_settings.rate_ms. Предусловие: #2702 — из 487 прогонов 153 «длятся» дольше своего окна >1,5×, крайний случай cian_history_backfill id=346: окно 0,032 с при duration_sec 18 230. Пока start/finish врут, графики throughput тоже врут.

Postgres — postgres_exporter, без кода: WAL/сутки, n_tup_upd vs n_tup_hot_upd, рост TOAST, bloat, connections, replication/vacuum-горизонт. pg_stat_statements включён только у trade-in; для Site Finder-PG у сервиса нет секции command вовсе — потребуется правка root-compose и рестарт прод-БД.

Хост — node_exporter + cAdvisor, без кода: CPU/RAM/диск/IO, per-container память. Отдельно нужен диск: на проде 79 % занято, 13 ГБ логов forgejo/glitchtip без ротации (#2761).

Бизнес — из БД, без кода: расчёты/сутки (сейчас ~4), доля активных объявлений (26 203 мёртвых числятся активными, #2994), возраст свежайших сделок. Плюс синтетический heartbeat, доказывающий доставку алерта до человека: в GlitchTip-проекте МЕРЫ не ушло наружу ни одного сообщения с 30 мая (#2673).

Где размещать — решение владельца

30.08 хосты разъезжаются: CADDY_SITES=apps (gendsgn.ru, meraocenka/merahome/meraotsenka) → Selectel Poincare, CADDY_SITES=infra (obsidian./errors./git.) → остаётся на Beget. Три варианта, не выбираю за владельца:

На Selectel (уезжающем) — рядом с продуктом, exporter'ы ходят по gendesign_shared без сети наружу; site-блок в caddy/sites/apps.caddy. Минус: при падении хоста падает и мониторинг.
На Beget (остающемся) — рядом с GlitchTip; наблюдатель переживает наблюдаемого. Минус: exporter'ы придётся выставлять между хостами (UFW на Poincare открывает только 22/80/443 — нужен VPN/туннель), плюс неизмеренная задержка канала (#3032).
На обоих — Prometheus на Selectel + внешний watchdog на Beget. Дороже на один compose-стек, но снимает слепое пятно.

Смежное: ops/uptime-healthcheck.sh не прописан ни в одном cron — в ops/crontab-poincare.cron его нет по замыслу (должен крутиться на другом хосте). После переезда хост для него надо назначить явно, иначе watchdog не запущен нигде.

Технически стек копируется с docker-compose.obsidian.yml один-в-один: свой project (-p gendesign-metrics), external network gendesign_shared, expose без ports, свой deploy-metrics.yml. Grafana закрывается тем же import caddy/users.caddy.snippet (basic_auth bcrypt) внутри route{} — forward_auth в репозитории не используется нигде (0 хитов). Нужен A-record metrics. или grafana.gendsgn.ru; auto-TLS подхватит.

Стоимость

Объявленными mem_limit расписано ~11,4 ГиБ (root-compose ~3968 МиБ: osrm 1.5g + osrm-walk 1.5g + glitchtip-web 512m + glitchtip-worker 384m; trade-in ~7680 МиБ: browser 2560m + postgres 3g + backend 768m + scraper 640m + tgbot 256m + frontend 384m). На хосте 62-64 ГБ. Место под стек метрик (2-4 ГБ: Prometheus 1-2g, Grafana 512m, exporter'ы по 64-128m) есть с большим запасом.

Предупреждение честности ради: цифра 62/64 ГБ взята из комментариев ops/selectel-bootstrap.sh, а не из живого free на хосте — проверить перед стартом. И сумма лимитов ≠ потребление: без mem_limit вообще работают postgres (Site Finder), redis, backend, frontend, worker (--concurrency=8), beat, caddy, glitchtip-auth-forwarder. Реальное потребление сверху не ограничено, бюджет брать с запасом. Диск: retention Prometheus задать явно (15d), с учётом что на проде уже 79 % занято.

Что НЕ входит

Замена GlitchTip. Ошибки остаются в GlitchTip, метрики — отдельный слой.
Полноценный distributed tracing / OpenTelemetry. Только метрики.
Логовый стек (Loki/ELK). Логи остаются в journald; ротация — отдельная задача (#2761).
Переписывание скрапперов ради «правильных» метрик. Фикс честных started_at/finished_at (#2702) — предусловие, а не часть этой задачи.
Миграция на новый хост. Стек метрик едет отдельным compose-проектом, deploy.yml не трогаем.
Дашборды «на будущее». Только графики под перечисленные выше конкретные случаи.

Приёмка

/metrics отвечает на обоих бэкендах, закрыт от анонимного доступа.
Prometheus скрейпит: оба бэкенда, node_exporter, cAdvisor, postgres_exporter (минимум по trade-in-PG).
Grafana доступна по HTTPS через Caddy под basic_auth; порты 3000/9090 наружу не опубликованы.
Дашборд «Скрапперы»: по каждому source — success_ratio, freshness приёмника, утилизация, счётчик cancelled. На дашборде воспроизводится кейс #2998 (зелёный done при 0 строк виден как аномалия).
Дашборд «Postgres»: WAL/сутки, n_tup_upd vs n_tup_hot_upd, рост TOAST, connections.
Дашборд «Хост»: CPU/RAM/диск/IO, per-container память, алерт на диск >85 %.
Алерты уходят в существующий Telegram-канал (не новый). Проверено живой доставкой, не конфигом.
Синтетический heartbeat: отсутствие сигнала N минут даёт алерт (защита от «канал есть, но нем» как в #2673).
Compose-стек поднимается на чистом хосте одной командой; retention Prometheus задан явно; mem_limit проставлены.
Замер до/после переезда: снят baseline latency/RPS/CPU на старом хосте и сопоставим на новом.

Открытые вопросы владельцу

Где стек — Selectel, Beget или оба (три варианта выше)? Блокирует всё остальное.
До или после 30.08? Если baseline для сравнения хостов нужен — стек должен быть поднят до переезда, а это сжатое окно.
Домен — metrics.gendsgn.ru или grafana.gendsgn.ru? Нужен A-record.
Рестарт прод-PG Site Finder ради shared_preload_libraries = pg_stat_statements — согласован? Без него query-метрик по Site Finder не будет.
Кто получает алерты — тот же Telegram-чат, что и GlitchTip-вебхук, или отдельный? Порог, при котором алерт будят ночью.
Хост для ops/uptime-healthcheck.sh после переезда — назначить явно.

Разбиение

Задача больше одного захода (новый compose-стек + инструментирование двух бэкендов + exporter'ы + дашборды + алерты + деплой-воркфлоу — заведомо >5 файлов и >8 ч). Предлагаемый сплит, каждая часть ~200-500 строк:

Foundation — docker-compose.metrics.yml по шаблону docker-compose.obsidian.yml, .forgejo/workflows/deploy-metrics.yml, site-блок в apps.caddy под basic_auth, node_exporter + cAdvisor. Приёмка: Grafana открывается, хостовые графики живые.
Postgres — postgres_exporter по trade-in-PG (там pg_stat_statements уже включён), дашборд БД. Отдельно и позже — shared_preload_libraries для Site Finder-PG, требует рестарта.
App-метрики — /metrics в обоих бэкендах, HTTP-гистограммы, длина очереди Celery. Единственная часть, трогающая прод-код.
Скрапперы и бизнес — экспортер поверх kn_scrape_runs/nspd_scrape_runs и таблиц-приёмников (success_ratio, freshness, утилизация), дашборд, воспроизводящий #2998/#2698/#2767.
Алерты — правила, доставка в существующий Telegram, синтетический heartbeat, проверка живой доставкой.

Части 1-2 независимы от 3; 4 зависит от фикса честных таймстампов (#2702); 5 — последняя.

# Телеметрия: метрики и Grafana для GenDesign ## Зачем Ниже — только случаи, где отсутствие измерения уже стоило времени или денег. Это не гипотезы, каждый разбирался постфактум руками. - **Данные протухли на 7 месяцев, узнали от владельца.** Плитка «ФАКТИЧЕСКИЕ СДЕЛКИ» показывала сделки семимесячной давности (#2846). Корень (#2998): `deals` не обновлялась 39 суток, при этом `rosreestr_dkp_import` каждый день рапортовал `done` с `total_seen=0`. Цитата из issue: «планировщик зелёный, монитор зелёный, данных нет». Поймала бы: freshness-метрика `now() - max(scraped_at)` по таблице-приёмнику + алерт на `rows_ingested=0 при status=done`. - **Тот же тихий отказ ещё трижды.** `house_imv_backfill` мёртв 34 дня (saved:0, errors:35/35, все прогоны `done`, #2698); cian `newbuilding_enrich` — 0 записей 8 суток, 200 попыток, все `done` (#2767); `listing_source_snapshot` уходил в zombie 6 ночей подряд, осиротевшие запросы висели 46 ч и держали горизонт vacuum (#2607). Поймала бы: `success_ratio = saved/checked` на прогон, а не `status`. - **Бэкфилл Авито простаивал 23 часа из 24.** 238 карточек за сутки при 9 951 активном объявлении: прогон умирал по бану за 17-83 мин, а перезапуск был раз в сутки (PR #3054). Поймала бы: утилизация задачи (доля суток с активным прогоном) + глубина очереди обогащения. - **Деплой убивает длинные прогоны ~раз в три дня.** За 30 дней 10 прогонов из 2462 в `cancelled`, и это ровно самые дорогие: `avito_full_load_exhaustive` 2 ч 58 мин, `yandex_city_sweep` 2 ч 33 мин, `cian_full_load` 2 ч 10 мин (#3074). Поймала бы: счётчик `cancelled` по source + потерянные часы сбора. - **Раздутие БД копилось 91 день незамеченным.** `listings`: 198 апдейтов на строку, HOT-обновлений 0,43 %, TOAST 15 ГБ при ~230 МБ живого, WAL 7,02 ГБ/сутки при ~4 пользовательских расчётах в сутки (#2992, #2989). Поймали бы: WAL/сутки и `n_tup_upd` vs `n_tup_hot_upd` по таблицам. - **Разбор 1600 отказов подряд оказался невозможен.** Логи контейнера `avito_detail_backfill` уничтожены пересозданием при обычном деплое через 17 минут; «сегодня было около двадцати деплоев» (#2741). Поймал бы: счётчик отказов на прогон с меткой причины, живущий вне lifecycle контейнера. - **Переезд 30.08 нечем измерить.** Метрик нет ни одной (`grep prometheus|statsd|opentelemetry` по `backend/`, `tradein-mvp/`, `docker-compose*.yml` — ноль), `/metrics` не существует ни в одном бэкенде. Сравнить Beget vs Poincare по latency/RPS/CPU объективно нечем; задержка Beget↔Selectel никогда не измерялась (#3032, оценка 10-15 мс). ## Что уже есть | Инструмент | Что покрывает | Перекрытие с Grafana | |---|---|---| | **GlitchTip** (self-hosted `errors.gendsgn.ru`) | Исключения. Site Finder: `traces_sample_rate` 0.05, интеграции Starlette/FastAPI/Celery/SQLAlchemy/httpx. Trade-in: `traces_sample_rate=0.0` — только ошибки | Не перекрывается. GlitchTip ловит **события**, метрики — **временные ряды**. Молчаливый отказ (`done`, 0 строк) не порождает исключения вовсе | | **Uptime Kuma** (`docker-compose.uptime.yml`, отдельный проект `gendesign-uptime`) + внешний `ops/uptime-healthcheck.sh` | «Отвечает ли `/health` 200-м». Дефолтный список проб — только `health\|/health\|200`, остальной `/api/*` под Basic-Auth и анонимно даёт 401 | Частично. Kuma отвечает на «жив/мёртв», Grafana — на «насколько плохо». Деградация без 5xx (медленно, пустые данные, мёртвая очередь) не детектится ни одним | | **journald** (`x-logging` anchor, driver journald) | Логи всего стека, потолок `SystemMaxUse=500M` ставится вручную drop-in'ом, не через deploy.yml | Не перекрывается. Логи — не агрегаты; при ~39 МБ/сутки и 500 МБ потолке окно ретенции ~13 дней | | **docker healthcheck'и** (pg_isready, redis-cli ping, curl /health) | «Процесс поднялся». HTTP `/health` отдаёт `{status, environment, version}` — без проверки БД/Redis/очереди. Trade-in `/health` наружу через Caddy не проксируется | Не перекрывается. Зелёный `/health` при мёртвом Postgres — штатное поведение | | **Алерты** | Единственный рабочий канал — вебхук GlitchTip → Telegram (`tradein-mvp/backend/app/api/v1/glitchtip.py`). Штатный алертинг GlitchTip нем: `alerts_projectalert` пуст, `EMAIL_URL=consolemail://` печатает письма в stdout | Alertmanager/Grafana Alerting должен идти в **тот же** Telegram, а не заводить второй канал | Итог: третьего дашборда не появляется. Появляется отсутствующий сейчас класс данных — числовые ряды и алерты по трендам вместо алертов по событиям. ## Что мерить **HTTP / API** — требует инструментирования: добавить `/metrics` в оба бэкенда (сегодня его нет). Latency p50/p95/p99, RPS, доля 4xx/5xx по роутам. Альтернатива без кода на первом шаге — Caddy-метрики (`gendsgn.ru.log`, ретенция не проверена). **Celery и скрапперы** — почти всё **уже в БД, просто не визуализируется**: `kn_scrape_runs` / `nspd_scrape_runs` (`started_at`, `finished_at`, `heartbeat_at`, `status`), счётчики saved/checked/errors. Отсюда без кода: success_ratio, freshness приёмника, утилизация, `cancelled` по source. **Требует кода**: длина очереди Celery (Redis `llen`), возраст самой старой задачи, `duration_ms` — колонок длительности в ORM нет, единственный хит `job_settings.rate_ms`. **Предусловие:** `#2702` — из 487 прогонов 153 «длятся» дольше своего окна >1,5×, крайний случай `cian_history_backfill` id=346: окно 0,032 с при `duration_sec` 18 230. Пока start/finish врут, графики throughput тоже врут. **Postgres** — postgres_exporter, без кода: WAL/сутки, `n_tup_upd` vs `n_tup_hot_upd`, рост TOAST, bloat, connections, replication/vacuum-горизонт. `pg_stat_statements` включён **только у trade-in**; для Site Finder-PG у сервиса нет секции `command` вовсе — потребуется правка root-compose и рестарт прод-БД. **Хост** — node_exporter + cAdvisor, без кода: CPU/RAM/диск/IO, per-container память. Отдельно нужен диск: на проде 79 % занято, 13 ГБ логов forgejo/glitchtip без ротации (#2761). **Бизнес** — из БД, без кода: расчёты/сутки (сейчас ~4), доля активных объявлений (26 203 мёртвых числятся активными, #2994), возраст свежайших сделок. Плюс **синтетический heartbeat**, доказывающий доставку алерта до человека: в GlitchTip-проекте МЕРЫ не ушло наружу ни одного сообщения с 30 мая (#2673). ## Где размещать — решение владельца 30.08 хосты разъезжаются: `CADDY_SITES=apps` (gendsgn.ru, meraocenka/merahome/meraotsenka) → Selectel Poincare, `CADDY_SITES=infra` (obsidian./errors./git.) → остаётся на Beget. Три варианта, **не выбираю за владельца**: 1. **На Selectel (уезжающем)** — рядом с продуктом, exporter'ы ходят по `gendesign_shared` без сети наружу; site-блок в `caddy/sites/apps.caddy`. Минус: при падении хоста падает и мониторинг. 2. **На Beget (остающемся)** — рядом с GlitchTip; наблюдатель переживает наблюдаемого. Минус: exporter'ы придётся выставлять между хостами (UFW на Poincare открывает только 22/80/443 — нужен VPN/туннель), плюс неизмеренная задержка канала (#3032). 3. **На обоих** — Prometheus на Selectel + внешний watchdog на Beget. Дороже на один compose-стек, но снимает слепое пятно. Смежное: `ops/uptime-healthcheck.sh` **не прописан ни в одном cron** — в `ops/crontab-poincare.cron` его нет по замыслу (должен крутиться на другом хосте). После переезда хост для него надо назначить явно, иначе watchdog не запущен нигде. Технически стек копируется с `docker-compose.obsidian.yml` один-в-один: свой project (`-p gendesign-metrics`), external network `gendesign_shared`, `expose` без `ports`, свой `deploy-metrics.yml`. Grafana закрывается тем же `import caddy/users.caddy.snippet` (basic_auth bcrypt) внутри `route{}` — `forward_auth` в репозитории не используется нигде (0 хитов). Нужен A-record `metrics.` или `grafana.gendsgn.ru`; auto-TLS подхватит. ## Стоимость Объявленными `mem_limit` расписано ~11,4 ГиБ (root-compose ~3968 МиБ: osrm 1.5g + osrm-walk 1.5g + glitchtip-web 512m + glitchtip-worker 384m; trade-in ~7680 МиБ: browser 2560m + postgres 3g + backend 768m + scraper 640m + tgbot 256m + frontend 384m). На хосте 62-64 ГБ. Место под стек метрик (2-4 ГБ: Prometheus 1-2g, Grafana 512m, exporter'ы по 64-128m) есть с большим запасом. **Предупреждение честности ради:** цифра 62/64 ГБ взята из комментариев `ops/selectel-bootstrap.sh`, а не из живого `free` на хосте — проверить перед стартом. И сумма лимитов ≠ потребление: **без `mem_limit` вообще** работают postgres (Site Finder), redis, backend, frontend, worker (`--concurrency=8`), beat, caddy, glitchtip-auth-forwarder. Реальное потребление сверху не ограничено, бюджет брать с запасом. Диск: retention Prometheus задать явно (15d), с учётом что на проде уже 79 % занято. ## Что НЕ входит - Замена GlitchTip. Ошибки остаются в GlitchTip, метрики — отдельный слой. - Полноценный distributed tracing / OpenTelemetry. Только метрики. - Логовый стек (Loki/ELK). Логи остаются в journald; ротация — отдельная задача (#2761). - Переписывание скрапперов ради «правильных» метрик. Фикс честных `started_at`/`finished_at` (#2702) — предусловие, а не часть этой задачи. - Миграция на новый хост. Стек метрик едет отдельным compose-проектом, deploy.yml не трогаем. - Дашборды «на будущее». Только графики под перечисленные выше конкретные случаи. ## Приёмка - [ ] `/metrics` отвечает на обоих бэкендах, закрыт от анонимного доступа. - [ ] Prometheus скрейпит: оба бэкенда, node_exporter, cAdvisor, postgres_exporter (минимум по trade-in-PG). - [ ] Grafana доступна по HTTPS через Caddy под basic_auth; порты 3000/9090 наружу не опубликованы. - [ ] Дашборд «Скрапперы»: по каждому source — success_ratio, freshness приёмника, утилизация, счётчик `cancelled`. На дашборде **воспроизводится** кейс #2998 (зелёный `done` при 0 строк виден как аномалия). - [ ] Дашборд «Postgres»: WAL/сутки, `n_tup_upd` vs `n_tup_hot_upd`, рост TOAST, connections. - [ ] Дашборд «Хост»: CPU/RAM/диск/IO, per-container память, алерт на диск >85 %. - [ ] Алерты уходят в существующий Telegram-канал (не новый). Проверено **живой доставкой**, не конфигом. - [ ] Синтетический heartbeat: отсутствие сигнала N минут даёт алерт (защита от «канал есть, но нем» как в #2673). - [ ] Compose-стек поднимается на чистом хосте одной командой; retention Prometheus задан явно; `mem_limit` проставлены. - [ ] Замер до/после переезда: снят baseline latency/RPS/CPU на старом хосте и сопоставим на новом. ## Открытые вопросы владельцу 1. **Где стек** — Selectel, Beget или оба (три варианта выше)? Блокирует всё остальное. 2. **До или после 30.08?** Если baseline для сравнения хостов нужен — стек должен быть поднят **до** переезда, а это сжатое окно. 3. **Домен** — `metrics.gendsgn.ru` или `grafana.gendsgn.ru`? Нужен A-record. 4. **Рестарт прод-PG Site Finder** ради `shared_preload_libraries = pg_stat_statements` — согласован? Без него query-метрик по Site Finder не будет. 5. **Кто получает алерты** — тот же Telegram-чат, что и GlitchTip-вебхук, или отдельный? Порог, при котором алерт будят ночью. 6. **Хост для `ops/uptime-healthcheck.sh`** после переезда — назначить явно. ## Разбиение Задача больше одного захода (новый compose-стек + инструментирование двух бэкендов + exporter'ы + дашборды + алерты + деплой-воркфлоу — заведомо >5 файлов и >8 ч). Предлагаемый сплит, каждая часть ~200-500 строк: 1. **Foundation** — `docker-compose.metrics.yml` по шаблону `docker-compose.obsidian.yml`, `.forgejo/workflows/deploy-metrics.yml`, site-блок в `apps.caddy` под basic_auth, node_exporter + cAdvisor. Приёмка: Grafana открывается, хостовые графики живые. 2. **Postgres** — postgres_exporter по trade-in-PG (там `pg_stat_statements` уже включён), дашборд БД. Отдельно и позже — `shared_preload_libraries` для Site Finder-PG, требует рестарта. 3. **App-метрики** — `/metrics` в обоих бэкендах, HTTP-гистограммы, длина очереди Celery. Единственная часть, трогающая прод-код. 4. **Скрапперы и бизнес** — экспортер поверх `kn_scrape_runs`/`nspd_scrape_runs` и таблиц-приёмников (success_ratio, freshness, утилизация), дашборд, воспроизводящий #2998/#2698/#2767. 5. **Алерты** — правила, доставка в существующий Telegram, синтетический heartbeat, проверка живой доставкой. Части 1-2 независимы от 3; 4 зависит от фикса честных таймстампов (#2702); 5 — последняя.