beafe6925b
All checks were successful
CI Trade-In / changes (pull_request) Successful in 9s
CI / changes (pull_request) Successful in 10s
CI Trade-In / backend-tests (pull_request) Has been skipped
CI Trade-In / browser-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Successful in 1m55s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / backend-tests (pull_request) Successful in 17m25s
Джоба agent-apps упала целиком:
error while interpolating services.postgres-exporter-infra.environment.
DATA_SOURCE_NAME: required variable INFRA_EXPORTER_DSN is missing a value
INFRA_EXPORTER_DSN нужен экспортеру с profiles: ["infra"], который на
продуктовом хосте не поднимается вовсе. Но compose интерполирует ВЕСЬ файл
до фильтрации по профилям, поэтому `${VAR:?}` роняет команду из-за чужой
переменной. Вместе с агентом не поднялись alloy, node-exporter и cadvisor,
которым никакой DSN не нужен. Симметрично упал бы и инфраструктурный агент -
на двух продуктовых переменных.
Второй дефект в той же цепочке: GENDESIGN_EXPORTER_DSN тоже отсутствовал.
setup-metrics-exporter-dsn.sh читает только runtime-файл окружения бэкенда, а
DATABASE_URL и TRADEIN_DATABASE_URL живут в основном. Значит подстановка
всегда была пустой, add_key печатал "нечем заполнить" и выходил с кодом 0 -
мягкий пропуск встречался с жёстким требованием compose.
Стало:
- compose: `:-` вместо `:?` у трёх DSN. Интерполяция больше не может упасть.
- deploy-metrics.yml: профиль экспортеров включается, только если нужные ЭТОЙ
роли DSN заполнены; иначе ::warning и агент поднимается без экспортера.
Громкость не убрана, а перенесена туда, где роль известна. Тот же приём, что
уже применён к Alertmanager в джобе server.
- setup-metrics-exporter-dsn.sh: читает оба файла окружения (базовый, затем
runtime - он перекрывает). Пишет по-прежнему только в runtime, лишних копий
пароля не заводит.
Почему `:-` не ослабление: пустой DATA_SOURCE_NAME поднял бы экспортер,
который молча не отдаёт метрик, - ровно тот тихий отказ, ради которого весь
стек и заводится. Поэтому пустой DSN теперь означает "профиль не включаем",
а не "поднимаем пустым".
Известное следствие, отмеченное в коде: INFRA_EXPORTER_DSN не собирает никто -
скрипт знает только про GENDESIGN_/TRADEIN_ и работает на продуктовом хосте.
Пока это так, инфраструктурный агент будет честно предупреждать, что метрик
Postgres инфры нет, вместо того чтобы падать целиком.
Тесты (3) структурные, проверяют оба конца инварианта: обязательности не
вернулись в compose; каждая DSN-переменная проверяется в деплое; профили не
захардкожены. Фальсификация: на исходных файлах краснеют все три.
231 lines
11 KiB
YAML
231 lines
11 KiB
YAML
# Стек наблюдаемости — АГЕНТСКАЯ сторона. Поднимается на КАЖДОМ хосте: и на Beget
|
||
# (рядом с сервером), и на Poincare (рядом с продуктом).
|
||
#
|
||
# docker compose -p gendesign-metrics-agent -f docker-compose.metrics-agent.yml up -d
|
||
#
|
||
# Что делает: собирает метрики хоста (node-exporter), контейнеров (cAdvisor), баз
|
||
# (postgres-exporter) и логи journald, после чего Alloy отправляет всё на приёмник.
|
||
#
|
||
# ПОЧЕМУ АГЕНТ, А НЕ СКРЕЙП ИЗ ЦЕНТРА. Prometheus на Beget не может дотянуться до
|
||
# экспортеров на Poincare, не открыв там входящие порты — а ufw на Poincare намеренно
|
||
# держит только 22/80/443. Агент решает это push'ем: исходящий HTTPS уже разрешён.
|
||
# Побочный выигрыш — при обрыве канала Alloy копит в WAL и досылает, тогда как
|
||
# pull-скрейп просто теряет точки.
|
||
#
|
||
# КОНФИГУРАЦИЯ ЗАВИСИТ ОТ ХОСТА — задаётся переменными окружения, файл один:
|
||
#
|
||
# На Beget (инфраструктура, приёмник рядом):
|
||
# METRICS_ROLE=infra
|
||
# METRICS_ALLOY_CONFIG=alloy-infra.alloy # пишет напрямую в prometheus:9090 / loki:3100
|
||
# COMPOSE_PROFILES=infra
|
||
#
|
||
# На Poincare (продукт, приёмник за интернетом):
|
||
# METRICS_ROLE=apps
|
||
# METRICS_ALLOY_CONFIG=alloy-apps.alloy # пишет в https://metrics.gendsgn.ru под basic_auth
|
||
# COMPOSE_PROFILES=apps
|
||
# METRICS_INGEST_USER / METRICS_INGEST_PASSWORD — учётка приёмника
|
||
#
|
||
# Профили решают, какие postgres-exporter'ы поднимать: на Poincare две базы
|
||
# (Птица + МЕРА), на Beget одна (infra-postgres с forgejo и glitchtip).
|
||
|
||
x-logging: &default-logging
|
||
driver: journald
|
||
|
||
services:
|
||
# ── Alloy: единый агент метрик и логов ───────────────────────────────────────
|
||
# Почему Alloy, а не Promtail: у Promtail EOL 2 марта 2026. Alloy читает journald
|
||
# нативно и умеет одновременно скрейпить Prometheus-эндпоинты.
|
||
alloy:
|
||
image: grafana/alloy:v1.6.1
|
||
container_name: gendesign-alloy
|
||
restart: unless-stopped
|
||
# root нужен для чтения /var/log/journal. Штатный пользователь `alloy` требует
|
||
# членства в группах adm и systemd-journal — внутри контейнера этих групп с
|
||
# правильными gid хоста нет, и агент молча читает НОЛЬ записей. Проверено как
|
||
# известные грабли: отказ выглядит как «логов просто нет».
|
||
user: root
|
||
command:
|
||
- "run"
|
||
- "--server.http.listen-addr=0.0.0.0:12345"
|
||
- "--storage.path=/var/lib/alloy/data"
|
||
- "/etc/alloy/config.alloy"
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
- path: ./backend/.env
|
||
required: false
|
||
environment:
|
||
# Метка хоста попадает во все ряды и логи — без неё графики двух машин
|
||
# сливаются в один и разобрать, где что, невозможно.
|
||
METRICS_HOST_LABEL: ${METRICS_ROLE:?zadaj METRICS_ROLE=infra ili apps}
|
||
METRICS_INGEST_USER: ${METRICS_INGEST_USER:-}
|
||
METRICS_INGEST_PASSWORD: ${METRICS_INGEST_PASSWORD:-}
|
||
volumes:
|
||
- ./ops/metrics/alloy/${METRICS_ALLOY_CONFIG:?zadaj METRICS_ALLOY_CONFIG}:/etc/alloy/config.alloy:ro
|
||
# Явный путь к журналу обязателен. Без него libsystemd применяет
|
||
# SD_JOURNAL_LOCAL_ONLY и хостовые логи из контейнера не видны — при этом
|
||
# ошибки нет, просто пустой поток.
|
||
- /var/log/journal:/var/log/journal:ro
|
||
- /etc/machine-id:/etc/machine-id:ro
|
||
- alloy_data:/var/lib/alloy/data
|
||
expose:
|
||
- "12345"
|
||
networks:
|
||
- shared
|
||
mem_limit: 512m
|
||
logging: *default-logging
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "wget -q --spider http://localhost:12345/-/ready || exit 1"]
|
||
interval: 30s
|
||
timeout: 10s
|
||
retries: 5
|
||
start_period: 30s
|
||
|
||
# ── node-exporter: CPU, память, диск, сеть, IO хоста ─────────────────────────
|
||
node-exporter:
|
||
image: prom/node-exporter:v1.8.2
|
||
container_name: gendesign-node-exporter
|
||
restart: unless-stopped
|
||
command:
|
||
- "--path.procfs=/host/proc"
|
||
- "--path.sysfs=/host/sys"
|
||
- "--path.rootfs=/host/root"
|
||
# Без исключения оверлеев метрика файловой системы засоряется десятками
|
||
# слоёв docker, и «свободное место на диске» перестаёт читаться глазами.
|
||
- "--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc|var/lib/docker/.+)($$|/)"
|
||
- "--collector.filesystem.fs-types-exclude=^(autofs|binfmt_misc|cgroup2?|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|nsfs|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|selinuxfs|squashfs|sysfs|tracefs)$$"
|
||
pid: host
|
||
volumes:
|
||
- /proc:/host/proc:ro
|
||
- /sys:/host/sys:ro
|
||
- /:/host/root:ro,rslave
|
||
expose:
|
||
- "9100"
|
||
networks:
|
||
- shared
|
||
mem_limit: 128m
|
||
logging: *default-logging
|
||
|
||
# ── cAdvisor: память и CPU по контейнерам ────────────────────────────────────
|
||
# Читает докер-сокет, поэтому видит ВСЕ контейнеры хоста независимо от сетей —
|
||
# отдельно подключать его к gendesign_default не нужно.
|
||
cadvisor:
|
||
image: gcr.io/cadvisor/cadvisor:v0.52.1
|
||
container_name: gendesign-cadvisor
|
||
restart: unless-stopped
|
||
privileged: true
|
||
devices:
|
||
- /dev/kmsg:/dev/kmsg
|
||
command:
|
||
# Урезаем набор метрик: полный cAdvisor выдаёт тысячи рядов на контейнер и
|
||
# раздувает TSDB на порядок ради данных, которые никто не смотрит.
|
||
- "--docker_only=true"
|
||
- "--housekeeping_interval=30s"
|
||
- "--disable_metrics=percpu,sched,tcp,udp,advtcp,process,hugetlb,referenced_memory,cpu_topology,resctrl"
|
||
- "--store_container_labels=false"
|
||
volumes:
|
||
- /:/rootfs:ro
|
||
- /var/run:/var/run:ro
|
||
- /sys:/sys:ro
|
||
- /var/lib/docker/:/var/lib/docker:ro
|
||
- /dev/disk/:/dev/disk:ro
|
||
expose:
|
||
- "8080"
|
||
networks:
|
||
- shared
|
||
mem_limit: 384m
|
||
logging: *default-logging
|
||
|
||
# ── postgres-exporter: Птица (только на Poincare) ────────────────────────────
|
||
# WAL/сутки, n_tup_upd против n_tup_hot_upd, рост TOAST, коннекты, горизонт
|
||
# vacuum — то, из-за отсутствия чего раздутие копилось 91 день незамеченным.
|
||
postgres-exporter-gendesign:
|
||
image: quay.io/prometheuscommunity/postgres-exporter:v0.16.0
|
||
container_name: gendesign-pg-exporter-gendesign
|
||
restart: unless-stopped
|
||
profiles: ["apps"]
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
environment:
|
||
# `:-`, а НЕ `:?`. Compose интерполирует ВЕСЬ файл до фильтрации по
|
||
# профилям, поэтому `:?` роняет команду из-за переменной сервиса, который
|
||
# на этом хосте вообще не поднимается: продуктовый агент падал на
|
||
# INFRA_EXPORTER_DSN (профиль infra), инфраструктурный упал бы на двух
|
||
# продуктовых. Громкость не потеряна — перенесена в deploy-metrics.yml,
|
||
# где роль ИЗВЕСТНА и проверяется ровно тот DSN, который нужен здесь.
|
||
DATA_SOURCE_NAME: ${GENDESIGN_EXPORTER_DSN:-}
|
||
PG_EXPORTER_EXTEND_QUERY_PATH: /etc/pg-queries.yml
|
||
volumes:
|
||
- ./ops/metrics/postgres/queries.yml:/etc/pg-queries.yml:ro
|
||
expose:
|
||
- "9187"
|
||
networks:
|
||
- shared
|
||
- product
|
||
mem_limit: 128m
|
||
logging: *default-logging
|
||
|
||
# ── postgres-exporter: МЕРА (только на Poincare) ─────────────────────────────
|
||
postgres-exporter-tradein:
|
||
image: quay.io/prometheuscommunity/postgres-exporter:v0.16.0
|
||
container_name: gendesign-pg-exporter-tradein
|
||
restart: unless-stopped
|
||
profiles: ["apps"]
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
environment:
|
||
# `:-`, а не `:?` — см. пояснение у экспортера Птицы выше.
|
||
DATA_SOURCE_NAME: ${TRADEIN_EXPORTER_DSN:-}
|
||
PG_EXPORTER_EXTEND_QUERY_PATH: /etc/pg-queries.yml
|
||
volumes:
|
||
- ./ops/metrics/postgres/queries.yml:/etc/pg-queries.yml:ro
|
||
expose:
|
||
- "9187"
|
||
networks:
|
||
- shared
|
||
mem_limit: 128m
|
||
logging: *default-logging
|
||
|
||
# ── postgres-exporter: инфраструктурная БД (только на Beget) ─────────────────
|
||
# forgejo + glitchtip. Нужен и сам по себе, и как страховка: рост базы glitchtip
|
||
# ничем не ограничен — политики ретенции у GlitchTip нет вообще.
|
||
postgres-exporter-infra:
|
||
image: quay.io/prometheuscommunity/postgres-exporter:v0.16.0
|
||
container_name: gendesign-pg-exporter-infra
|
||
restart: unless-stopped
|
||
profiles: ["infra"]
|
||
env_file:
|
||
- path: ./backend/.env.runtime
|
||
required: false
|
||
environment:
|
||
# `:-`, а не `:?` — см. пояснение у экспортера Птицы выше.
|
||
DATA_SOURCE_NAME: ${INFRA_EXPORTER_DSN:-}
|
||
PG_EXPORTER_EXTEND_QUERY_PATH: /etc/pg-queries.yml
|
||
volumes:
|
||
- ./ops/metrics/postgres/queries.yml:/etc/pg-queries.yml:ro
|
||
expose:
|
||
- "9187"
|
||
networks:
|
||
- shared
|
||
- infra
|
||
mem_limit: 128m
|
||
logging: *default-logging
|
||
|
||
volumes:
|
||
alloy_data:
|
||
|
||
networks:
|
||
shared:
|
||
external: true
|
||
name: gendesign_shared
|
||
# Сеть продуктового стека Птицы — в ней gendesign-postgres-1 на Poincare.
|
||
product:
|
||
external: true
|
||
name: gendesign_default
|
||
# На Beget это та же по имени сеть, но с инфраструктурными контейнерами.
|
||
# Разные алиасы в файле нужны, чтобы профили не тянули лишнюю сеть на чужом хосте.
|
||
infra:
|
||
external: true
|
||
name: gendesign_default
|