Alertmanager отвечает 404 на /api/v2/alerts: внешний префикс распространён на весь API #3161

New issue

Closed

opened 2026-08-27 18:16:27 +00:00 by bot-backend · 1 comment

bot-backend commented

2026-08-27 18:16:27 +00:00

Collaborator

Найдено приёмочной проверкой #3155 — на том же пути обнаружился второй, независимый отказ.

Симптом

После #3160 Prometheus приёмник видит:

activeAlertmanagers: [{"url":"http://alertmanager:9093/api/v2/alerts"}]
prometheus_notifications_alertmanagers_discovered 1

и даже отправляет. Но до Alertmanager ничего не доходит:

prometheus_notifications_sent_total{...}   1
prometheus_notifications_errors_total{...} 1
prometheus_notifications_dropped_total     1
alertmanager_alerts_received_total{status="firing"} 0

Причина

--web.external-url=https://metrics.gendsgn.ru/alertmanager без --web.route-prefix=/ заставляет Alertmanager обслуживать всё под этим префиксом. Проверено прямой пробой из контейнера Prometheus:

путь	ответ
`/api/v2/status`	404
`/alertmanager/api/v2/status`	200

Prometheus пишет в первый.

Снаружи префикс при этом не нужен никому: маршрута /alertmanager в Caddy нет вовсе (caddy/sites/infra.caddy — есть /ingest/* и /ack/*, больше ничего), внешний адрес используется только для формирования ссылок.

Отдельно поучительное

Симптом этого же префикса уже ловили сегодня — на healthcheck: /-/healthy отдавал 404, контейнер бессрочно висел unhealthy. Вылечили на стороне проверки, прописав ей путь с префиксом, и в комментарии зафиксировали, что префикс распространяется на все служебные ручки. Причина осталась жива и продолжила ломать главное — доставку.

Что делаю

Добавляю --web.route-prefix=/ (тот же флаг и по той же причине уже стоит у Prometheus в этом же файле), healthcheck возвращаю на обычный путь.

Заодно оживает датасорс Alertmanager в Grafana (ops/metrics/grafana/provisioning/datasources/datasources.yml:37) — он настроен на корень и до сих пор упирался в тот же 404.

Найдено приёмочной проверкой #3155 — на том же пути обнаружился второй, независимый отказ. ## Симптом После #3160 Prometheus приёмник **видит**: ``` activeAlertmanagers: [{"url":"http://alertmanager:9093/api/v2/alerts"}] prometheus_notifications_alertmanagers_discovered 1 ``` и даже отправляет. Но до Alertmanager ничего не доходит: ``` prometheus_notifications_sent_total{...} 1 prometheus_notifications_errors_total{...} 1 prometheus_notifications_dropped_total 1 alertmanager_alerts_received_total{status="firing"} 0 ``` ## Причина `--web.external-url=https://metrics.gendsgn.ru/alertmanager` **без** `--web.route-prefix=/` заставляет Alertmanager обслуживать всё под этим префиксом. Проверено прямой пробой из контейнера Prometheus: | путь | ответ | |---|---| | `/api/v2/status` | 404 | | `/alertmanager/api/v2/status` | 200 | Prometheus пишет в первый. Снаружи префикс при этом не нужен никому: маршрута `/alertmanager` в Caddy нет вовсе (`caddy/sites/infra.caddy` — есть `/ingest/*` и `/ack/*`, больше ничего), внешний адрес используется только для формирования ссылок. ## Отдельно поучительное Симптом этого же префикса уже ловили сегодня — на healthcheck: `/-/healthy` отдавал 404, контейнер бессрочно висел `unhealthy`. Вылечили **на стороне проверки**, прописав ей путь с префиксом, и в комментарии зафиксировали, что префикс распространяется на все служебные ручки. Причина осталась жива и продолжила ломать главное — доставку. ## Что делаю Добавляю `--web.route-prefix=/` (тот же флаг и по той же причине уже стоит у Prometheus в этом же файле), healthcheck возвращаю на обычный путь. Заодно оживает датасорс Alertmanager в Grafana (`ops/metrics/grafana/provisioning/datasources/datasources.yml:37`) — он настроен на корень и до сих пор упирался в тот же 404.

bot-backend referenced this issue from a commit

2026-08-27 18:16:30 +00:00

fix(ops/metrics): Alertmanager отвечал 404 на /api/v2/alerts — Prometheus писал мимо

bot-backend referenced this issue

2026-08-27 18:16:43 +00:00

fix(ops/metrics): Alertmanager отвечал 404 на /api/v2/alerts — Prometheus писал мимо #3162

bot-backend closed this issue

2026-08-27 18:17:49 +00:00

bot-backend referenced this issue

2026-08-27 18:20:50 +00:00

Prometheus не видел ни одного Alertmanager: цель file_sd осталась пустой при включённом профиле alerts #3155

bot-backend commented

2026-08-27 18:20:50 +00:00

Author

Collaborator

Приёмка пройдена — цепочка проверена целиком

Замер после деплоя обоих исправлений (#3160 + #3162):

Что	Значение
`prometheus_notifications_alertmanagers_discovered`	1 (было 0)
`prometheus_notifications_sent_total`	4, растёт
`prometheus_notifications_errors_total`	3 и не растёт (все три — до #3162)
`alertmanager_alerts_received_total{firing}`	1 (было 0)
`alertmanager_notifications_total{integration="telegram"}`	1
`alertmanager_notifications_failed_total{telegram,*}`	0
health контейнера	`healthy` на обычном пути

То есть Watchdog, горевший с 26.08 10:19 и до сегодня уходивший в dropped_total, доехал до Telegram: маршрут telegram-heartbeat шлёт «⚪ Мониторинг жив — сторож отчитался, канал доставки работает» и повторяет раз в 12 часов.

Дефект оказался двойным: пустая цель file_sd (этот тикет) и внешний префикс, распространённый на весь API Alertmanager (#3161). Первый прятал второй — пока Prometheus не находил приёмник, 404 на /api/v2/alerts не мог проявиться.

## Приёмка пройдена — цепочка проверена целиком Замер после деплоя обоих исправлений (#3160 + #3162): | Что | Значение | |---|---| | `prometheus_notifications_alertmanagers_discovered` | **1** (было 0) | | `prometheus_notifications_sent_total` | 4, растёт | | `prometheus_notifications_errors_total` | 3 и **не растёт** (все три — до #3162) | | `alertmanager_alerts_received_total{firing}` | **1** (было 0) | | `alertmanager_notifications_total{integration="telegram"}` | **1** | | `alertmanager_notifications_failed_total{telegram,*}` | **0** | | health контейнера | `healthy` на обычном пути | То есть `Watchdog`, горевший с 26.08 10:19 и до сегодня уходивший в `dropped_total`, доехал до Telegram: маршрут `telegram-heartbeat` шлёт «⚪ Мониторинг жив — сторож отчитался, канал доставки работает» и повторяет раз в 12 часов. Дефект оказался двойным: пустая цель file_sd (этот тикет) и внешний префикс, распространённый на весь API Alertmanager (#3161). Первый прятал второй — пока Prometheus не находил приёмник, 404 на `/api/v2/alerts` не мог проявиться.

bot-backend referenced this issue

2026-08-27 19:55:28 +00:00

Тема «метрики» в Telegram пуста: инфра-алерты и клиентские инциденты делят одну тему 158 #3163

bot-backend referenced this issue

2026-08-27 20:11:32 +00:00

Телеметрия: метрики и Grafana — сегодня тихий отказ не виден ничем #3078