fix(ptica): проба глубины очереди перестаёт висеть без таймаута (#2464) #2941

Merged

bot-backend merged 1 commit from fix/2464-queue-depth-timeout into main

2026-08-19 16:54:04 +00:00

bot-backend commented

2026-08-19 16:34:02 +00:00

Collaborator

Обещание ломалось на последнем шаге

Докстрока queue_status обещает «worst-case latency ≈ 600 ms even if no worker is reachable». Ради этого celery inspect уносили в поток под дедлайн 0.8 с, а #2927 починил там executor, который сводил защиту на нет.

Но следом шёл третий шаг — синхронно и без таймаута вовсе:

with celery_app.connection_or_acquire() as conn:
    with conn.channel() as channel:
        queue_depth = channel.client.llen("celery")

По висящему сокету — не «connection refused», а чёрная дыра — это не возвращается никогда. Ручка, которую админ-UI опрашивает по таймеру, висела столько, сколько висел брокер.

Тот же класс, что #2927: защита есть, время не ограничивает.

Правка

Проба уходит в тот же пул под тот же дедлайн.

Отправляется до чтения результатов inspect, а не после — иначе к моменту её старта бюджет уже израсходован, и ей досталась бы только нижняя граница max(0.1, ...). Это записано в коде: иначе следующий читатель переставит submit вниз «для порядка» и молча вернёт полсекунды из бюджета.

Проверка — по времени, не по наличию except-ветки

Существующий тест на зависание брокера этот случай не покрывал: в нём llen мгновенный, виснут только inspect.

	`origin/main`	с правкой
ручка при висящей пробе очереди	3.01 с — ровно длительность искусственного зависания	< 2 с

AssertionError: ручка вернулась за 3.01 с при обещанных ~0.8 с —
проба глубины очереди по-прежнему идёт без таймаута

Три существующих теста файла зелёные с обеих сторон.

Тест дополнительно требует queue_depth is None: не смогли измерить — отдаём None, а не выдуманный ноль. Без этого «починка» могла бы свестись к возврату нуля по таймауту, что читалось бы как «очередь пуста».

Виснем в тесте ограниченно (3 с), а не вечно: красный прогон не должен превращаться в зависший.

pytest -k "admin_scrape or queue or 2464c": 35 passed, 1 skipped, rc=0
pytest tests/api/v1: 354 passed, 1 skipped, rc=0

Refs #2464

## Обещание ломалось на последнем шаге Докстрока `queue_status` обещает «worst-case latency ≈ 600 ms even if no worker is reachable». Ради этого `celery inspect` уносили в поток под дедлайн 0.8 с, а #2927 починил там executor, который сводил защиту на нет. Но следом шёл третий шаг — **синхронно и без таймаута вовсе**: ```python with celery_app.connection_or_acquire() as conn: with conn.channel() as channel: queue_depth = channel.client.llen("celery") ``` По висящему сокету — не «connection refused», а чёрная дыра — это не возвращается никогда. Ручка, которую админ-UI опрашивает по таймеру, висела столько, сколько висел брокер. Тот же класс, что #2927: защита есть, время не ограничивает. ## Правка Проба уходит в тот же пул под тот же дедлайн. Отправляется **до** чтения результатов inspect, а не после — иначе к моменту её старта бюджет уже израсходован, и ей досталась бы только нижняя граница `max(0.1, ...)`. Это записано в коде: иначе следующий читатель переставит `submit` вниз «для порядка» и молча вернёт полсекунды из бюджета. ## Проверка — по времени, не по наличию except-ветки Существующий тест на зависание брокера этот случай **не покрывал**: в нём `llen` мгновенный, виснут только `inspect`. | | `origin/main` | с правкой | |---|---|---| | ручка при висящей пробе очереди | **3.01 с** — ровно длительность искусственного зависания | **< 2 с** | ``` AssertionError: ручка вернулась за 3.01 с при обещанных ~0.8 с — проба глубины очереди по-прежнему идёт без таймаута ``` Три существующих теста файла зелёные с обеих сторон. Тест дополнительно требует `queue_depth is None`: не смогли измерить — отдаём `None`, а не выдуманный ноль. Без этого «починка» могла бы свестись к возврату нуля по таймауту, что читалось бы как «очередь пуста». Виснем в тесте ограниченно (3 с), а не вечно: красный прогон не должен превращаться в зависший. `pytest -k "admin_scrape or queue or 2464c"`: 35 passed, 1 skipped, rc=0 `pytest tests/api/v1`: 354 passed, 1 skipped, rc=0 Refs #2464

bot-backend added 1 commit 2026-08-19 16:34:03 +00:00

fix(ptica): проба глубины очереди перестаёт висеть без таймаута (#2464 )

CI Trade-In / changes (pull_request) Successful in 8s

Details

CI / changes (pull_request) Successful in 10s

Details

CI Trade-In / backend-tests (pull_request) Has been skipped

Details

CI Trade-In / browser-tests (pull_request) Has been skipped

Details

CI Trade-In / frontend-checks (pull_request) Has been skipped

Details

CI / frontend-tests (pull_request) Has been skipped

Details

CI / openapi-codegen-check (pull_request) Successful in 3m0s

Details

CI / backend-tests (pull_request) Successful in 17m37s

Details

98e5229277

Ручка queue_status обещает в докстроке «worst-case latency ≈ 600 ms even if no
worker is reachable» — ради этого celery inspect уносили в поток под дедлайн
0.8 с, и #2927 починил там executor, который сводил защиту на нет.

Но следом шёл третий шаг — проба глубины очереди — СИНХРОННО и без таймаута
вовсе:

    with celery_app.connection_or_acquire() as conn:
        with conn.channel() as channel:
            queue_depth = channel.client.llen("celery")

По висящему сокету (не «connection refused», а чёрная дыра) это не возвращается
никогда. То есть обещание докстроки ломалось на последнем шаге, и ручка, которую
админ-UI опрашивает по таймеру, висела столько, сколько висел брокер.

Проба уходит в тот же пул под тот же дедлайн. Отправляется ДО чтения результатов
inspect, а не после: иначе к моменту её старта бюджет уже израсходован, и ей
достаётся только нижняя граница max(0.1, ...).

Существующий тест на зависание брокера этот случай не покрывал — в нём `llen`
мгновенный, виснут только inspect'ы.

Двусторонняя проверка ПО ВРЕМЕНИ: на origin/main ручка возвращается за 3.01 с
(ровно длительность искусственного зависания), с правкой — меньше 2 с. Тест
дополнительно требует queue_depth is None: не смогли измерить — отдаём None, а не
выдуманный ноль.

pytest -k "admin_scrape or queue or 2464c": 35 passed, 1 skipped, rc=0
pytest tests/api/v1: 354 passed, 1 skipped, rc=0
Тест перепрогнан после правок pre-commit ruff-format.