Compare commits
1 commit
main
...
fix/perime
| Author | SHA1 | Date | |
|---|---|---|---|
| 4b89138db5 |
453 changed files with 4232 additions and 60279 deletions
|
|
@ -82,40 +82,6 @@ jobs:
|
|||
python3 scripts/check-caddy-snippet-mounts.py --selftest
|
||||
python3 scripts/check-caddy-snippet-mounts.py
|
||||
|
||||
- name: "Guard: сервисы МЕРЫ не ссылаются на двоящееся имя"
|
||||
# ПТИЦА и МЕРА — разные compose-проекты, но оба назвали сервисы
|
||||
# `backend`/`postgres`/`frontend` и оба сидят в общей сети
|
||||
# gendesign_shared. Docker отдаёт на такое имя ДВА адреса, клиент
|
||||
# берёт любой.
|
||||
#
|
||||
# 30.08.2026 это уронило публичный лендинг: BACKEND_URL вёл в бэкенд
|
||||
# ПТИЦЫ, тот отвечал 401, и страница про точность рендерилась БЕЗ
|
||||
# ленты сделок, без строк сверки и без подписи разброса — то есть без
|
||||
# единого доказательства. Отказ тихий: fetch не бросает, приходит
|
||||
# валидный чужой ответ; а из-за двоения часть перегенераций попадала
|
||||
# в правильный адрес, и поломка выглядела случайной.
|
||||
run: |
|
||||
python3 scripts/check-compose-ambiguous-hosts.py --selftest
|
||||
python3 scripts/check-compose-ambiguous-hosts.py
|
||||
|
||||
- name: "Guard: подмена фронта МЕРЫ без окна недоступности (#3274)"
|
||||
# Тем же шагом-соседом и по той же причине: секунды на PR, падение
|
||||
# блокирует merge.
|
||||
#
|
||||
# ЗАЧЕМ. Публичный лендинг лежал 30–90 с на КАЖДОМ деплое МЕРЫ —
|
||||
# не потому, что подмена контейнера медленная (0,5 с), а потому, что
|
||||
# `up -d` со списком сервисов делает create всех (старые контейнеры
|
||||
# УДАЛЯЮТСЯ) и только потом start, дождавшись зависимостей. Лечение —
|
||||
# две половинки в разных файлах: `frontend` вынесен из общей пачки в
|
||||
# deploy-tradein.yml + ретрай подключения в caddy/sites/apps.caddy.
|
||||
# Обе обратимы молча и незаметно (дописать frontend обратно в SERVICES
|
||||
# «за компанию»; скопировать новый публичный путь с блока без импорта),
|
||||
# а отказ виден только непрерывной пробой во время деплоя — то есть
|
||||
# никогда, если её никто не запустил.
|
||||
run: |
|
||||
python3 scripts/check-frontend-swap-window.py --selftest
|
||||
python3 scripts/check-frontend-swap-window.py
|
||||
|
||||
- name: "Guard: Caddyfile синтаксически валиден"
|
||||
# Тем же шагом-соседом и по той же причине, что два гейта рядом: бежит
|
||||
# на КАЖДОМ PR, стоит секунды, падение блокирует merge.
|
||||
|
|
@ -219,30 +185,6 @@ jobs:
|
|||
- '.forgejo/workflows/deploy.yml'
|
||||
- '.forgejo/workflows/deploy-tradein.yml'
|
||||
- '.forgejo/workflows/ci.yml'
|
||||
# #3448: тот же класс, ещё раз. Гейт про исключающие `!`-шаблоны
|
||||
# в paths-filter проверяет ВСЕ воркфлоу, а paths-filter живёт и
|
||||
# здесь — без этой строки правка ci-tradein.yml с таким шаблоном
|
||||
# не запустила бы backend-tests, то есть гейт не побежал бы ровно
|
||||
# на той правке, от которой стережёт.
|
||||
- '.forgejo/workflows/ci-tradein.yml'
|
||||
# #3467/#3475: гейт backend/tests/ops/test_3467_prometheus_reload.py
|
||||
# читает оба файла ниже. Без них правка, трогающая ТОЛЬКО
|
||||
# deploy-metrics.yml (скажем, дописывающая `|| true` к шагу
|
||||
# перезагрузки Prometheus), даёт backend=false — джоба
|
||||
# backend-tests пропускается, гейт не исполняется, регрессия
|
||||
# уезжает в main зелёной. Ровно то, что осуждает комментарий выше.
|
||||
- '.forgejo/workflows/deploy-metrics.yml'
|
||||
- 'docker-compose.metrics.yml'
|
||||
# #3443: тот же класс, третий раз. Гейт
|
||||
# backend/tests/ops/test_3443_caddy_reload_not_recreate.py не читает
|
||||
# ops/caddy-apply.sh, а ИСПОЛНЯЕТ его с подставным `docker` — то есть
|
||||
# все содержательные регрессии живут в самом скрипте, а не в
|
||||
# deploy.yml. PR, правящий только ops/**, без этой строки давал бы
|
||||
# backend=false: джоба пропускается, гейт не исполняется, и
|
||||
# «пересоздавать всегда» (окно 67 с на всех доменах) или
|
||||
# «не пересоздавать никогда» (правка конфига беззвучно не доезжает)
|
||||
# уезжает в main зелёным.
|
||||
- 'ops/**'
|
||||
frontend:
|
||||
- 'frontend/**'
|
||||
- '.forgejo/workflows/ci.yml'
|
||||
|
|
|
|||
|
|
@ -90,13 +90,8 @@ jobs:
|
|||
METRICS_TELEGRAM_TOPIC_ID: ${{ secrets.METRICS_TELEGRAM_TOPIC_ID }}
|
||||
METRICS_TELEGRAM_INFRA_TOPIC_ID: ${{ secrets.METRICS_TELEGRAM_INFRA_TOPIC_ID }}
|
||||
METRICS_TELEGRAM_ONCALL: ${{ secrets.METRICS_TELEGRAM_ONCALL }}
|
||||
ALERT_ACK_GLITCHTIP_SECRET: ${{ secrets.ALERT_ACK_GLITCHTIP_SECRET }}
|
||||
# #3471: секрет ретранслятора Telegram Bot API (tg-relay). Пусто —
|
||||
# профиль relay не включаем (см. PROFILES ниже), а не падаем в
|
||||
# рестарт-луп: контейнер сам делает SystemExit на пустом секрете.
|
||||
TG_RELAY_SECRET: ${{ secrets.TG_RELAY_SECRET }}
|
||||
with:
|
||||
envs: METRICS_TELEGRAM_BOT_TOKEN,METRICS_TELEGRAM_CHAT_ID,METRICS_TELEGRAM_TOPIC_ID,METRICS_TELEGRAM_INFRA_TOPIC_ID,METRICS_TELEGRAM_ONCALL,ALERT_ACK_GLITCHTIP_SECRET,TG_RELAY_SECRET
|
||||
envs: METRICS_TELEGRAM_BOT_TOKEN,METRICS_TELEGRAM_CHAT_ID,METRICS_TELEGRAM_TOPIC_ID,METRICS_TELEGRAM_INFRA_TOPIC_ID,METRICS_TELEGRAM_ONCALL
|
||||
host: ${{ secrets.INFRA_DEPLOY_HOST || secrets.DEPLOY_HOST }}
|
||||
username: ${{ secrets.INFRA_DEPLOY_USER || secrets.DEPLOY_USER }}
|
||||
key: ${{ secrets.INFRA_DEPLOY_SSH_KEY || secrets.DEPLOY_SSH_KEY }}
|
||||
|
|
@ -193,14 +188,6 @@ jobs:
|
|||
echo "Инфраструктура: тема ${INFRA_TOPIC_ID} по умолчанию (METRICS_TELEGRAM_INFRA_TOPIC_ID не задана)."
|
||||
fi
|
||||
|
||||
# Резервный приёмник GlitchTip (#3471) отвечает 503 на любой
|
||||
# запрос, пока секрет пуст: тихо принимать чужие алерты настежь
|
||||
# хуже, чем не принимать вовсе. Молчаливого отказа тут быть не
|
||||
# должно — деплой обязан сказать, что канал не поднялся.
|
||||
if [ -z "${ALERT_ACK_GLITCHTIP_SECRET:-}" ]; then
|
||||
echo "::warning title=Резервный канал GlitchTip выключен::ALERT_ACK_GLITCHTIP_SECRET пуст — alert-ack отвечает 503 на /glitchtip, и при падении продуктового бэкенда его ошибки доставлять будет нечем."
|
||||
fi
|
||||
|
||||
if [ -n "${METRICS_TELEGRAM_ONCALL:-}" ]; then
|
||||
echo "Клиентские инциденты: зовём ${METRICS_TELEGRAM_ONCALL} поимённо."
|
||||
else
|
||||
|
|
@ -263,19 +250,6 @@ jobs:
|
|||
echo "::warning title=Алерты выключены::METRICS_TELEGRAM_BOT_TOKEN/CHAT_ID не заданы. Метрики и логи собираются, но при срабатывании правила НИКТО не будет уведомлён. Канал доставки — открытый вопрос #3078."
|
||||
fi
|
||||
|
||||
# Ретранслятор Telegram Bot API (#3471, PR #3487 сломал прод: сервис
|
||||
# без profiles уходил в SystemExit на пустом секрете и висел в
|
||||
# Restarting). Профиль relay включаем НЕЗАВИСИМО от alerts — это
|
||||
# разные каналы (один шлёт алерты боту, другой ретранслирует
|
||||
# продуктовый Bot API трафик с Selectel). PROFILES — список через
|
||||
# запятую, как того требует COMPOSE_PROFILES.
|
||||
if [ -n "${TG_RELAY_SECRET:-}" ]; then
|
||||
PROFILES="${PROFILES:+$PROFILES,}relay"
|
||||
echo "Ретранслятор Telegram: секрет задан, профиль relay включён."
|
||||
else
|
||||
echo "::warning title=Резервный ретранслятор Telegram выключен::TG_RELAY_SECRET пуст — tg-relay не поднимается (профиль relay выключен). Продуктовый Telegram-трафик пойдёт напрямую с Selectel, где теряется примерно каждый четвёртый короткий запрос."
|
||||
fi
|
||||
|
||||
# ── Цели file_sd для Prometheus (#3155) ────────────────────────
|
||||
# Включатель профиля и цель для Prometheus обязаны стоять в ОДНОМ
|
||||
# условии. Пока они жили порознь, вышло так: 27.08 профиль alerts
|
||||
|
|
@ -294,27 +268,19 @@ jobs:
|
|||
AM_TARGETS_FILE=ops/metrics/prometheus/alertmanager_targets.gen.yml
|
||||
: > "$AM_TARGETS_FILE"
|
||||
echo "# Файл рендерится деплоем (deploy-metrics.yml), правки руками затрутся." >> "$AM_TARGETS_FILE"
|
||||
# Сравнение через case, а не "=": PROFILES теперь может быть
|
||||
# комбинацией через запятую ("alerts,relay") с тех пор, как #3471
|
||||
# завёл независимый профиль relay — точное равенство строке
|
||||
# "alerts" сломалось бы молча в тот момент, когда оба профиля
|
||||
# включены разом.
|
||||
case ",$PROFILES," in
|
||||
*,alerts,*)
|
||||
if [ "$PROFILES" = "alerts" ]; then
|
||||
echo '- targets: ["alertmanager:9093"]' >> "$AM_TARGETS_FILE"
|
||||
echo " labels:" >> "$AM_TARGETS_FILE"
|
||||
echo " host: infra" >> "$AM_TARGETS_FILE"
|
||||
echo "Prometheus: приёмник alertmanager:9093 прописан в целях."
|
||||
;;
|
||||
*)
|
||||
else
|
||||
# Пустой список, а НЕ отсутствующий файл: одиночный бинд-маунт
|
||||
# несуществующего пути docker подменяет каталогом, и Prometheus
|
||||
# не стартует вовсе.
|
||||
echo "# Профиль alerts выключен — приёмников нет." >> "$AM_TARGETS_FILE"
|
||||
echo "[]" >> "$AM_TARGETS_FILE"
|
||||
echo "Prometheus: профиль alerts выключен — целей нет, это штатно."
|
||||
;;
|
||||
esac
|
||||
fi
|
||||
|
||||
# ── read-only роль для датасорса GlitchTip ─────────────────────
|
||||
# Идемпотентно. Прав на запись не выдаём вовсе: датасорс Grafana
|
||||
|
|
@ -326,43 +292,6 @@ jobs:
|
|||
COMPOSE_PROFILES="$PROFILES" \
|
||||
docker compose -p gendesign-metrics -f docker-compose.metrics.yml up -d --remove-orphans
|
||||
|
||||
# ── alert-ack / tg-relay: код монтируется с хоста ────────────────
|
||||
# Тот же класс бага, что у Alertmanager (см. ниже) и Caddyfile:
|
||||
# `up -d` сравнивает ОПИСАНИЕ сервиса, а не содержимое бинд-маунта.
|
||||
# alert-ack и tg-relay получают код именно бинд-маунтом файла
|
||||
# (./ops/metrics/{alert-ack,tg-relay}/app.py:/app/app.py:ro), а не
|
||||
# сборкой образа — правка app.py оставляет уже запущенный
|
||||
# контейнер работать на СТАРОМ коде в памяти интерпретатора сколько
|
||||
# угодно, и `up -d` этого не видит вовсе.
|
||||
#
|
||||
# Пойман на проде 12.09.2026: PR #3490 (фикс alert-ack) слился,
|
||||
# `git reset --hard` обновил файл на диске (grep по новому
|
||||
# комментарию находил его), а gendesign-alert-ack, запущенный за
|
||||
# 25 минут до этого, продолжал отвечать по старой логике —
|
||||
# зелёный деплой, тихо неверное поведение. Починил только ручной
|
||||
# `docker restart gendesign-alert-ack`. force-recreate здесь —
|
||||
# замена этому ручному шагу.
|
||||
#
|
||||
# case ",$PROFILES," — пересоздаём только если профиль сервиса
|
||||
# реально включён в ЭТОМ прогоне, иначе force-recreate ругается на
|
||||
# несуществующий контейнер (сервис не создан вовсе).
|
||||
case ",$PROFILES," in
|
||||
*,alerts,*)
|
||||
COMPOSE_PROFILES="$PROFILES" \
|
||||
docker compose -p gendesign-metrics -f docker-compose.metrics.yml \
|
||||
up -d --force-recreate alert-ack
|
||||
echo "alert-ack: контейнер пересоздан — код монтируется с хоста, up -d его не подхватывает (#3490)."
|
||||
;;
|
||||
esac
|
||||
case ",$PROFILES," in
|
||||
*,relay,*)
|
||||
COMPOSE_PROFILES="$PROFILES" \
|
||||
docker compose -p gendesign-metrics -f docker-compose.metrics.yml \
|
||||
up -d --force-recreate tg-relay
|
||||
echo "tg-relay: контейнер пересоздан — код монтируется с хоста, up -d его не подхватывает (#3490)."
|
||||
;;
|
||||
esac
|
||||
|
||||
# ── Alertmanager: пересоздать, если конфиг перерисовали ─────────
|
||||
# `up -d` выше СЧИТАЕТ alertmanager неизменившимся: он сравнивает
|
||||
# описание сервиса, а содержимое бинд-маунта в это сравнение не
|
||||
|
|
@ -415,51 +344,6 @@ jobs:
|
|||
done
|
||||
docker compose -p gendesign-metrics -f docker-compose.metrics.yml ps
|
||||
|
||||
# ── Prometheus: конфиг/правила лежат на диске, `up -d` их не
|
||||
# перечитывает ────────────────────────────────────────────────
|
||||
# Тот же класс бага, что у Caddyfile и alertmanager.yml выше:
|
||||
# docker compose сравнивает описание сервиса, а НЕ содержимое
|
||||
# бинд-маунта, поэтому уже работающий контейнер продолжает жить
|
||||
# со старым конфигом сколько угодно — на проде дошло до 16 суток
|
||||
# незамеченными (#3467): lastConfigTime совпадал со startTime
|
||||
# контейнера при каждом зелёном деплое, менявшем ops/metrics/prometheus/**.
|
||||
#
|
||||
# У Prometheus, в отличие от Alertmanager (см. комментарий выше),
|
||||
# /-/reload переоткрывает файлы ПО ПУТИ заново, поэтому новый инод
|
||||
# после `git reset --hard` подхватывается без пересоздания
|
||||
# контейнера. --web.enable-lifecycle уже включён в compose ради
|
||||
# этого шага (см. docker-compose.metrics.yml) — просто раньше
|
||||
# никто не звал сам reload.
|
||||
#
|
||||
# promtool проверяет ОБА файла ДО reload: битый конфиг не должен
|
||||
# положить работающий Prometheus молчаливым откатом на дефолты.
|
||||
if docker exec gendesign-prometheus promtool check config /etc/prometheus/prometheus.yml \
|
||||
&& docker exec gendesign-prometheus sh -c 'promtool check rules /etc/prometheus/rules/*.yml'; then
|
||||
LAST_CONFIG_BEFORE="$(docker exec gendesign-prometheus wget -qO- http://localhost:9090/api/v1/status/runtimeinfo | grep -oE '"lastConfigTime":"[^"]*"')"
|
||||
|
||||
docker exec gendesign-prometheus wget -q -O /dev/null --post-data='' http://localhost:9090/-/reload
|
||||
|
||||
# lastConfigTime обновляется на КАЖДЫЙ успешный reload, даже
|
||||
# если содержимое конфига не поменялось — значит сравнение
|
||||
# "было/стало" надёжно ловит и несостоявшийся reload, и
|
||||
# изменившиеся правила.
|
||||
LAST_CONFIG_AFTER=""
|
||||
for i in $(seq 1 10); do
|
||||
LAST_CONFIG_AFTER="$(docker exec gendesign-prometheus wget -qO- http://localhost:9090/api/v1/status/runtimeinfo | grep -oE '"lastConfigTime":"[^"]*"')"
|
||||
[ -n "$LAST_CONFIG_AFTER" ] && [ "$LAST_CONFIG_AFTER" != "$LAST_CONFIG_BEFORE" ] && break
|
||||
sleep 1
|
||||
done
|
||||
|
||||
if [ -z "$LAST_CONFIG_AFTER" ] || [ "$LAST_CONFIG_AFTER" = "$LAST_CONFIG_BEFORE" ]; then
|
||||
echo "ОШИБКА: reload Prometheus не подтверждён — lastConfigTime не изменился ($LAST_CONFIG_BEFORE)."
|
||||
exit 1
|
||||
fi
|
||||
echo "Prometheus: конфиг и правила проверены, reload подтверждён ($LAST_CONFIG_BEFORE -> $LAST_CONFIG_AFTER)."
|
||||
else
|
||||
echo "ОШИБКА: конфиг/правила Prometheus не проходят promtool — reload НЕ выполнен, работающий Prometheus остаётся на прежнем конфиге."
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# ═══ АГЕНТЫ — оба хоста ═══════════════════════════════════════════════════
|
||||
agent-apps:
|
||||
runs-on: ubuntu-latest
|
||||
|
|
@ -535,22 +419,11 @@ jobs:
|
|||
docker compose -p gendesign-metrics-agent \
|
||||
-f docker-compose.metrics-agent.yml up -d
|
||||
|
||||
# Конфиг Alloy — бинд-маунт ОДНОГО файла, а `git reset --hard` выше пишет
|
||||
# его новым инодом: `up -d` изменения не видит, контейнер держит старый.
|
||||
METRICS_ROLE=apps \
|
||||
METRICS_ALLOY_CONFIG=alloy-apps.alloy \
|
||||
COMPOSE_PROFILES="$EXPORTER_PROFILE" \
|
||||
docker compose -p gendesign-metrics-agent \
|
||||
-f docker-compose.metrics-agent.yml up -d --force-recreate alloy
|
||||
|
||||
sleep 10
|
||||
METRICS_ROLE=apps METRICS_ALLOY_CONFIG=alloy-apps.alloy COMPOSE_PROFILES="$EXPORTER_PROFILE" \
|
||||
docker compose -p gendesign-metrics-agent \
|
||||
-f docker-compose.metrics-agent.yml ps
|
||||
|
||||
[ "$(stat -c %i ops/metrics/alloy/alloy-apps.alloy)" = "$(docker exec gendesign-alloy stat -c %i /etc/alloy/config.alloy)" ] \
|
||||
|| { echo "::error::alloy читает старый инод конфига"; exit 1; }
|
||||
|
||||
agent-infra:
|
||||
runs-on: ubuntu-latest
|
||||
needs: server
|
||||
|
|
@ -605,18 +478,7 @@ jobs:
|
|||
docker compose -p gendesign-metrics-agent \
|
||||
-f docker-compose.metrics-agent.yml up -d
|
||||
|
||||
# Конфиг Alloy — бинд-маунт ОДНОГО файла, а `git reset --hard` (джоба server)
|
||||
# пишет его новым инодом: `up -d` изменения не видит, контейнер держит старый.
|
||||
METRICS_ROLE=infra \
|
||||
METRICS_ALLOY_CONFIG=alloy-infra.alloy \
|
||||
COMPOSE_PROFILES="$EXPORTER_PROFILE" \
|
||||
docker compose -p gendesign-metrics-agent \
|
||||
-f docker-compose.metrics-agent.yml up -d --force-recreate alloy
|
||||
|
||||
sleep 10
|
||||
METRICS_ROLE=infra METRICS_ALLOY_CONFIG=alloy-infra.alloy COMPOSE_PROFILES="$EXPORTER_PROFILE" \
|
||||
docker compose -p gendesign-metrics-agent \
|
||||
-f docker-compose.metrics-agent.yml ps
|
||||
|
||||
[ "$(stat -c %i ops/metrics/alloy/alloy-infra.alloy)" = "$(docker exec gendesign-alloy stat -c %i /etc/alloy/config.alloy)" ] \
|
||||
|| { echo "::error::alloy читает старый инод конфига"; exit 1; }
|
||||
|
|
|
|||
|
|
@ -511,24 +511,12 @@ jobs:
|
|||
# NEXT_PUBLIC_APP_VERSION/BUILD_SHA/BUILD_DATE — build-time (Next.js
|
||||
# инлайнит NEXT_PUBLIC_* в статику, runtime env их не подхватит,
|
||||
# см. frontend/Dockerfile комментарий у соответствующих ARG).
|
||||
# NEXT_PUBLIC_YM_ID/GA_ID/YANDEX_VERIFICATION/GOOGLE_VERIFICATION —
|
||||
# ПОКА ПУСТЫЕ: владелец ещё не завёл счётчики Метрики/GA4 и
|
||||
# мета-теги верификации поисковых консолей. Пустая строка = скрипт
|
||||
# счётчика НЕ рендерится вообще (контракт фронта, см. тот же
|
||||
# Dockerfile-комментарий). Когда номера появятся — вписать
|
||||
# литералом сюда И в retry-блок ниже (оба обязательны, иначе
|
||||
# ретрай без кеша уедет без счётчика), и это ТРЕБУЕТ пересборки
|
||||
# образа (build-time bake, не runtime-правка на проде).
|
||||
build-args: |
|
||||
NEXT_PUBLIC_BASE_PATH=/trade-in
|
||||
NEXT_PUBLIC_API_BASE_URL=/trade-in
|
||||
NEXT_PUBLIC_APP_VERSION=${{ needs.changes.outputs.app_version }}
|
||||
NEXT_PUBLIC_BUILD_SHA=${{ needs.changes.outputs.build_sha }}
|
||||
NEXT_PUBLIC_BUILD_DATE=${{ needs.changes.outputs.build_date }}
|
||||
NEXT_PUBLIC_YM_ID=
|
||||
NEXT_PUBLIC_GA_ID=
|
||||
NEXT_PUBLIC_YANDEX_VERIFICATION=
|
||||
NEXT_PUBLIC_GOOGLE_VERIFICATION=
|
||||
cache-from: type=registry,ref=${{ env.IMAGE_FRONTEND }}:buildcache
|
||||
cache-to: type=registry,ref=${{ env.IMAGE_FRONTEND }}:buildcache,mode=max
|
||||
tags: |
|
||||
|
|
@ -552,10 +540,6 @@ jobs:
|
|||
NEXT_PUBLIC_APP_VERSION=${{ needs.changes.outputs.app_version }}
|
||||
NEXT_PUBLIC_BUILD_SHA=${{ needs.changes.outputs.build_sha }}
|
||||
NEXT_PUBLIC_BUILD_DATE=${{ needs.changes.outputs.build_date }}
|
||||
NEXT_PUBLIC_YM_ID=
|
||||
NEXT_PUBLIC_GA_ID=
|
||||
NEXT_PUBLIC_YANDEX_VERIFICATION=
|
||||
NEXT_PUBLIC_GOOGLE_VERIFICATION=
|
||||
cache-to: type=registry,ref=${{ env.IMAGE_FRONTEND }}:buildcache,mode=max
|
||||
tags: |
|
||||
${{ env.IMAGE_FRONTEND }}:latest
|
||||
|
|
@ -1137,31 +1121,7 @@ jobs:
|
|||
# tradein-mvp/backend/** включает app/tgbot_main.py), никакого
|
||||
# in-flight state вроде scrape_runs → пересоздаётся безусловно вместе
|
||||
# с browser/backend/frontend, отдельного graceful-drain не требует.
|
||||
#
|
||||
# ── FRONTEND ЗДЕСЬ НЕТ. ЭТО И ЕСТЬ ЛЕЧЕНИЕ #3274 ─────────────────
|
||||
# Публичный лендинг лежал 30–90 с на КАЖДОМ деплое. Причина не в
|
||||
# том, что подмена контейнера медленная — она занимает полсекунды.
|
||||
# Причина в том, что `docker compose up -d` со СПИСКОМ сервисов
|
||||
# работает в две фазы: сначала create (старый контейнер каждого
|
||||
# сервиса останавливается и УДАЛЯЕТСЯ — иначе занято container_name),
|
||||
# и только потом start, в порядке зависимостей и с ожиданием их
|
||||
# условий. Между фазами фронта уже нет, а нового ещё нет.
|
||||
#
|
||||
# Замер на проде (docker inspect, 10.09, оба деплоя МЕРЫ):
|
||||
# пачка сервисов: tradein-backend создан 15:01:40 → запущен
|
||||
# 15:02:10 = 30 с (и 503 на лендинге в
|
||||
# 15:01:46/15:01:52/15:02:06 — ровно окно);
|
||||
# ОДИН сервис: tradein-frontend создан 16:42:17.5 → запущен
|
||||
# 16:42:18.0 = 0,5 с, 503 в логе нет вообще.
|
||||
# Тот же двухфазный порядок воспроизведён на стенде по меткам
|
||||
# .Created/.StartedAt: соседи создаются сразу, стартуют через 41 с.
|
||||
#
|
||||
# Поэтому фронт пересоздаётся ОТДЕЛЬНОЙ командой ниже, после этой
|
||||
# пачки: в его графе один сервис, фазы create и start идут подряд.
|
||||
# Остаток (~0,5 с) добирает ретрай подключения в Caddy — см.
|
||||
# снипет (tradein_frontend_retry) в caddy/sites/apps.caddy.
|
||||
# Гейт на обе половины: scripts/check-frontend-swap-window.py.
|
||||
SERVICES="browser backend tgbot"
|
||||
SERVICES="browser backend frontend tgbot"
|
||||
SCRAPER_STOP_TS=""
|
||||
scraper_stale=""
|
||||
if [ "${SCRAPER_RECREATE:-true}" = "true" ]; then
|
||||
|
|
@ -1257,21 +1217,6 @@ jobs:
|
|||
" || echo "WARNING: startup-reap query failed — orphaned runs (if any) fall back to the 6h zombie reaper"
|
||||
fi
|
||||
|
||||
# (4b) Фронт — ОТДЕЛЬНОЙ командой, один сервис в графе (#3274).
|
||||
# Обоснование и прод-замеры — у SERVICES выше. Здесь важен ПОРЯДОК:
|
||||
# эта команда идёт ПОСЛЕ пачки (backend уже поднят — новый SSR сразу
|
||||
# ходит в новый бэкенд) и ДО `caddy reload` ниже, чтобы reload, как
|
||||
# и раньше, оставался последним касанием прокси.
|
||||
#
|
||||
# ЗАЧЕМ ЖДАТЬ ПОСЛЕ КОМАНДЫ. `up -d` возвращает управление, когда
|
||||
# контейнер ЗАПУЩЕН, а не когда Next начал слушать (на проде между
|
||||
# ними ~0,1 с, см. journald «Ready in 110ms», но это не гарантия).
|
||||
# Полноценная проверка фронта — health-check ниже по файлу, он же
|
||||
# валит деплой при неудаче; здесь только короткая пауза, чтобы
|
||||
# ретрай Caddy (2 с) не пришёлся на ещё не слушающий порт.
|
||||
docker compose -p gendesign-tradein $COMPOSE_FILES up -d --no-deps frontend
|
||||
sleep 1
|
||||
|
||||
# (5) `docker restart tradein-backend` БОЛЬШЕ НЕ НУЖЕН (issue #2216).
|
||||
# История (PR #493 / deploy 1156): backend раньше поднимался ПЕРЕД
|
||||
# миграциями, его lifespan-hook (ensure_fdw_user_mapping) падал с
|
||||
|
|
|
|||
|
|
@ -121,98 +121,37 @@ jobs:
|
|||
infra: ${{ steps.filter.outputs.infra }}
|
||||
# #2916: правка ТОЛЬКО конфига прокси. `infra` для этого не годится — он
|
||||
# включает и compose, и сам workflow, где полный деплой обязателен.
|
||||
caddy_only: ${{ steps.filter.outputs.caddy_only }}
|
||||
# `github.event_name == 'push'` первым множителем НАМЕРЕННО: на
|
||||
# workflow_dispatch у paths-filter нет диффа, и любой его ответ не должен
|
||||
# уметь отключить сборку — ручной прогон обязан оставаться полным.
|
||||
caddy_only: ${{ github.event_name == 'push' && steps.filter.outputs.caddy == 'true' && steps.filter.outputs.non_caddy == 'false' }}
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
|
||||
# ── #3448: список изменённых файлов считаем САМИ ─────────────────────────
|
||||
#
|
||||
# ЧТО БЫЛО. Быстрый путь «правка только прокси» (#2916) не отработал НИ
|
||||
# РАЗУ. Причина — НЕ пустой `event.before`: эта гипотеза опровергнута
|
||||
# логом задачи 29244 (run 10881, мерж 84920e6c) — `before` там валиден,
|
||||
# 204e2e09…, и `git diff` вернул ровно один файл. Причина в семантике
|
||||
# самого фильтра: dorny/paths-filter склеивает шаблоны ОДНОГО фильтра
|
||||
# через `some`, то есть ИЛИ (src/filter.ts: `patterns.some(aPredicate)`,
|
||||
# predicate-quantifier по умолчанию `some`). Список
|
||||
# non_caddy: ['**', '!Caddyfile', '!caddy/**']
|
||||
# читается не как «всё, КРОМЕ caddy», а как «подходит под `**` ИЛИ не
|
||||
# Caddyfile ИЛИ не caddy/**». `**` матчит всё, поэтому non_caddy был true
|
||||
# ВСЕГДА и caddy_only — false всегда. В логе это видно дословно:
|
||||
# ##[group]Filter non_caddy = true
|
||||
# Matching files:
|
||||
# caddy/sites/apps.caddy [modified]
|
||||
# Исключённый файл сам себя и «исключил». deploy-caddy при этом
|
||||
# пропускался, а Forgejo рисует пропущенную джобу зелёной — сигнала не
|
||||
# было ни одного.
|
||||
#
|
||||
# ПОЧЕМУ ШЕЛЛ, А НЕ ЗАПЛАТКА К ФИЛЬТРАМ. Разность множеств тут нужна одна
|
||||
# («все изменения лежат под caddy»), и выражать её действием, у которого
|
||||
# ИЛИ по умолчанию, — значит снова повесить решение на незаметное
|
||||
# умолчание: `predicate-quantifier: every` действует на ВЕСЬ блок и
|
||||
# сломал бы backend/frontend/infra. Плюс два требования #3448: решение
|
||||
# обязано быть ВИДНО в логе (иначе «сработало» и «просто не совпало»
|
||||
# неотличимы), и оно не должно молча зависеть от того, что платформа
|
||||
# кладёт в `before`.
|
||||
#
|
||||
# FAIL-SAFE. База не разрешилась (ручной запуск, пустой/нулевой `before`,
|
||||
# коммита нет на сервере) → считаем изменённым ВЕСЬ репозиторий: лишний
|
||||
# полный деплой безопаснее пропущенного. Фолбэка на `HEAD^..HEAD` тут
|
||||
# намеренно нет: у мерж-коммита он дал бы верный ответ, а у push'а из
|
||||
# нескольких коммитов — молча урезанный, и быстрый путь включился бы
|
||||
# там, где приехал бэкенд.
|
||||
- name: Определить изменённые файлы (#3448)
|
||||
- uses: dorny/paths-filter@v3
|
||||
id: filter
|
||||
env:
|
||||
BEFORE: ${{ github.event.before }}
|
||||
EVENT: ${{ github.event_name }}
|
||||
run: |
|
||||
set -eu
|
||||
NULL_SHA=0000000000000000000000000000000000000000
|
||||
BASE=""
|
||||
if [ "$EVENT" = "push" ] && [ -n "${BEFORE:-}" ] && [ "$BEFORE" != "$NULL_SHA" ]; then
|
||||
git cat-file -e "${BEFORE}^{commit}" 2>/dev/null \
|
||||
|| git fetch --depth=1 --no-tags origin "$BEFORE" >/dev/null 2>&1 \
|
||||
|| true
|
||||
if git cat-file -e "${BEFORE}^{commit}" 2>/dev/null; then
|
||||
BASE="$BEFORE"
|
||||
else
|
||||
echo "::warning::коммит $BEFORE недоступен в клоне — деплой будет полным"
|
||||
fi
|
||||
fi
|
||||
|
||||
if [ -n "$BASE" ]; then
|
||||
FILES=$(git -c core.quotePath=false diff --no-renames --name-only "$BASE" HEAD)
|
||||
N=$(printf '%s\n' "$FILES" | grep -c . || true)
|
||||
echo "База: $BASE → $(git rev-parse HEAD); изменённых файлов: $N"
|
||||
printf '%s\n' "$FILES" | sed 's/^/ /'
|
||||
else
|
||||
FILES=$(git -c core.quotePath=false ls-files)
|
||||
N=$(printf '%s\n' "$FILES" | grep -c . || true)
|
||||
echo "База не определена (event=$EVENT, before='${BEFORE:-}') — считаем изменённым весь репозиторий ($N файлов), деплой полный"
|
||||
fi
|
||||
|
||||
# Те же наборы путей, что были в фильтрах до #3448.
|
||||
CADDY_RE='^(Caddyfile$|caddy/)'
|
||||
has() { printf '%s\n' "$FILES" | grep -qE "$1"; }
|
||||
|
||||
backend=false; frontend=false; infra=false; caddy_only=false
|
||||
has '^(backend/|data/sql/)' && backend=true
|
||||
has '^frontend/' && frontend=true
|
||||
has '^(docker-compose\.prod\.yml$|Caddyfile$|caddy/|\.forgejo/workflows/deploy\.yml$)' && infra=true
|
||||
# Быстрый путь: изменения ЕСТЬ и НИ ОДНО из них не лежит вне caddy.
|
||||
# Проверка `N -gt 0` обязательна: пустой список иначе прошёл бы как
|
||||
# «всё под caddy» и отключил бы сборку на ровном месте.
|
||||
if [ "$N" -gt 0 ] && ! printf '%s\n' "$FILES" | grep -vE "$CADDY_RE" | grep -q .; then
|
||||
caddy_only=true
|
||||
fi
|
||||
|
||||
echo "Флаги: backend=$backend frontend=$frontend infra=$infra caddy_only=$caddy_only"
|
||||
{
|
||||
echo "backend=$backend"
|
||||
echo "frontend=$frontend"
|
||||
echo "infra=$infra"
|
||||
echo "caddy_only=$caddy_only"
|
||||
} >> "$GITHUB_OUTPUT"
|
||||
with:
|
||||
filters: |
|
||||
backend:
|
||||
- 'backend/**'
|
||||
- 'data/sql/**'
|
||||
frontend:
|
||||
- 'frontend/**'
|
||||
infra:
|
||||
- 'docker-compose.prod.yml'
|
||||
- 'Caddyfile'
|
||||
- 'caddy/**'
|
||||
- '.forgejo/workflows/deploy.yml'
|
||||
# Пара фильтров для «правка ТОЛЬКО прокси» (#2916). Одного `caddy`
|
||||
# мало: он true и когда вместе с конфигом приехал бэкенд — тогда
|
||||
# нужен обычный полный деплой. `non_caddy` матчит ВСЁ остальное,
|
||||
# и быстрый путь включается лишь когда он false.
|
||||
caddy:
|
||||
- 'Caddyfile'
|
||||
- 'caddy/**'
|
||||
non_caddy:
|
||||
- '**'
|
||||
- '!Caddyfile'
|
||||
- '!caddy/**'
|
||||
|
||||
build-backend:
|
||||
runs-on: ubuntu-latest
|
||||
|
|
@ -657,11 +596,6 @@ jobs:
|
|||
# #3029: подлинность хоста. Секрет НЕ задан → пустая строка → easyssh-proxy
|
||||
# оставляет ssh.InsecureIgnoreHostKey(), то есть сегодняшнее поведение.
|
||||
fingerprint: ${{ secrets.DEPLOY_SSH_FINGERPRINT }}
|
||||
# #3324: дефолт appleboy/ssh-action — command_timeout 10m, а worst-case
|
||||
# гейта в конце скрипта ~17 мин (4 сервиса × 240s ожидания healthy +
|
||||
# фронт + diagnose). Сессию убило бы посреди печати диагноза, и авария
|
||||
# выглядела бы обрывом связи, а не мёртвым контейнером.
|
||||
command_timeout: 30m
|
||||
envs: IMAGE_TAG,SENTRY_RELEASE_VAL,GHCR_PAT,GLITCHTIP_BACKEND_DSN,OBJECTIVE_API_KEY,OPENAI_API_KEY,LLM_ENABLED,OWN_DEVELOPER_IDS,WORKER_RECREATE_GUARD,WORKER_GUARD_MAX_SKIP_H
|
||||
script: |
|
||||
set -euo pipefail
|
||||
|
|
@ -1058,17 +992,12 @@ jobs:
|
|||
docker compose -p gendesign -f docker-compose.prod.yml up -d \
|
||||
--force-recreate --no-deps $WORKER_SERVICES
|
||||
|
||||
# Caddy: пересоздание ТОЛЬКО когда без него правка не доедет (#3443).
|
||||
# Здесь стоял безусловный `up -d --force-recreate --no-deps caddy` —
|
||||
# то есть КАЖДЫЙ полный деплой сносил единственный процесс, слушающий
|
||||
# 80/443, и все домены хоста отдавали `code=000` (замер 05.09: 67 с).
|
||||
# Довод той правки (17.05, 11e78d73 — «иначе новые volume mounts не
|
||||
# появляются») не подтвердился: `up -d` БЕЗ флага пересоздаёт
|
||||
# контейнер сам, как только меняется описание сервиса или образ.
|
||||
# Разбор и проверки — в шапке ops/caddy-apply.sh; там же сверка
|
||||
# пофайловых bind-маунтов (Caddyfile + 4 сниппета держат инод) и
|
||||
# `caddy validate` до применения.
|
||||
sh ops/caddy-apply.sh
|
||||
# Caddy: force-recreate чтобы подхватить изменения в Caddyfile
|
||||
# И в особенности новые volume mounts из docker-compose.prod.yml
|
||||
# (`reload` не пересоздаёт container, поэтому новые binds не появляются —
|
||||
# был случай 2026-05-17 с PR #268 preview/ — потребовался manual SSH fix).
|
||||
docker compose -p gendesign -f docker-compose.prod.yml up -d \
|
||||
--force-recreate --no-deps caddy
|
||||
|
||||
# Forwarder: force-recreate чтобы новый image / новые env подхватывались.
|
||||
# Без --force-recreate обычный `up -d` НЕ recreate'ит при image rebuild
|
||||
|
|
@ -1108,171 +1037,6 @@ jobs:
|
|||
fi
|
||||
echo "→ backend healthy на /health."
|
||||
|
||||
# ── Гейт деплоя (#3324) ────────────────────────────────────────────
|
||||
# ДО этого блока весь гейт ПТИЦЫ = один `curl backend /health` выше:
|
||||
# worker/beat не проверялись вообще (у них и healthcheck'а в compose не
|
||||
# было), у frontend была только TCP-проба внутри контейнера, которую
|
||||
# деплой не читал. То есть crash-loop воркера, вставший beat и фронт,
|
||||
# отдающий 500, уезжали ЗЕЛЁНЫМ деплоем. Дисциплина перенесена из
|
||||
# deploy-tradein.yml (health каждого сервиса + HTTP фронта + сверка
|
||||
# образов), сюда добавлено чтение docker-health, потому что у ПТИЦЫ
|
||||
# пробы теперь описаны в compose.
|
||||
# `up -d --wait` НЕ используется намеренно: подъём здесь разбит на
|
||||
# несколько `up` (bulk без worker'а → guard #3029 → caddy → forwarder),
|
||||
# и общий --wait ждал бы ещё и профильные/инфраструктурные сервисы,
|
||||
# ломая порядок «миграции до подъёма кода». Читаем состояние явно.
|
||||
# Все проверки выполняются ДО выхода (не падаем на первой) — один
|
||||
# прогон обязан показать ВСЕ поломанные сервисы, а не первый по списку.
|
||||
# tail -n1: у сервиса может остаться залежавшийся exited-контейнер, и
|
||||
# тогда `ps -aq` вернёт НЕСКОЛЬКО id через \n — `docker inspect` с таким
|
||||
# аргументом падает, статус приходит пустым и гейт краснеет на ровном
|
||||
# месте. Последний id — самый свежий контейнер сервиса.
|
||||
cid() { docker compose -p gendesign -f docker-compose.prod.yml ps -aq "$1" 2>/dev/null | tail -n1 || true; }
|
||||
|
||||
diagnose() { # $1 сервис, $2 id контейнера (может быть пустым)
|
||||
local svc="$1" c="$2"
|
||||
echo "── ДИАГНОЗ $svc ──"
|
||||
if [ -z "$c" ]; then
|
||||
echo " контейнера нет вообще (docker compose ps -aq $svc пусто)"
|
||||
return 0
|
||||
fi
|
||||
docker inspect -f ' state={{.State.Status}} health={{if .State.Health}}{{.State.Health.Status}}{{else}}<healthcheck не сконфигурирован>{{end}} restarts={{.RestartCount}} exit_code={{.State.ExitCode}} image={{.Image}}' "$c" || true
|
||||
echo " healthcheck log:"
|
||||
docker inspect -f '{{json .State.Health}}' "$c" 2>/dev/null | head -c 2000 || true
|
||||
echo ""
|
||||
echo " последние 40 строк логов $svc:"
|
||||
docker logs --tail 40 "$c" 2>&1 | sed 's/^/ /' || true
|
||||
}
|
||||
|
||||
wait_healthy() { # $1 сервис, $2 таймаут, с
|
||||
local svc="$1" deadline="$2" c="" status="" alive="" r0="" r1="" waited=0
|
||||
while [ "$waited" -lt "$deadline" ]; do
|
||||
c="$(cid "$svc")"
|
||||
if [ -n "$c" ]; then
|
||||
status="$(docker inspect -f '{{if .State.Health}}{{.State.Health.Status}}{{else}}none:{{.State.Status}}{{end}}' "$c" 2>/dev/null || echo '')"
|
||||
case "$status" in
|
||||
healthy)
|
||||
echo "→ $svc healthy (за ${waited}s)"
|
||||
return 0
|
||||
;;
|
||||
none:running)
|
||||
# Контейнер без healthcheck-конфига = создан ДО этой правки
|
||||
# compose и в этом прогоне не пересоздавался (штатный случай —
|
||||
# worker, пропущенный guard'ом #3029). Валить деплой за это
|
||||
# нельзя, но и молчать нельзя: падаем на «стабильный running»
|
||||
# (двойное чтение, как tgbot/scraper в deploy-tradein.yml).
|
||||
# Одного `running` дважды НЕДОСТАТОЧНО: crash-loop с временем
|
||||
# жизни больше паузы читается как «стабилен» — контейнер оба
|
||||
# раза running, просто это разные его жизни. Поэтому вместе со
|
||||
# статусом сверяем RestartCount: изменился за окно = именно
|
||||
# тот дефект, ради которого этот гейт и писался.
|
||||
r0="$(docker inspect -f '{{.RestartCount}}' "$c" 2>/dev/null || echo '')"
|
||||
sleep 15
|
||||
alive="$(docker inspect -f '{{.State.Status}}' "$c" 2>/dev/null || echo unknown)"
|
||||
r1="$(docker inspect -f '{{.RestartCount}}' "$c" 2>/dev/null || echo '')"
|
||||
if [ "$alive" = "running" ] && [ -n "$r0" ] && [ "$r0" = "$r1" ]; then
|
||||
echo "→ $svc: healthcheck не сконфигурирован (контейнер не пересоздавался), running стабилен (RestartCount=$r0 не изменился за 15s)"
|
||||
return 0
|
||||
fi
|
||||
# waited растёт на длину ЭТОЙ паузы тоже — иначе таймаут
|
||||
# 240s превратился бы в ~24 минуты реального ожидания и упёрся
|
||||
# бы в command_timeout SSH-сессии.
|
||||
waited=$((waited + 15))
|
||||
echo " $svc: running нестабилен — status='$alive', RestartCount ${r0:-<нет>}→${r1:-<нет>} (контейнер перезапускался внутри окна наблюдения); продолжаю ждать"
|
||||
;;
|
||||
esac
|
||||
fi
|
||||
waited=$((waited + 3))
|
||||
sleep 3
|
||||
done
|
||||
echo "ERROR (#3324): $svc не стал healthy за ${deadline}s (последний статус: '${status:-<контейнера нет>}') — деплой FAILED"
|
||||
diagnose "$svc" "$c"
|
||||
return 1
|
||||
}
|
||||
|
||||
health_rc=0
|
||||
for gate_svc in backend worker beat frontend; do
|
||||
wait_healthy "$gate_svc" 240 || health_rc=$?
|
||||
done
|
||||
|
||||
# Фронт: HTTP-СТАТУС, а не только «порт слушает». Compose-проба фронта
|
||||
# намеренно TCP-only (в node:alpine нет ни curl, ни wget), и она не
|
||||
# отличает живой Next.js от процесса, отдающего 500 на каждый запрос.
|
||||
# Тянем с хоста через опубликованный 127.0.0.1:3000. basePath у ПТИЦЫ
|
||||
# нет (frontend/next.config.*), корень — настоящий маршрут приложения.
|
||||
# Годным считаем 2xx/3xx: редирект middleware'а на логин — это живой
|
||||
# роутинг, а не поломка (тот же критерий, что `curl -f` в tradein).
|
||||
fe_rc=0
|
||||
fe_code=000
|
||||
for i in $(seq 1 5); do
|
||||
fe_code="$(curl -s -o /dev/null -w '%{http_code}' --max-time 10 http://localhost:3000/ || echo 000)"
|
||||
case "$fe_code" in
|
||||
2*|3*) break ;;
|
||||
esac
|
||||
sleep 3
|
||||
done
|
||||
case "$fe_code" in
|
||||
2*|3*) echo "→ frontend отвечает HTTP $fe_code на /." ;;
|
||||
*)
|
||||
echo "ERROR (#3324): frontend на http://localhost:3000/ вернул '$fe_code' (000 = соединения нет) — деплой FAILED"
|
||||
diagnose frontend "$(cid frontend)"
|
||||
fe_rc=1
|
||||
;;
|
||||
esac
|
||||
|
||||
# Сверка образов (приём #2679 из deploy-tradein.yml, адаптирован под
|
||||
# ПТИЦУ). Здесь не одно «backend-семейство»: backend и beat бегут один
|
||||
# образ gendesign-backend, worker и frontend — свои. Поэтому эталон не
|
||||
# «образ backend'а», а то, что реально лежит локально под тегом
|
||||
# $IMAGE_TAG после pull'а: контейнер, оставшийся на другом id, работает
|
||||
# на старом коде при зелёном деплое.
|
||||
# Гард свежести самого :latest в registry — отдельный шаг выше
|
||||
# (scripts/check-latest-image-revision.sh, #2950); здесь проверяется
|
||||
# следующее звено: доехал ли уже скачанный образ до контейнера.
|
||||
check_image() { # $1 сервис, $2 репозиторий образа
|
||||
local svc="$1" repo="$2" want run c
|
||||
want="$(docker image inspect -f '{{.Id}}' "$repo:$IMAGE_TAG" 2>/dev/null || echo '')"
|
||||
c="$(cid "$svc")"
|
||||
run="$(docker inspect -f '{{.Image}}' "$c" 2>/dev/null || echo '')"
|
||||
if [ -z "$want" ]; then
|
||||
echo "ERROR (#3324): локально нет образа $repo:$IMAGE_TAG — сверять не с чем (pull не отработал?)"
|
||||
return 1
|
||||
fi
|
||||
if [ -z "$run" ]; then
|
||||
echo "ERROR (#3324): контейнера сервиса $svc НЕТ — это не «отставший образ», а неполный стек"
|
||||
return 1
|
||||
fi
|
||||
if [ "$want" != "$run" ]; then
|
||||
echo "ERROR (#3324): $svc ОТСТАЛ: работает на $run, а $repo:$IMAGE_TAG — это $want"
|
||||
echo " лечение: docker compose -p gendesign -f docker-compose.prod.yml up -d --force-recreate --no-deps $svc"
|
||||
diagnose "$svc" "$c"
|
||||
return 1
|
||||
fi
|
||||
echo "→ $svc на свежем $repo:$IMAGE_TAG ($run)"
|
||||
}
|
||||
|
||||
image_rc=0
|
||||
check_image backend ghcr.io/lekss361/gendesign-backend || image_rc=$?
|
||||
check_image beat ghcr.io/lekss361/gendesign-backend || image_rc=$?
|
||||
check_image frontend ghcr.io/lekss361/gendesign-frontend || image_rc=$?
|
||||
# worker сверяем ТОЛЬКО если этот прогон его пересоздавал: guard #3029
|
||||
# намеренно оставляет worker на старом образе, пока идёт живой прогон
|
||||
# скрейпа, и это уже отражено WARNING'ом выше. Падать здесь означало бы
|
||||
# красить деплой за штатное поведение guard'а.
|
||||
case " $WORKER_SERVICES " in
|
||||
*" worker "*) check_image worker ghcr.io/lekss361/gendesign-worker || image_rc=$? ;;
|
||||
*) echo "→ сверка образа worker'а пропущена: guard #3029 не пересоздавал его в этом прогоне (см. WARNING выше)" ;;
|
||||
esac
|
||||
|
||||
# Явный rc: «зелёная сводка» ниже печатается ДО выхода, поэтому итог
|
||||
# обязан быть числом в логе, а не выводом из отсутствия ERROR-строк.
|
||||
gate_rc=0
|
||||
[ "$health_rc" = 0 ] || gate_rc=1
|
||||
[ "$fe_rc" = 0 ] || gate_rc=1
|
||||
[ "$image_rc" = 0 ] || gate_rc=1
|
||||
echo "Гейт деплоя (#3324): health_rc=$health_rc frontend_rc=$fe_rc image_rc=$image_rc → rc=$gate_rc"
|
||||
exit "$gate_rc"
|
||||
|
||||
# Честный итог прогона (#2841). ПРОБЛЕМА: `deploy` пропускается своим `if:`
|
||||
# молча (result=skipped), когда build падает (например, битый blob в
|
||||
# buildcache роняет `docker/build-push-action` — до ретрая выше, #2841).
|
||||
|
|
@ -1295,13 +1059,14 @@ jobs:
|
|||
# Публичный периметр МЕРЫ живёт в этом файле и будет меняться часто: новая
|
||||
# страница = новая строка allowlist'а.
|
||||
#
|
||||
# ПОЧЕМУ `reload`, А НЕ `up -d --force-recreate caddy`. Опечатка в конфиге на
|
||||
# пересоздании уводит контейнер в crash-loop и роняет ВСЕ домены сразу, а
|
||||
# `caddy reload` её просто не принимает: job краснеет, домены продолжают
|
||||
# обслуживаться прежним конфигом. С #3443 ровно тот же порядок действует и на
|
||||
# полном деплое — оба пути зовут ops/caddy-apply.sh, который сперва проверяет
|
||||
# конфиг одноразовым контейнером и пересоздаёт Caddy, только если правка иначе
|
||||
# не доедет (пофайловый bind-маунт держит инод).
|
||||
# ПОЧЕМУ `reload`, А НЕ `up -d --force-recreate caddy`. Полный деплой
|
||||
# осознанно пересоздаёт контейнер (комментарий в ci.yml: `reload` отказался бы
|
||||
# принять битый конфиг и оставил бы работать старый — на общем деплое это
|
||||
# скрыло бы поломку). Здесь наоборот: правится ТОЛЬКО конфиг, и отказ
|
||||
# применить битый — ровно то, что нужно. `caddy reload` возвращает ненулевой
|
||||
# код → job краснеет, а домены продолжают обслуживаться старым конфигом.
|
||||
# Альтернатива (`--force-recreate`) на опечатке уводит контейнер в crash-loop
|
||||
# и роняет ВСЕ домены сразу.
|
||||
#
|
||||
# Гейт `caddy validate` на PR (#2913) остаётся первой линией; этот шаг —
|
||||
# вторая, уже против боевого файла после `git reset`.
|
||||
|
|
@ -1347,73 +1112,14 @@ jobs:
|
|||
fingerprint: ${{ secrets.DEPLOY_SSH_FINGERPRINT }}
|
||||
script: |
|
||||
set -euo pipefail
|
||||
# #3448: ТОТ ЖЕ ЛОК, что берёт полный деплой (см. job `deploy` выше).
|
||||
# Эта джоба делает `git reset --hard` в /opt/gendesign, то есть правит
|
||||
# прод-дерево — ровно то, что полный деплой сериализует локом. Пока
|
||||
# быстрый путь был мёртв, столкнуться было нечему; теперь есть.
|
||||
exec 9>/var/lock/gendesign-docker-deploy.lock
|
||||
if flock -n 9; then
|
||||
echo "→ докер-лок свободен, взят сразу"
|
||||
else
|
||||
echo "→ докер-лок занят соседним деплоем, жду (до 900с)…"
|
||||
lock_wait_started=$(date +%s)
|
||||
if ! flock -w 900 9; then
|
||||
echo "ERROR: не дождался лока докер-деплоя за 900с."
|
||||
echo " Кто держит: ssh на хост, затем fuser -v /var/lock/gendesign-docker-deploy.lock"
|
||||
exit 1
|
||||
fi
|
||||
echo "→ докер-лок получен через $(( $(date +%s) - lock_wait_started ))с ожидания"
|
||||
fi
|
||||
cd /opt/gendesign
|
||||
git fetch origin main
|
||||
|
||||
# ── #3448: быстрый путь законен, только если прод отстаёт РОВНО на
|
||||
# конфиг прокси ────────────────────────────────────────────────────
|
||||
#
|
||||
# Джоба `changes` считает дифф between-push (before→HEAD) и не знает,
|
||||
# что доехало до прода. Пока caddy_only был мёртв, любой push шёл
|
||||
# полным деплоем и гард свежести :latest (#2950, job `deploy`)
|
||||
# прикрывал прод по умолчанию. Оживший быстрый путь этот гард
|
||||
# обходит: при caddy_only=true джоба `deploy` пропускается целиком.
|
||||
#
|
||||
# Сценарий отказа: push A правит бэкенд, билды ~6 мин, `deploy` в
|
||||
# очереди; через 2 мин push B правит только caddy/. Forgejo на
|
||||
# 10.0.3 отменяет ещё не стартовавший `deploy` предыдущего прогона
|
||||
# ДАЖЕ при cancel-in-progress: false (наблюдение 21.08.2026 10:35:13,
|
||||
# см. шапку scripts/check-latest-image-revision.sh). Дифф A..B — один
|
||||
# caddy-файл, быстрый путь включается, `compose pull` + `up -d` не
|
||||
# делает никто: прод крутит старый образ при зелёной голове main.
|
||||
#
|
||||
# Единственный источник правды о том, что реально на проде, — HEAD
|
||||
# прод-дерева (у Trade-In для этого заведён отдельный маркер
|
||||
# /opt/gendesign/.tradein-deployed-sha, см. deploy-tradein.yml:150;
|
||||
# у ПТИЦЫ маркера нет, но git reset ниже делает HEAD эквивалентом).
|
||||
# Проверка стоит ДО reset намеренно: при отказе прод-HEAD остаётся
|
||||
# честным для следующего прогона.
|
||||
#
|
||||
# ЧЕГО ЭТА ПРОВЕРКА НЕ ЛОВИТ: `deploy` прогона A, упавшую ПОСЛЕ
|
||||
# `git reset --hard` (например на миграции). Тогда прод-HEAD уже
|
||||
# равен A, а контейнеры старые, и caddy-only push пройдёт быстрым
|
||||
# путём. Это остаётся за настоящим маркером «что задеплоено».
|
||||
PROD_HEAD=$(git rev-parse HEAD)
|
||||
OUTSIDE=$(git -c core.quotePath=false diff --name-only "$PROD_HEAD" origin/main | grep -vE '^(Caddyfile$|caddy/)' || true)
|
||||
if [ -n "$OUTSIDE" ]; then
|
||||
echo "::error::прод отстаёт не только по конфигу прокси — быстрый путь запрещён:"
|
||||
printf '%s\n' "$OUTSIDE" | sed 's/^/ /'
|
||||
echo "Запусти полный деплой через workflow_dispatch."
|
||||
exit 1
|
||||
fi
|
||||
git reset --hard origin/main
|
||||
# #3443: тот же скрипт, что и в полном деплое. Голый `exec caddy
|
||||
# reload` здесь был ВЕРЕН только для каталогов (caddy/sites/**,
|
||||
# caddy/local/**). Caddyfile и четыре сниппета смонтированы
|
||||
# ПОФАЙЛОВО, а `git reset --hard` выше пишет новый инод — контейнер
|
||||
# остаётся на прежнем, и reload перечитывает СТАРЫЙ текст. Отказ
|
||||
# беззвучный: джоба зелёная, конфиг на диске новый, прокси работает
|
||||
# по старому. Скрипт сверяет, что именно видит контейнер, и
|
||||
# пересоздаёт его только в этом случае.
|
||||
sh ops/caddy-apply.sh
|
||||
echo "✓ быстрый путь завершён: без пересборки образов и без миграций"
|
||||
# Конфиг примонтирован read-only с хоста, пересборка не нужна —
|
||||
# контейнер читает тот же файл, что только что обновил git.
|
||||
docker compose -p gendesign -f docker-compose.prod.yml exec -T caddy \
|
||||
caddy reload --config /etc/caddy/Caddyfile --adapter caddyfile
|
||||
echo "✓ конфиг прокси перезагружен без пересборки и без миграций"
|
||||
|
||||
# ── Смоук публичного периметра МЕРЫ после выкатки (#2917) ──────────────────
|
||||
#
|
||||
|
|
|
|||
|
|
@ -35,35 +35,7 @@ concurrency:
|
|||
jobs:
|
||||
smoke:
|
||||
runs-on: ubuntu-latest
|
||||
# 11.09.2026: было 5 минут — теперь мало. В скрипте появились пауза между
|
||||
# проверками (2 c) и повтор запроса, если ответа не пришло вовсе: обычный
|
||||
# прогон вырос с ~89 c до ~175 c, а ХУДШИЙ случай — гораздо больше, потому
|
||||
# что каждая неотвечающая проверка стоит до 3×15 c таймаута плюс паузы
|
||||
# (~53 c против обычных ~2 c).
|
||||
#
|
||||
# 12.09.2026: 10 минут — тоже мало, и мало ровно в том сценарии, ради
|
||||
# которого повтор писался. АРИФМЕТИКА ХУДШЕГО СЛУЧАЯ. Одна неотвечающая
|
||||
# проверка сетевого класса = 3×15 c таймаута + 2 c и 4 c пауз ретрая + 2 c
|
||||
# паузы между проверками = 53 c. Прод не отвечает целиком (DNS не
|
||||
# резолвится, вход лежит) — мертвы ВСЕ проверки: 43 × 53 = 2279 c ≈ 38 мин.
|
||||
# Откуда 43 (замер 12.09, зелёный прогон против прода — 43 PASS за 167 c):
|
||||
# 42 обычные проверки + отдельная загрузка HTML лэндинга; 43-я, производный
|
||||
# layout-чанк, при мёртвом ответе не запрашивается вовсе — запросов ровно
|
||||
# столько же.
|
||||
# В 10 минут помещалось ~8 мёртвых проверок из 43, дальше job убивали ДО
|
||||
# печати FAIL-строк и итога — то есть лог терялся при полном отказе прода.
|
||||
#
|
||||
# Правка «повторяем только сетевой класс» (12.09) худший случай НЕ
|
||||
# уменьшает: 15-секундный таймаут как раз сетевой (rc=28) и повторяется
|
||||
# по-прежнему. Она удешевляет ДРУГОЙ сценарий — протухший/чужой сертификат
|
||||
# (rc=60): отказ приходит сразу и без повторов. Замер 12.09 на
|
||||
# expired.badssl.com, одна проверка при SMOKE_PAUSE=0 — 23 c на прежней
|
||||
# голове (3 попытки + 6 c пауз) против <1 c теперь.
|
||||
#
|
||||
# 40 минут = 38 мин худшего случая + запас на чекаут и разброс сети.
|
||||
# Цена промаха несимметрична: занятый раннер стоит дёшево (прогон daily +
|
||||
# on-push), потерянный лог при полном отказе прода — дорого.
|
||||
timeout-minutes: 40
|
||||
timeout-minutes: 5
|
||||
|
||||
steps:
|
||||
- name: Checkout repo
|
||||
|
|
|
|||
7
.gitignore
vendored
7
.gitignore
vendored
|
|
@ -109,10 +109,3 @@ ops/metrics/alertmanager/alertmanager.yml
|
|||
# и Prometheus не видел ни одного приёмника (#3155). Производный файл убирает
|
||||
# сам зазор — правится только там же, где принимается решение о профиле.
|
||||
ops/metrics/prometheus/alertmanager_targets.gen.yml
|
||||
|
||||
# Временные рабочие копии-worktree вида _wt-<тема>/ живут рядом с репозиторием
|
||||
# и в него попадать не должны. 09.09 копия _wt-mskcol попала в индекс одним
|
||||
# файлом сборщика, и три следующих фикса ушли в дубликат мимо канонического
|
||||
# tradein-mvp/scripts/local-avito-msk/collect.py — дефект нашёлся только при
|
||||
# сверке page size.
|
||||
_wt-*/
|
||||
|
|
|
|||
31
Caddyfile
31
Caddyfile
|
|
@ -50,27 +50,30 @@
|
|||
# ничего не меняется. В окне: на Selectel CADDY_SITES=apps, на Beget=infra.
|
||||
import caddy/sites/{$CADDY_SITES:*}.caddy
|
||||
|
||||
# Plain HTTP by IP. /health остаётся публичным (liveness). Всё остальное —
|
||||
# РЕДИРЕКТ на канонический HTTPS, а не проксирование под basic_auth.
|
||||
#
|
||||
# ЗДЕСЬ СТОЯЛ auth-гейт с проксированием приложения — «закрыть обход через
|
||||
# голый IP тем же гейтом». Замысел верный, исполнение — дыра: Basic-challenge
|
||||
# на plain HTTP означает, что браузер отправит пароль пилота ОТКРЫТЫМ ТЕКСТОМ
|
||||
# любому, кто слушает канал (аудит 02.09.2026: curl http://<IP>/api/v1/me →
|
||||
# 401 + Www-Authenticate: Basic realm="GenDesign Pilot"). Редирект строже
|
||||
# гейта: по HTTP не отдаётся ни контент, ни сам запрос пароля, обход через
|
||||
# IP закрыт тем, что отвечать нечему. Потребителей у IP:80 нет: все
|
||||
# deploy-смоки ходят docker exec → localhost внутри контейнеров (проверено
|
||||
# grep-ом по .forgejo/workflows и ops/ 02.09.2026).
|
||||
# Plain HTTP by IP — closed by same auth gate (prevent bypass via direct IP / SSH tunnel).
|
||||
# Caddy issues no TLS here (no hostname). /health remains public.
|
||||
:80 {
|
||||
encode zstd gzip
|
||||
|
||||
route {
|
||||
# /health — public, без auth (liveness probe).
|
||||
# /health — public, без auth (GHA deploy smoke check, liveness probe).
|
||||
handle /health {
|
||||
reverse_proxy backend:8000
|
||||
}
|
||||
|
||||
# Auth gate (same snippet as gendsgn.ru).
|
||||
import caddy/users.caddy.snippet
|
||||
|
||||
handle /api/* {
|
||||
reverse_proxy backend:8000 {
|
||||
header_up X-Authenticated-User {http.auth.user.id}
|
||||
}
|
||||
}
|
||||
|
||||
handle {
|
||||
redir https://gendsgn.ru{uri} permanent
|
||||
reverse_proxy frontend:3000 {
|
||||
header_up X-Authenticated-User {http.auth.user.id}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -133,11 +133,6 @@ users:
|
|||
# продукта; ранее expired с 2026-06-27). Безлимитная квота оценок
|
||||
# выдана через account_quota_overrides.unlimited (migration 191),
|
||||
# не через код — см. app.services.account_quota.is_unlimited.
|
||||
buyer1: pilot # Тестовый доступ потенциального покупателя — заведён 2026-09-02 по
|
||||
# просьбе владельца. Квота 50 оценок/мес через
|
||||
# account_quota_overrides.monthly_limit (не unlimited). DB-роль
|
||||
# manager (как praktika/kopylov — самостоятельный внешний аккаунт,
|
||||
# не employee под чьим-то manager_id).
|
||||
admintest: admin # temp QA 2026-05-26
|
||||
pilottest: pilot # temp QA 2026-05-26
|
||||
analysttest: analyst # temp QA 2026-06-07 (#962)
|
||||
|
|
|
|||
|
|
@ -43,12 +43,6 @@ def run_migrations_online() -> None:
|
|||
config.get_section(config.config_ini_section, {}),
|
||||
prefix="sqlalchemy.",
|
||||
poolclass=pool.NullPool,
|
||||
# #3194: SQLAlchemy печатает ВСЕ bind-параметры в тексте StatementError.
|
||||
# Миграции гоняют DDL/DML с литералами и параметрами из данных — флаг
|
||||
# на уровне движка не даёт им уехать в GlitchTip.
|
||||
# НЕ закрывает: текст ошибки самого драйвера (Postgres DETAIL со
|
||||
# значением) и сырые psycopg-подключения мимо движков.
|
||||
hide_parameters=True,
|
||||
)
|
||||
with connectable.connect() as connection:
|
||||
context.configure(
|
||||
|
|
|
|||
|
|
@ -17,7 +17,6 @@ from sqlalchemy.orm import Session
|
|||
|
||||
from app.core.config import settings
|
||||
from app.core.db import get_db
|
||||
from app.observability.metrics import REPORTS_EXPORTED
|
||||
from app.schemas.parcel import (
|
||||
AnalysisRunDetail,
|
||||
AnalysisRunListResponse,
|
||||
|
|
@ -1613,11 +1612,6 @@ def export_parcel_forecast(
|
|||
if run is None:
|
||||
raise HTTPException(status_code=404, detail="прогноз ещё не посчитан")
|
||||
|
||||
# #3471: считаем выгрузку здесь, а не в каждой format-ветке ниже — рано
|
||||
# (до самого рендера), зато один раз на весь запрос и без риска разъехаться
|
||||
# с новой веткой формата, если её когда-нибудь добавят.
|
||||
REPORTS_EXPORTED.labels(format=format).inc()
|
||||
|
||||
# tg — INLINE сниппет (не файл): краткая сводка для копипаста в Telegram, без attachment.
|
||||
if format == "tg":
|
||||
return Response(
|
||||
|
|
@ -4917,7 +4911,6 @@ async def get_parcel_best_layouts_pdf(
|
|||
today = _dt.date.today().strftime("%Y-%m-%d")
|
||||
cad_safe = cad_num.replace(":", "-")
|
||||
filename = f"tz-layout-{cad_safe}-{today}.pdf"
|
||||
REPORTS_EXPORTED.labels(format="best_layouts_pdf").inc()
|
||||
return Response(
|
||||
content=pdf_bytes,
|
||||
media_type="application/pdf",
|
||||
|
|
|
|||
|
|
@ -139,13 +139,6 @@ def _build() -> tuple[Engine, sessionmaker[Session]]:
|
|||
future=True,
|
||||
pool_timeout=3,
|
||||
connect_args={"connect_timeout": 3, "options": "-c statement_timeout=3000"},
|
||||
# #3194: SQLAlchemy печатает ВСЕ bind-параметры в тексте StatementError —
|
||||
# через них в GlitchTip уезжали ключ шифрования кук и сами куки
|
||||
# (pgp_sym_encrypt(:cookies_json, :key)). Флаг на УРОВНЕ ДВИЖКА кроет все
|
||||
# сайты вызова разом, включая будущие.
|
||||
# НЕ закрывает: текст ошибки самого драйвера (Postgres DETAIL со значением)
|
||||
# и сырые psycopg-подключения мимо движков — это отдельный класс.
|
||||
hide_parameters=True,
|
||||
)
|
||||
except (ArgumentError, ValueError):
|
||||
# ValueError — не паранойя: на «почти URL» разбор SQLAlchemy доходит до
|
||||
|
|
|
|||
|
|
@ -5,18 +5,7 @@ from sqlalchemy.orm import DeclarativeBase, Session, sessionmaker
|
|||
|
||||
from app.core.config import settings
|
||||
|
||||
engine = create_engine(
|
||||
settings.database_url,
|
||||
pool_pre_ping=True,
|
||||
future=True,
|
||||
# #3194: SQLAlchemy печатает ВСЕ bind-параметры в тексте StatementError —
|
||||
# через них в GlitchTip уезжали ключ шифрования кук и сами куки
|
||||
# (pgp_sym_encrypt(:cookies_json, :key)). Флаг на УРОВНЕ ДВИЖКА кроет все
|
||||
# сайты вызова разом, включая будущие.
|
||||
# НЕ закрывает: текст ошибки самого драйвера (Postgres DETAIL со значением)
|
||||
# и сырые psycopg-подключения мимо движков — это отдельный класс.
|
||||
hide_parameters=True,
|
||||
)
|
||||
engine = create_engine(settings.database_url, pool_pre_ping=True, future=True)
|
||||
SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine, expire_on_commit=False)
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -100,19 +100,6 @@ BUILD_INFO.labels(
|
|||
release=os.getenv("SENTRY_RELEASE") or os.getenv("IMAGE_TAG") or "unknown",
|
||||
).set(1)
|
||||
|
||||
# ═══ ПРОДУКТОВЫЕ СЧЁТЧИКИ (#3471) ═══════════════════════════════════════════
|
||||
#
|
||||
# `format` — фиксированный литерал из сигнатуры эндпоинта (Literal["md", "json",
|
||||
# "tg", "docx", "pptx", "pdf"] в `export_parcel_forecast` + одно статичное
|
||||
# значение "best_layouts_pdf" из ТЗ-на-проектирование), НЕ произвольная строка —
|
||||
# кардинальность ограничена набором форматов экспорта, а не количеством
|
||||
# участков/пользователей.
|
||||
REPORTS_EXPORTED = Counter(
|
||||
"sitefinder_reports_exported_total",
|
||||
"Экспортов отчётов по участку (§22-форсайт, ТЗ на проектирование), по формату",
|
||||
labelnames=("format",),
|
||||
)
|
||||
|
||||
|
||||
def route_label(scope: Scope) -> str:
|
||||
"""Шаблон маршрута из ASGI-scope, либо ``__unmatched__``.
|
||||
|
|
|
|||
|
|
@ -246,19 +246,22 @@ def load_ps_35_220(db: Session, xlsx_bytes: bytes, reserve_asof: date | None) ->
|
|||
reserve_unit = 'МВт',
|
||||
installed_capacity_mva = :installed,
|
||||
district = :district,
|
||||
-- #2464-B: сюда БОЛЬШЕ НЕ пишем степень загрузки:
|
||||
-- load_index — категориальная колонка, её заполняет
|
||||
-- rosseti_wfs_loader._map_load_index. Историю см. в
|
||||
-- git log этого файла.
|
||||
--
|
||||
-- ВАЖНО: в этом комментарии НЕЛЬЗЯ упоминать
|
||||
-- бинд-параметры в синтаксисе «двоеточие + имя».
|
||||
-- SQLAlchemy text() парсит бинды и внутри
|
||||
-- SQL-комментариев: упоминание снятого параметра
|
||||
-- «(двоеточие)load_pct» в тексте комментария
|
||||
-- сделало его ОБЯЗАТЕЛЬНЫМ, все 71 UPDATE падали
|
||||
-- с 18.08 по 02.09, а per-row except глотал это
|
||||
-- как «битую строку» — задача оставалась зелёной.
|
||||
-- #2464-B: сюда БОЛЬШЕ НЕ пишем степень загрузки.
|
||||
-- load_index — категориальная колонка
|
||||
-- ('open'|'limited'|'closed'|NULL, см.
|
||||
-- data/sql/180_connection_capacity.sql:35), её
|
||||
-- заполняет rosseti_wfs_loader._map_load_index.
|
||||
-- Раньше тут стоял COALESCE(load_index,
|
||||
-- CAST(:load_pct AS text)) — при пустой ячейке
|
||||
-- в колонку легло бы число строкой ("72.5"),
|
||||
-- а фронтовый classifyLoadIndex такое значение
|
||||
-- отбрасывает в null («неизвестно»), и в
|
||||
-- power_summary.by_load_index появился бы
|
||||
-- бакет с именем "72.5".
|
||||
-- Сегодня не стреляло только потому, что у всех
|
||||
-- 3416 строк load_index уже заполнен
|
||||
-- (open 2741 / limited 346 / closed 329, NULL 0)
|
||||
-- и COALESCE не проваливался.
|
||||
capacity_source = 'eesk_35_220',
|
||||
reserve_asof = :asof
|
||||
WHERE sc_name_norm = :name_norm
|
||||
|
|
|
|||
|
|
@ -19,7 +19,6 @@ per-row SAVEPOINT при UPSERT (битая фича не валит weekly-sync
|
|||
import hashlib
|
||||
import json
|
||||
import logging
|
||||
import math
|
||||
import re
|
||||
|
||||
import httpx
|
||||
|
|
@ -102,47 +101,20 @@ def parse_voltage_class(name: str | None) -> str | None:
|
|||
return m.group(1).replace(".", "/")
|
||||
|
||||
|
||||
def _coord_e5(value: float | None) -> str:
|
||||
"""Координата → целое в единицах 1e-5 градуса (~1 м), полукруглением от нуля.
|
||||
|
||||
Целое, а не форматированный float: ключ обязан совпадать байт-в-байт с SQL-
|
||||
бэкфиллом (99c), а текстовое представление double в питоне и в PG разное.
|
||||
Округление ДВОИЧНОЕ (по значению double, не по десятичному представлению):
|
||||
64.423605*1e5 == 6442360.499999999 → 6442360, хотя «по десятичному» было бы
|
||||
6442361. В 99c та же семантика: floor/abs/sign над float8, БЕЗ каста в numeric
|
||||
(каст округляет по кратчайшему десятичному repr и расходится в 0.19% координат).
|
||||
"""
|
||||
if value is None:
|
||||
return ""
|
||||
n = math.floor(abs(value) * 100000 + 0.5)
|
||||
return str(-n if value < 0 else n)
|
||||
|
||||
|
||||
def _stable_external_id(feature: dict, props: dict) -> str:
|
||||
"""Стабильный external_id фичи — хэш атрибутов. ``feature['id']`` ИГНОРИРУЕТСЯ.
|
||||
"""Стабильный external_id фичи: feature['id'] или хэш ключевых полей.
|
||||
|
||||
GeoServer отдаёт СЕССИОННЫЙ fid (``sc_points_fullview.fid--<random>``), новый на
|
||||
каждый GetFeature → ON CONFLICT (source, external_id) не срабатывал ни разу и
|
||||
таблица росла ×10 (4880 строк на 481 ЦП, #3322). Ключ считаем только по стабильным
|
||||
атрибутам: нормализованное имя | класс напряжения | координаты в 1e-5 градуса.
|
||||
|
||||
ФОРМУЛА ПРОДУБЛИРОВАНА в ``data/sql/99c_power_supply_centers_dedup.sql`` (бэкфилл
|
||||
существующих строк) — менять только синхронно. sha256, а не sha1: sha256 встроен
|
||||
в PG16, sha1 требует pgcrypto. Префикс ``h:`` отличает новый ключ от старого fid.
|
||||
WFS обычно отдаёт стабильный ``feature['id']``; если его нет — детерминированный
|
||||
sha1 по (sc_name, координаты) чтобы UPSERT оставался идемпотентным.
|
||||
"""
|
||||
geom_pair = _point_geom_sql(feature)
|
||||
coords = geom_pair[1] if geom_pair else {}
|
||||
sc_name = props.get("sc_name")
|
||||
seed = "|".join(
|
||||
(
|
||||
normalize_sc_name(sc_name),
|
||||
parse_voltage_class(sc_name) or "",
|
||||
_coord_e5(coords.get("lon")),
|
||||
_coord_e5(coords.get("lat")),
|
||||
)
|
||||
)
|
||||
# sha256 здесь — стабильный дедуп-id фичи, не криптография.
|
||||
return "h:" + hashlib.sha256(seed.encode("utf-8")).hexdigest()[:16]
|
||||
fid = feature.get("id")
|
||||
if fid:
|
||||
return str(fid)
|
||||
geom = feature.get("geometry") or {}
|
||||
coords = geom.get("coordinates")
|
||||
seed = f"{props.get('sc_name', '')}|{coords}"
|
||||
# sha1 здесь — стабильный дедуп-id фичи, не криптография.
|
||||
return "h:" + hashlib.sha1(seed.encode("utf-8")).hexdigest()[:16]
|
||||
|
||||
|
||||
def _map_load_index(props: dict) -> str | None:
|
||||
|
|
|
|||
|
|
@ -17,22 +17,12 @@ Analyze-тесты с ПОЗИЦИОННЫМ DB-моком (``_make_db_for_analy
|
|||
(``test_analyze_zoning_regulation.py``), переопределяют этот же target своим
|
||||
per-test ``patch`` — он применяется ПОВЕРХ авто-фикстуры (вложенный mock-scope), так
|
||||
что их ожидаемые значения резолвера сохраняются.
|
||||
|
||||
Perf-fix (2026-09-12): в конце ``analyze_parcel`` — безусловный best-effort
|
||||
``forecast_site_finder_report.delay(...)`` (§22-форсайт enqueue, см. app/api/v1/parcels.py).
|
||||
В песочнице тестов Celery-брокер (Redis) недоступен → ``.delay()`` синхронно ждёт
|
||||
kombu-реконнект с растущим backoff (~69с) ДО того как try/except его проглотит —
|
||||
эта пауза оказалась внутри КАЖДОГО теста, который дергает ``POST /analyze`` и не
|
||||
мокал форсайт-таску. Авто-фикстура ниже глушит ``.delay`` в no-op-мок для ВСЕХ
|
||||
тестов каталога (как и с резолвером выше) — тесты самого enqueue
|
||||
(``test_parcels_forecast.py``, ``test_run_history_and_response_contract.py``)
|
||||
переопределяют тот же target своим per-test ``patch`` поверх авто-фикстуры.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
from collections.abc import Iterator
|
||||
from unittest.mock import MagicMock, patch
|
||||
from unittest.mock import patch
|
||||
|
||||
import pytest
|
||||
|
||||
|
|
@ -47,34 +37,3 @@ def _stub_zone_regulation_resolver() -> Iterator[None]:
|
|||
"""
|
||||
with patch("app.api.v1.parcels.get_or_fetch_zone_regulation", return_value=None):
|
||||
yield
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def _stub_forecast_enqueue() -> Iterator[None]:
|
||||
"""No-op форсайт-enqueue по умолчанию (без реального Celery/Redis round-trip).
|
||||
|
||||
``.delay(...)`` в проде — fire-and-forget (best-effort, обёрнут в try/except в
|
||||
``analyze_parcel``), тестам сам форсайт не нужен, а живой брокер в CI/локальной
|
||||
песочнице недоступен и держит запрос ~69с на реконнект-backoff.
|
||||
"""
|
||||
with patch("app.workers.tasks.forecast.forecast_site_finder_report.delay", MagicMock()):
|
||||
yield
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def _fast_inline_fetch_wait(monkeypatch: pytest.MonkeyPatch) -> None:
|
||||
"""Схлопнуть inline-ожидание NSPD-фетча (#93 graceful fallback) до миллисекунд.
|
||||
|
||||
В ``analyze_parcel`` ветка «участка нет в БД» ждёт появления геометрии циклом
|
||||
``sleep(_INLINE_FETCH_POLL_INTERVAL_S)`` до ``_INLINE_FETCH_WAIT_S`` (15с прод-
|
||||
значение). В тестах фетч замокан и геометрия не появится никогда → каждый такой
|
||||
тест честно спал 16с (``test_market_price_invalid_cad_returns_404``,
|
||||
``test_recent_permits_invalid_cad_no_regression``).
|
||||
|
||||
Оставляем цикл РАБОЧИМ (несколько итераций по 10мс), а не выключаем его нулём:
|
||||
тесты, проверяющие сам fast-path «строка появилась на N-м опросе», продолжают
|
||||
видеть опросы. Тесты с собственным ``patch`` того же имени (напр.
|
||||
``test_run_history_and_response_contract.py``) переопределяют это поверх.
|
||||
"""
|
||||
monkeypatch.setattr("app.api.v1.parcels._INLINE_FETCH_WAIT_S", 0.05)
|
||||
monkeypatch.setattr("app.api.v1.parcels._INLINE_FETCH_POLL_INTERVAL_S", 0.01)
|
||||
|
|
|
|||
|
|
@ -1,463 +0,0 @@
|
|||
"""Полный деплой не пересоздаёт Caddy без нужды (#3443).
|
||||
|
||||
ЧТО СЛУЧИЛОСЬ. Каждый полный деплой ПТИЦЫ делал `up -d --force-recreate
|
||||
--no-deps caddy`, то есть сносил единственный процесс, слушающий 80/443.
|
||||
Замер 05.09 (#3274): 67 с `code=000` на ВСЕХ доменах хоста — gendsgn.ru,
|
||||
meraocenka.ru и зеркала. Не 502/503: принимающего процесса нет вовсе, поэтому
|
||||
заглушка окна деплоя бессильна по построению — её отдаёт тот же Caddy.
|
||||
|
||||
ЧТО УСТАНОВЛЕНО. Безусловный флаг появился 17.05 (11e78d73) ради нового
|
||||
bind-маунта `./preview`, который «не появлялся в running container». Довод
|
||||
неверен: `docker compose up -d` БЕЗ `--force-recreate` пересоздаёт контейнер
|
||||
сам, как только меняется описание сервиса или образ (проверено на живом демоне
|
||||
docker 28.4). Единственное, чего compose не видит, — СОДЕРЖИМОЕ пофайлового
|
||||
bind-маунта: `git reset --hard` пишет новый инод, контейнер держит прежний, и
|
||||
`caddy reload` перечитывает старый текст. У Caddy так смонтированы Caddyfile и
|
||||
четыре сниппета; каталоги (caddy/sites, caddy/local, preview) этим не страдают.
|
||||
|
||||
ЗАЧЕМ ЭТОТ ФАЙЛ. У правки нет отрицательного признака: вернуть `--force-recreate`
|
||||
«на всякий случай» — одна строка, все деплои останутся зелёными, а окно в минуту
|
||||
увидит только тот, кто в этот момент держал непрерывную пробу. Проверки ниже
|
||||
ИСПОЛНЯЮТ ops/caddy-apply.sh с подставным `docker` и смотрят на СОВЕРШЁННЫЕ
|
||||
действия (пересоздал / перезагрузил / не тронул), а не на текст скрипта.
|
||||
Отдельно проверяется проводка в deploy.yml — что оба пути деплоя зовут именно
|
||||
его.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import re
|
||||
import shutil
|
||||
import stat
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
import pytest
|
||||
import yaml
|
||||
|
||||
# backend/tests/ops/<этот файл> → корень репозитория
|
||||
REPO_ROOT = Path(__file__).resolve().parents[3]
|
||||
SCRIPT = REPO_ROOT / "ops" / "caddy-apply.sh"
|
||||
WORKFLOWS = REPO_ROOT / ".forgejo" / "workflows"
|
||||
DEPLOY = WORKFLOWS / "deploy.yml"
|
||||
|
||||
CID = "caddy-cid-0001"
|
||||
|
||||
# Маунты Caddy ровно как на проде (`docker inspect gendesign-caddy-1`, 12.09):
|
||||
# пять ПОФАЙЛОВЫХ bind-маунтов и три каталога. Тома (caddy_data и соседи) в
|
||||
# сверку не входят — их фильтрует `{{if eq .Type "bind"}}`.
|
||||
FILE_MOUNTS = {
|
||||
"Caddyfile": "/etc/caddy/Caddyfile",
|
||||
"caddy/users.caddy.snippet": "/etc/caddy/caddy/users.caddy.snippet",
|
||||
"caddy/metrics-ui.caddy.snippet": "/etc/caddy/caddy/metrics-ui.caddy.snippet",
|
||||
"caddy/metrics-ingest.caddy.snippet": "/etc/caddy/caddy/metrics-ingest.caddy.snippet",
|
||||
"caddy/deploy-window.caddy.snippet": "/etc/caddy/caddy/deploy-window.caddy.snippet",
|
||||
}
|
||||
DIR_MOUNTS = {
|
||||
"caddy/sites": "/etc/caddy/caddy/sites",
|
||||
"caddy/local": "/etc/caddy/caddy/local",
|
||||
"preview": "/srv/preview",
|
||||
}
|
||||
|
||||
# Подставной `docker`. Пишет каждый вызов в $FAKE_LOG и отвечает по сценарию:
|
||||
# run — одноразовый `caddy validate`, код из $FAKE_VALIDATE_RC;
|
||||
# inspect — список маунтов из $FAKE_MOUNTS, код из $FAKE_INSPECT_RC;
|
||||
# exec — sha256sum ФАЙЛА, КОТОРЫЙ ВИДИТ КОНТЕЙНЕР ($FAKE_VIEW/<slug>);
|
||||
# compose … ps — текущий id контейнера из $FAKE_CID_FILE;
|
||||
# compose … up — при $FAKE_UP_RECREATES=1 подменяет id (compose пересоздал сам).
|
||||
FAKE_DOCKER = r"""#!/bin/bash
|
||||
printf '%s\n' "$*" >> "$FAKE_LOG"
|
||||
cmd="$1"; shift
|
||||
case "$cmd" in
|
||||
run) exit "${FAKE_VALIDATE_RC:-0}" ;;
|
||||
inspect)
|
||||
if [ "${FAKE_INSPECT_RC:-0}" != "0" ]; then
|
||||
echo "Error: No such object" >&2
|
||||
exit "$FAKE_INSPECT_RC"
|
||||
fi
|
||||
cat "$FAKE_MOUNTS"
|
||||
;;
|
||||
exec)
|
||||
dst="$3"
|
||||
view="$FAKE_VIEW/$(printf '%s' "$dst" | tr '/' '_')"
|
||||
[ -f "$view" ] || exit 1
|
||||
sha256sum "$view"
|
||||
;;
|
||||
compose)
|
||||
case " $* " in
|
||||
*" ps "*) cat "$FAKE_CID_FILE" ;;
|
||||
*--force-recreate*) echo "recreated caddy (forced)" ;;
|
||||
*" up "*)
|
||||
if [ "${FAKE_UP_RECREATES:-0}" = "1" ]; then
|
||||
printf 'caddy-cid-NEW\n' > "$FAKE_CID_FILE"
|
||||
echo "Container gendesign-caddy-1 Started"
|
||||
else
|
||||
echo "Container gendesign-caddy-1 Running"
|
||||
fi
|
||||
;;
|
||||
*) echo "(compose $*)" ;;
|
||||
esac
|
||||
;;
|
||||
esac
|
||||
exit 0
|
||||
"""
|
||||
|
||||
# macOS несёт shasum вместо sha256sum; на раннере (ubuntu) и на проде утилита
|
||||
# настоящая. Шим ставится только при её отсутствии — иначе гейт не запускался бы
|
||||
# локально вовсе.
|
||||
SHA_SHIM = '#!/bin/sh\nexec shasum -a 256 "$@"\n'
|
||||
|
||||
|
||||
def _write_exec(path: Path, text: str) -> None:
|
||||
path.write_text(text, encoding="utf-8")
|
||||
path.chmod(path.stat().st_mode | stat.S_IXUSR | stat.S_IXGRP | stat.S_IXOTH)
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def prod_tree(tmp_path: Path) -> Path:
|
||||
"""Копия боевого дерева: скрипт + конфиги + «взгляд контейнера»."""
|
||||
tree = tmp_path / "opt" / "gendesign"
|
||||
(tree / "ops").mkdir(parents=True)
|
||||
shutil.copy(SCRIPT, tree / "ops" / SCRIPT.name)
|
||||
for rel in [*FILE_MOUNTS, "caddy/sites/apps.caddy", "caddy/local/.gitignore"]:
|
||||
path = tree / rel
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
path.write_text(f"# {rel} версия НОВАЯ\n", encoding="utf-8")
|
||||
(tree / "preview").mkdir()
|
||||
|
||||
view = tmp_path / "view"
|
||||
view.mkdir()
|
||||
# По умолчанию контейнер видит ровно то же, что лежит на диске.
|
||||
for rel, dst in FILE_MOUNTS.items():
|
||||
(view / dst.replace("/", "_")).write_text(
|
||||
(tree / rel).read_text(encoding="utf-8"), encoding="utf-8"
|
||||
)
|
||||
|
||||
mounts = tmp_path / "mounts"
|
||||
mounts.write_text(
|
||||
"".join(f"{tree / rel}|{dst}\n" for rel, dst in {**FILE_MOUNTS, **DIR_MOUNTS}.items()),
|
||||
encoding="utf-8",
|
||||
)
|
||||
|
||||
bin_dir = tmp_path / "bin"
|
||||
bin_dir.mkdir()
|
||||
_write_exec(bin_dir / "docker", FAKE_DOCKER)
|
||||
if shutil.which("sha256sum") is None:
|
||||
_write_exec(bin_dir / "sha256sum", SHA_SHIM)
|
||||
(tmp_path / "cid").write_text(CID + "\n", encoding="utf-8")
|
||||
(tmp_path / "log").write_text("", encoding="utf-8")
|
||||
return tree
|
||||
|
||||
|
||||
def _run(tree: Path, **env_extra: str) -> tuple[int, str, list[str]]:
|
||||
root = tree.parent.parent
|
||||
env = {
|
||||
"PATH": f"{root / 'bin'}:/usr/bin:/bin:/usr/sbin:/sbin",
|
||||
"FAKE_LOG": str(root / "log"),
|
||||
"FAKE_CID_FILE": str(root / "cid"),
|
||||
"FAKE_MOUNTS": str(root / "mounts"),
|
||||
"FAKE_VIEW": str(root / "view"),
|
||||
**env_extra,
|
||||
}
|
||||
proc = subprocess.run(
|
||||
["sh", str(tree / "ops" / "caddy-apply.sh")],
|
||||
cwd=str(tree),
|
||||
env=env,
|
||||
capture_output=True,
|
||||
text=True,
|
||||
)
|
||||
calls = [c for c in (root / "log").read_text(encoding="utf-8").splitlines() if c]
|
||||
return proc.returncode, proc.stdout + proc.stderr, calls
|
||||
|
||||
|
||||
def _stale(tree: Path, dst: str) -> None:
|
||||
"""Контейнер остался на старом иноде этого маунта."""
|
||||
view = tree.parent.parent / "view" / dst.replace("/", "_")
|
||||
view.write_text("# версия СТАРАЯ\n", encoding="utf-8")
|
||||
|
||||
|
||||
def _recreated(calls: list[str]) -> bool:
|
||||
return any("--force-recreate" in c for c in calls)
|
||||
|
||||
|
||||
def _reloaded(calls: list[str]) -> bool:
|
||||
return any("caddy reload" in c for c in calls)
|
||||
|
||||
|
||||
# ── Что скрипт делает на самом деле ──────────────────────────────────────────
|
||||
|
||||
|
||||
def test_nothing_changed_reloads_without_recreate(prod_tree: Path) -> None:
|
||||
"""Обычный полный деплой (конфиг прокси не трогали): reload, без окна."""
|
||||
rc, out, calls = _run(prod_tree)
|
||||
assert rc == 0, out
|
||||
assert not _recreated(calls), (
|
||||
f"Caddy пересоздан, хотя ничего не изменилось: {calls}. "
|
||||
"Это и есть #3443: 67 с code=000 на всех доменах при каждом деплое."
|
||||
)
|
||||
assert _reloaded(calls), f"конфиг не применён вовсе: {calls}"
|
||||
|
||||
|
||||
def test_changed_file_mount_forces_recreate(prod_tree: Path) -> None:
|
||||
"""Caddyfile правлен: reload перечитал бы старый инод — нужен recreate."""
|
||||
_stale(prod_tree, "/etc/caddy/Caddyfile")
|
||||
rc, out, calls = _run(prod_tree)
|
||||
assert rc == 0, out
|
||||
assert _recreated(calls), (
|
||||
f"пересоздания нет: {calls}. Пофайловый bind-маунт держит инод — правка "
|
||||
"Caddyfile не доехала бы до контейнера, а деплой ушёл бы зелёным."
|
||||
)
|
||||
assert "/etc/caddy/Caddyfile" in out, f"решение не названо в логе:\n{out}"
|
||||
|
||||
|
||||
@pytest.mark.parametrize("dst", sorted(set(FILE_MOUNTS.values()) - {"/etc/caddy/Caddyfile"}))
|
||||
def test_changed_snippet_forces_recreate(prod_tree: Path, dst: str) -> None:
|
||||
"""Каждый из четырёх сниппетов — тот же класс, не только Caddyfile."""
|
||||
_stale(prod_tree, dst)
|
||||
_, _out, calls = _run(prod_tree)
|
||||
assert _recreated(calls), f"{dst}: правка сниппета не доехала бы: {calls}"
|
||||
|
||||
|
||||
def test_directory_mount_change_does_not_recreate(prod_tree: Path) -> None:
|
||||
"""caddy/sites/apps.caddy — самый частый случай; каталог инод не держит.
|
||||
|
||||
Если сюда приползёт пересоздание «за компанию», окно недоступности вернётся
|
||||
ровно на тех правках, ради которых заведён быстрый путь #2916.
|
||||
"""
|
||||
(prod_tree / "caddy" / "sites" / "apps.caddy").write_text("# новый блок\n", encoding="utf-8")
|
||||
rc, out, calls = _run(prod_tree)
|
||||
assert rc == 0, out
|
||||
assert not _recreated(calls), f"правка в КАТАЛОГЕ вызвала пересоздание: {calls}"
|
||||
assert _reloaded(calls), f"правка в каталоге не применена: {calls}"
|
||||
|
||||
|
||||
def test_broken_config_touches_nothing(prod_tree: Path) -> None:
|
||||
"""Битый конфиг: ни up, ни reload, ни пересоздания — прокси не тронут.
|
||||
|
||||
Иначе опечатка в Caddyfile уводит контейнер в crash-loop и роняет все
|
||||
домены сразу (ровно то, чем опасен `--force-recreate` вслепую).
|
||||
"""
|
||||
rc, out, calls = _run(prod_tree, FAKE_VALIDATE_RC="1")
|
||||
assert rc != 0, f"скрипт не упал на битом конфиге:\n{out}"
|
||||
assert not _recreated(calls), f"битый конфиг поехал в пересоздание: {calls}"
|
||||
assert not _reloaded(calls), f"битый конфиг поехал в reload: {calls}"
|
||||
assert not any(" up " in f" {c} " for c in calls), f"был `up` при битом конфиге: {calls}"
|
||||
|
||||
|
||||
def test_compose_recreate_is_not_doubled(prod_tree: Path) -> None:
|
||||
"""compose пересоздал сам (сменилось описание сервиса/образ) — хватит.
|
||||
|
||||
Второй `--force-recreate` поверх — ещё одно окно недоступности на ровном
|
||||
месте, а новый контейнер и так читает свежие файлы.
|
||||
"""
|
||||
rc, out, calls = _run(prod_tree, FAKE_UP_RECREATES="1")
|
||||
assert rc == 0, out
|
||||
assert not _recreated(calls), f"пересоздание сделано дважды: {calls}"
|
||||
assert not _reloaded(calls), f"reload поверх свежего контейнера: {calls}"
|
||||
|
||||
|
||||
def test_unreadable_container_view_falls_back_to_recreate(prod_tree: Path) -> None:
|
||||
"""Сверка не отработала (контейнер не отвечает) → прежнее поведение.
|
||||
|
||||
Fail-safe направлен в сторону пересоздания: лучше окно в секунды, чем
|
||||
беззвучно не применённая правка конфига прокси.
|
||||
"""
|
||||
(prod_tree.parent.parent / "view" / "_etc_caddy_Caddyfile").unlink()
|
||||
_, out, calls = _run(prod_tree)
|
||||
assert _recreated(calls), f"непрочитанный маунт сочли доехавшим: {calls}\n{out}"
|
||||
|
||||
|
||||
def test_unreadable_mount_list_falls_back_to_recreate(prod_tree: Path) -> None:
|
||||
"""`docker inspect` не ответил → пересоздать, а не «расхождений нет».
|
||||
|
||||
Статус `$(docker inspect … | while …)` — это статус `while`, то есть всегда
|
||||
0, а `pipefail` в POSIX-sh не существует. Провал команды давал бы пустой
|
||||
список маунтов, ветку «всё доехало» и зелёную строку «окна недоступности
|
||||
нет» при прокси, работающем по СТАРОМУ конфигу — тот самый беззвучный отказ,
|
||||
ради которого написан скрипт.
|
||||
"""
|
||||
rc, out, calls = _run(prod_tree, FAKE_INSPECT_RC="1")
|
||||
assert rc == 0, out
|
||||
assert _recreated(calls), f"непрочитанный список маунтов сочли «всё доехало»: {calls}\n{out}"
|
||||
assert not _reloaded(calls), f"reload вместо пересоздания: {calls}"
|
||||
|
||||
|
||||
def test_no_file_mounts_is_not_silence(prod_tree: Path) -> None:
|
||||
"""Ноль пофайловых маунтов — не «сверка прошла», а «сверять было нечем».
|
||||
|
||||
Так выглядит, например, перевод Caddyfile на именованный том: фильтр
|
||||
`{{if eq .Type "bind"}}` перестаёт что-либо отбирать, и сверка становится
|
||||
тавтологически успешной.
|
||||
"""
|
||||
root = prod_tree.parent.parent
|
||||
(root / "mounts").write_text(
|
||||
"".join(f"{prod_tree / rel}|{dst}\n" for rel, dst in DIR_MOUNTS.items()), encoding="utf-8"
|
||||
)
|
||||
rc, out, calls = _run(prod_tree)
|
||||
assert rc == 0, out
|
||||
assert _recreated(calls), f"пустая сверка сочтена успешной: {calls}\n{out}"
|
||||
|
||||
|
||||
def test_missing_host_file_is_not_skipped_as_a_directory(prod_tree: Path) -> None:
|
||||
"""Файла на хосте нет — это расхождение, а не «нечего сверять».
|
||||
|
||||
Пропуск по `[ -f "$src" ] || continue` склеивает два разных случая: каталог
|
||||
(пропустить верно — инод он не держит) и исчезнувший/нечитаемый файл, для
|
||||
которого в контейнере как раз живёт старый инод со старым текстом. Файл
|
||||
удаляется после проверки конфига (в тесте она подставная) — проверяется
|
||||
именно ветка сверки.
|
||||
"""
|
||||
(prod_tree / "Caddyfile").unlink()
|
||||
_, out, calls = _run(prod_tree)
|
||||
assert _recreated(calls), f"исчезнувший файл сочли доехавшим: {calls}\n{out}"
|
||||
|
||||
|
||||
def test_log_says_how_many_mounts_were_compared(prod_tree: Path) -> None:
|
||||
"""В логе должно быть ЧИСЛО сверенных файлов, а не только вердикт.
|
||||
|
||||
«Сверили пять» и «сверили ноль» обязаны различаться: иначе строка
|
||||
«перезагружен без пересоздания» одинаково означает и проверку, и её
|
||||
отсутствие.
|
||||
"""
|
||||
_, out, _ = _run(prod_tree)
|
||||
assert re.search(r"сверено пофайловых маунтов[^\n]*: 5", out), (
|
||||
f"скрипт не печатает число сверенных маунтов (их пять):\n{out}"
|
||||
)
|
||||
|
||||
|
||||
def test_validation_precedes_any_action(prod_tree: Path) -> None:
|
||||
"""Проверка конфига идёт ПЕРВЫМ вызовом, до любого изменения состояния."""
|
||||
_, out, calls = _run(prod_tree)
|
||||
assert calls, f"скрипт не сделал ни одного вызова docker:\n{out}"
|
||||
assert calls[0].startswith("run "), f"первым идёт не проверка конфига: {calls}"
|
||||
assert "caddy validate" in calls[0], f"первый вызов — не validate: {calls[0]}"
|
||||
|
||||
|
||||
# ── Проводка: оба пути деплоя зовут именно этот скрипт ───────────────────────
|
||||
|
||||
|
||||
def _ssh_script(job: str) -> str:
|
||||
spec = yaml.safe_load(DEPLOY.read_text(encoding="utf-8"))
|
||||
steps = [s for s in spec["jobs"][job]["steps"] if "ssh-action" in str(s.get("uses"))]
|
||||
assert len(steps) == 1, f"в job `{job}` нет ровно одного ssh-шага — гейт #3443 ослеп"
|
||||
script = steps[0]["with"]["script"]
|
||||
assert script.strip(), f"ssh-скрипт job `{job}` пуст"
|
||||
return script
|
||||
|
||||
|
||||
def _commands(script: str) -> str:
|
||||
"""Только команды: комментарии выкинуты, продолжения строк склеены.
|
||||
|
||||
Комментарии — потому что разбор дефекта живёт в тех же файлах и содержит
|
||||
его формулировку дословно: гейт по голому тексту краснел бы от объяснения,
|
||||
а не от кода. Склейка `\\` — потому что `--force-recreate` и имя сервиса
|
||||
легко оказываются на РАЗНЫХ физических строках, и построчный поиск такую
|
||||
запись не увидел бы (зелено по построению).
|
||||
"""
|
||||
kept = [ln for ln in script.splitlines() if not ln.lstrip().startswith("#")]
|
||||
return re.sub(r"\\\n\s*", " ", "\n".join(kept))
|
||||
|
||||
|
||||
def _forced_caddy_recreates(commands: str) -> list[str]:
|
||||
"""Строки, которые пересоздают именно сервис caddy."""
|
||||
return [
|
||||
ln
|
||||
for ln in commands.splitlines()
|
||||
if "--force-recreate" in ln and re.search(r"\bcaddy\b", ln)
|
||||
]
|
||||
|
||||
|
||||
def test_script_exists_and_is_the_one_under_test() -> None:
|
||||
"""Признак непустоты: без скрипта проверки выше проходили бы вхолостую."""
|
||||
assert SCRIPT.is_file(), f"нет {SCRIPT} — проводка ниже проверяла бы пустоту"
|
||||
|
||||
|
||||
@pytest.mark.parametrize("job", ["deploy", "deploy-caddy"])
|
||||
def test_deploy_applies_caddy_config_through_the_script(job: str) -> None:
|
||||
assert "ops/caddy-apply.sh" in _commands(_ssh_script(job)), (
|
||||
f"job `{job}` не зовёт ops/caddy-apply.sh — конфиг прокси применяется "
|
||||
"мимо разбора #3443 (или безусловным пересозданием, или reload'ом, "
|
||||
"который на пофайловом маунте читает старый инод)"
|
||||
)
|
||||
|
||||
|
||||
def test_full_deploy_has_no_unconditional_caddy_recreate() -> None:
|
||||
"""Главный инвариант: в полном деплое нет безусловного пересоздания Caddy.
|
||||
|
||||
Возврат одной строки `up -d --force-recreate --no-deps caddy` в job `deploy`
|
||||
возвращает 67-секундное окно `code=000` на всех доменах — и не краснит
|
||||
ничего: деплой остаётся зелёным, а увидеть отказ может только непрерывная
|
||||
проба, запущенная ровно в эту минуту.
|
||||
"""
|
||||
bad = _forced_caddy_recreates(_commands(_ssh_script("deploy")))
|
||||
assert not bad, (
|
||||
"в полный деплой вернулось безусловное пересоздание Caddy:\n "
|
||||
+ "\n ".join(bad)
|
||||
+ "\nПересоздание обязано быть УСЛОВНЫМ — см. ops/caddy-apply.sh: compose "
|
||||
"сам пересоздаёт контейнер при смене описания сервиса или образа, а "
|
||||
"вручную это нужно только когда до контейнера не доехал пофайловый "
|
||||
"bind-маунт (#3443)."
|
||||
)
|
||||
|
||||
|
||||
def test_failures_are_not_swallowed() -> None:
|
||||
"""Ни применение конфига, ни сам reload не гасятся `|| true`.
|
||||
|
||||
Строка `caddy reload … || true` в репозитории уже живёт
|
||||
(deploy-tradein.yml), то есть это не гипотеза: с ней отказ применения
|
||||
перестаёт краснеть, и «конфиг доехал» становится неотличимо от «команда
|
||||
упала, а мы продолжили». Проверяется и вызов скрипта из обеих джоб, и
|
||||
строка reload внутри самого скрипта.
|
||||
"""
|
||||
swallow = re.compile(r"\|\|\s*(true|:)\s*$")
|
||||
offenders = []
|
||||
for where, text in [
|
||||
("deploy", _commands(_ssh_script("deploy"))),
|
||||
("deploy-caddy", _commands(_ssh_script("deploy-caddy"))),
|
||||
(SCRIPT.name, SCRIPT.read_text(encoding="utf-8")),
|
||||
]:
|
||||
for line in text.splitlines():
|
||||
code = line.split("#", 1)[0] if not line.lstrip().startswith("#") else ""
|
||||
if ("caddy-apply.sh" in code or "caddy reload" in code) and swallow.search(code):
|
||||
offenders.append(f"{where}: {line.strip()}")
|
||||
assert not offenders, "отказ применения конфига проглочен:\n " + "\n ".join(offenders)
|
||||
|
||||
|
||||
def test_gate_runs_on_changes_to_the_script_itself() -> None:
|
||||
"""CI-фильтр обязан пускать backend-тесты на правку ops/**.
|
||||
|
||||
Все содержательные регрессии живут в ops/caddy-apply.sh: проверки выше его
|
||||
ИСПОЛНЯЮТ. Без `ops/**` в фильтре PR, правящий только скрипт, даёт
|
||||
backend=false — джоба пропускается, гейт не исполняется, и «пересоздавать
|
||||
всегда» уезжает в main зелёным. Тот же класс, что #2950/#3448/#3467.
|
||||
"""
|
||||
spec = yaml.safe_load((WORKFLOWS / "ci.yml").read_text(encoding="utf-8"))
|
||||
steps = [
|
||||
s
|
||||
for job in spec["jobs"].values()
|
||||
for s in job.get("steps") or []
|
||||
if str(s.get("uses", "")).startswith("dorny/paths-filter")
|
||||
]
|
||||
assert steps, "в ci.yml не найден paths-filter — проверка прошла бы вхолостую"
|
||||
patterns = [p for s in steps for p in yaml.safe_load(s["with"]["filters"]).get("backend") or []]
|
||||
assert "ops/**" in patterns, (
|
||||
f"фильтр backend не покрывает ops/** (сейчас: {patterns}) — гейт #3443 не "
|
||||
"побежит на правке ops/caddy-apply.sh, то есть ровно на той правке, от "
|
||||
"которой стережёт"
|
||||
)
|
||||
|
||||
|
||||
def test_gate_would_notice_the_regression() -> None:
|
||||
"""Сам гейт обязан краснеть на возвращённом дефекте — проверка на себя.
|
||||
|
||||
Без этого «не нашли force-recreate» неотличимо от «искали не там»: маска
|
||||
поиска, промахнувшаяся мимо строки, выглядит зелёной ровно так же.
|
||||
"""
|
||||
regressed = _commands(
|
||||
" # безусловное пересоздание caddy вернулось сюда\n"
|
||||
" docker compose -p gendesign -f docker-compose.prod.yml up -d \\\n"
|
||||
" --force-recreate --no-deps caddy\n"
|
||||
)
|
||||
assert _forced_caddy_recreates(regressed), (
|
||||
"маска поиска не видит дословно ту строку, ради которой заведён гейт"
|
||||
)
|
||||
|
|
@ -1,460 +0,0 @@
|
|||
"""Гейт: быстрый путь «правка только прокси» действительно включается (#3448).
|
||||
|
||||
ЧТО СЛУЧИЛОСЬ. Быстрый путь #2916 (`caddy_only` → джоба `deploy-caddy` с
|
||||
`caddy reload` вместо пересоздания контейнеров) не отработал ни разу за всё
|
||||
время жизни. Проверено на мерже 84920e6c, где в диффе ровно один файл
|
||||
`caddy/sites/apps.caddy`: контейнеры пересозданы, в логе Caddy
|
||||
`serving initial configuration` — холодный старт, а не reload.
|
||||
|
||||
ПРИЧИНА — НЕ пустой `github.event.before` (рабочая гипотеза #3448 опровергнута
|
||||
логом задачи 29244: `before` = 204e2e09…, `git diff` вернул ровно один файл).
|
||||
Причина в том, что dorny/paths-filter склеивает шаблоны одного фильтра через
|
||||
`some`, то есть ИЛИ (src/filter.ts: `patterns.some(aPredicate)`; параметр
|
||||
`predicate-quantifier` по умолчанию `some`). Список
|
||||
|
||||
non_caddy: ['**', '!Caddyfile', '!caddy/**']
|
||||
|
||||
значит «подходит под `**` ИЛИ не Caddyfile ИЛИ не caddy/**», а `**` матчит всё —
|
||||
non_caddy был true ВСЕГДА. В логе это видно дословно:
|
||||
|
||||
##[group]Filter non_caddy = true
|
||||
Matching files:
|
||||
caddy/sites/apps.caddy [modified]
|
||||
|
||||
исключённый файл сам себя и «исключил».
|
||||
|
||||
ЗАЧЕМ ЭТОТ ФАЙЛ. У самой правки нет отрицательного признака: пропущенную джобу
|
||||
Forgejo рисует зелёной, поэтому «зелёный deploy-caddy» одинаково выглядит и
|
||||
когда быстрый путь сработал, и когда его вообще не было. Проверки ниже
|
||||
ИСПОЛНЯЮТ шаг определения файлов из deploy.yml на настоящем временном
|
||||
репозитории (включая мерж-коммит — ровно случай #3448) и смотрят на значения
|
||||
флагов, а не на текст воркфлоу. Так же исполняется и прод-сторож из джобы
|
||||
`deploy-caddy`: быстрый путь пропускает джобу `deploy` целиком, а вместе с ней
|
||||
и гард свежести :latest (#2950), поэтому перезагружать прокси можно, только
|
||||
если прод отстаёт РОВНО на конфиг прокси. Регресс к исключающим шаблонам
|
||||
paths-filter ловит отдельная проверка в конце.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import re
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
import pytest
|
||||
import yaml
|
||||
|
||||
# backend/tests/ops/<этот файл> → корень репозитория
|
||||
REPO_ROOT = Path(__file__).resolve().parents[3]
|
||||
WORKFLOWS = REPO_ROOT / ".forgejo" / "workflows"
|
||||
DEPLOY = WORKFLOWS / "deploy.yml"
|
||||
|
||||
NULL_SHA = "0" * 40
|
||||
|
||||
# Файлы, которые лежат в тестовом репозитории до правки. Набор подобран так,
|
||||
# чтобы фолбэк «база не определена» мог отличить полный деплой от пустого.
|
||||
BASE_FILES = (
|
||||
"caddy/sites/apps.caddy",
|
||||
"Caddyfile",
|
||||
"backend/app/main.py",
|
||||
"frontend/src/page.tsx",
|
||||
"data/sql/001.sql",
|
||||
"docker-compose.prod.yml",
|
||||
"README.md",
|
||||
)
|
||||
|
||||
GIT_ENV = {
|
||||
"GIT_AUTHOR_NAME": "t",
|
||||
"GIT_AUTHOR_EMAIL": "t@example.com",
|
||||
"GIT_COMMITTER_NAME": "t",
|
||||
"GIT_COMMITTER_EMAIL": "t@example.com",
|
||||
"GIT_CONFIG_GLOBAL": "/dev/null",
|
||||
"GIT_CONFIG_SYSTEM": "/dev/null",
|
||||
}
|
||||
|
||||
# Эти кейсы гоняют `bash -c <скрипт>` во временном git-репозитории (POSIX shell +
|
||||
# /dev/null + жёсткий PATH=/usr/bin:/bin:/usr/local/bin). На Windows дочерний
|
||||
# процесс не стартует (нет POSIX shell на этом PATH); покрытие обеспечивается в
|
||||
# CI на Linux. Кейсы, которые читают только YAML/строки без subprocess, не
|
||||
# помечены и обязаны выполняться локально.
|
||||
posix_only = pytest.mark.skipif(
|
||||
sys.platform == "win32",
|
||||
reason="запускает bash-скрипт дочерним процессом; POSIX-only, покрытие в CI (Linux)",
|
||||
)
|
||||
|
||||
|
||||
def _detect_script() -> str:
|
||||
"""Тело шага, который считает изменённые файлы в job `changes`."""
|
||||
spec = yaml.safe_load(DEPLOY.read_text(encoding="utf-8"))
|
||||
job = spec["jobs"]["changes"]
|
||||
steps = [s for s in job["steps"] if s.get("id") == "filter"]
|
||||
assert len(steps) == 1, (
|
||||
"в job `changes` нет ровно одного шага с `id: filter` — определение "
|
||||
"изменённых файлов переехало, гейт #3448 ослеп"
|
||||
)
|
||||
step = steps[0]
|
||||
assert "run" in step, (
|
||||
f"шаг `filter` не считает файлы сам, а делегирует их {step.get('uses')!r}. "
|
||||
"Именно так и возник #3448: у dorny/paths-filter шаблоны одного фильтра "
|
||||
"склеиваются через ИЛИ, поэтому `non_caddy: ['**', '!caddy/**']` был true "
|
||||
"ВСЕГДА и быстрый путь не включался ни разу."
|
||||
)
|
||||
assert step["run"].strip(), "шаг `filter` пуст"
|
||||
return step["run"]
|
||||
|
||||
|
||||
def _git(repo: Path, *args: str) -> None:
|
||||
subprocess.run(
|
||||
["git", "-C", str(repo), *args], check=True, env=dict(GIT_ENV), capture_output=True
|
||||
)
|
||||
|
||||
|
||||
def _sha(repo: Path) -> str:
|
||||
return subprocess.run(
|
||||
["git", "-C", str(repo), "rev-parse", "HEAD"],
|
||||
check=True,
|
||||
capture_output=True,
|
||||
text=True,
|
||||
env=dict(GIT_ENV),
|
||||
).stdout.strip()
|
||||
|
||||
|
||||
def _commit(repo: Path, files: tuple[str, ...], msg: str = "c") -> None:
|
||||
for name in files:
|
||||
path = repo / name
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
path.write_text("changed\n", encoding="utf-8")
|
||||
_git(repo, "add", "-A")
|
||||
_git(repo, "commit", "-qm", msg, *([] if files else ["--allow-empty"]))
|
||||
|
||||
|
||||
def _base_repo(tmp_path: Path) -> tuple[Path, str]:
|
||||
"""Репозиторий с одним базовым коммитом; возвращает его sha — это `before`."""
|
||||
repo = tmp_path / "repo"
|
||||
repo.mkdir(parents=True)
|
||||
_git(repo, "init", "-q", "-b", "main")
|
||||
for name in BASE_FILES:
|
||||
path = repo / name
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
path.write_text("base\n", encoding="utf-8")
|
||||
_git(repo, "add", "-A")
|
||||
_git(repo, "commit", "-qm", "base")
|
||||
return repo, _sha(repo)
|
||||
|
||||
|
||||
def _merge_commit(repo: Path, changed: tuple[str, ...]) -> None:
|
||||
"""Ветка с правкой и мерж `--no-ff` обратно в main.
|
||||
|
||||
Мерж, а не обычный коммит, — потому что #3448 наблюдался именно на мерже
|
||||
PR'а: у мерж-коммита две родительские линии, и любой разбор диффа обязан
|
||||
работать на этой форме. Что `before` нельзя заменить на `HEAD^`, стережёт
|
||||
отдельная проверка — test_multi_commit_push_is_not_truncated: на ОДНОМ
|
||||
мерж-коммите `HEAD^..HEAD` даёт верный ответ и такую подмену не ловит.
|
||||
"""
|
||||
_git(repo, "checkout", "-q", "-b", "feature")
|
||||
_commit(repo, changed, "feature")
|
||||
_git(repo, "checkout", "-q", "main")
|
||||
_git(repo, "merge", "-q", "--no-ff", "-m", "merge feature", "feature")
|
||||
|
||||
|
||||
def _exec(repo: Path, before: str, event: str = "push") -> tuple[dict[str, str], str]:
|
||||
out_file = repo.parent / "outputs"
|
||||
out_file.touch()
|
||||
env = {
|
||||
"PATH": "/usr/bin:/bin:/usr/local/bin",
|
||||
"BEFORE": before,
|
||||
"EVENT": event,
|
||||
"GITHUB_OUTPUT": str(out_file),
|
||||
**GIT_ENV,
|
||||
}
|
||||
proc = subprocess.run(
|
||||
["bash", "-c", _detect_script()],
|
||||
cwd=repo,
|
||||
env=env,
|
||||
capture_output=True,
|
||||
text=True,
|
||||
)
|
||||
assert proc.returncode == 0, f"шаг упал:\n{proc.stdout}\n{proc.stderr}"
|
||||
outputs = dict(
|
||||
line.split("=", 1)
|
||||
for line in out_file.read_text(encoding="utf-8").splitlines()
|
||||
if "=" in line
|
||||
)
|
||||
return outputs, proc.stdout
|
||||
|
||||
|
||||
def _run(
|
||||
tmp_path: Path, changed: tuple[str, ...], *, before: str | None = None, event: str = "push"
|
||||
) -> tuple[dict[str, str], str]:
|
||||
repo, base_sha = _base_repo(tmp_path)
|
||||
_merge_commit(repo, changed)
|
||||
return _exec(repo, base_sha if before is None else before, event)
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_merge_with_only_caddy_file_takes_the_fast_path(tmp_path: Path) -> None:
|
||||
"""Случай #3448 дословно: мерж, в диффе один файл под caddy/."""
|
||||
outputs, _ = _run(tmp_path, ("caddy/sites/apps.caddy",))
|
||||
assert outputs["caddy_only"] == "true", (
|
||||
f"быстрый путь не включился на правке ТОЛЬКО прокси: {outputs}. "
|
||||
"Ровно это и есть #3448: deploy-caddy пропускается, идёт полный деплой "
|
||||
"с пересозданием контейнеров, а Forgejo рисует пропуск зелёным."
|
||||
)
|
||||
assert outputs["backend"] == "false"
|
||||
assert outputs["frontend"] == "false"
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_caddy_plus_backend_is_a_full_deploy(tmp_path: Path) -> None:
|
||||
"""Обратное направление: быстрый путь НЕ должен красть обычный деплой."""
|
||||
outputs, _ = _run(tmp_path, ("caddy/sites/apps.caddy", "backend/app/main.py"))
|
||||
assert outputs["caddy_only"] == "false", (
|
||||
f"быстрый путь включился, хотя вместе с конфигом приехал бэкенд: {outputs}. "
|
||||
"Так прод остался бы на старом образе при зелёном деплое."
|
||||
)
|
||||
assert outputs["backend"] == "true"
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_missing_base_falls_back_to_full_deploy(tmp_path: Path) -> None:
|
||||
"""База не разрешилась → полный деплой, а не пустой список.
|
||||
|
||||
Пустой список изменений — это `caddy_only` без единого caddy-файла и
|
||||
отключённая сборка: отказ, который выглядит как успешный быстрый путь.
|
||||
"""
|
||||
for before, event in ((NULL_SHA, "push"), ("", "push"), (None, "workflow_dispatch")):
|
||||
outputs, log = _run(
|
||||
tmp_path / f"case-{event}-{before!r}",
|
||||
("caddy/sites/apps.caddy",),
|
||||
before=before,
|
||||
event=event,
|
||||
)
|
||||
assert outputs["caddy_only"] == "false", f"before={before!r} event={event}: {outputs}"
|
||||
assert outputs["backend"] == "true", f"before={before!r} event={event}: {outputs}"
|
||||
assert outputs["frontend"] == "true", f"before={before!r} event={event}: {outputs}"
|
||||
assert outputs["infra"] == "true", f"before={before!r} event={event}: {outputs}"
|
||||
assert "деплой полный" in log
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_decision_is_visible_in_the_log(tmp_path: Path) -> None:
|
||||
"""Решение печатается: и список файлов, и итоговые флаги.
|
||||
|
||||
Без этого «сработало» и «просто не совпало» неотличимы — единственным
|
||||
свидетелем остаётся метка Created у контейнера на проде.
|
||||
"""
|
||||
_, log = _run(tmp_path, ("caddy/sites/apps.caddy",))
|
||||
assert "caddy/sites/apps.caddy" in log, f"шаг не печатает список файлов:\n{log}"
|
||||
assert "caddy_only=true" in log and "backend=false" in log, (
|
||||
f"шаг не печатает итоговые флаги:\n{log}"
|
||||
)
|
||||
|
||||
|
||||
# ── Быстрый путь на самом проде: джоба deploy-caddy ──────────────────────────
|
||||
#
|
||||
# Пока caddy_only был мёртв, каждый push шёл полным деплоем, и гард свежести
|
||||
# :latest (#2950, job `deploy`) прикрывал прод по умолчанию. Оживший быстрый
|
||||
# путь его обходит: при caddy_only=true джоба `deploy` пропускается целиком.
|
||||
# Дифф between-push (before→HEAD) не знает, что реально доехало до прода:
|
||||
# отменённая очередью `deploy` предыдущего прогона оставляет прод на старом
|
||||
# образе, а следующий caddy-only push честно видит «изменился один caddy-файл».
|
||||
|
||||
|
||||
def _caddy_deploy_script() -> str:
|
||||
spec = yaml.safe_load(DEPLOY.read_text(encoding="utf-8"))
|
||||
steps = [s for s in spec["jobs"]["deploy-caddy"]["steps"] if "ssh-action" in str(s.get("uses"))]
|
||||
assert len(steps) == 1, "в deploy-caddy нет ровно одного ssh-шага — гейт #3448 ослеп"
|
||||
return steps[0]["with"]["script"]
|
||||
|
||||
|
||||
def _prod_lag_guard() -> str:
|
||||
"""Кусок ssh-скрипта от вычисления PROD_HEAD до `git reset --hard`."""
|
||||
script = _caddy_deploy_script()
|
||||
assert "PROD_HEAD=" in script, (
|
||||
"джоба deploy-caddy не сверяет отставание прода: быстрый путь перезагрузит "
|
||||
"прокси и уйдёт зелёным, оставив прод на старом образе (#3448)"
|
||||
)
|
||||
# Ищем КОМАНДУ, а не подстроку: `git reset --hard` упоминается выше в
|
||||
# комментариях, и поиск по тексту нашёл бы объяснение вместо кода.
|
||||
reset_cmd = re.search(r"(?m)^\s*git reset --hard", script)
|
||||
assert reset_cmd, "в deploy-caddy пропал `git reset --hard` — гейт опирается на него"
|
||||
start, reset = script.index("PROD_HEAD="), reset_cmd.start()
|
||||
assert start < reset, (
|
||||
"проверка отставания прода стоит ПОСЛЕ `git reset --hard` — при отказе "
|
||||
"прод-HEAD уже переписан, и следующий прогон снова уйдёт быстрым путём"
|
||||
)
|
||||
return "set -euo pipefail\n" + script[start:reset]
|
||||
|
||||
|
||||
def _prod_repo(tmp_path: Path, ahead: tuple[str, ...]) -> Path:
|
||||
"""Прод-дерево на базовом коммите, origin/main — на `ahead` впереди."""
|
||||
repo, base_sha = _base_repo(tmp_path)
|
||||
_commit(repo, ahead, "ahead")
|
||||
_git(repo, "update-ref", "refs/remotes/origin/main", "HEAD")
|
||||
_git(repo, "reset", "--hard", "-q", base_sha)
|
||||
return repo
|
||||
|
||||
|
||||
def _run_guard(repo: Path) -> subprocess.CompletedProcess:
|
||||
return subprocess.run(
|
||||
["bash", "-c", _prod_lag_guard()],
|
||||
cwd=repo,
|
||||
capture_output=True,
|
||||
text=True,
|
||||
env={"PATH": "/usr/bin:/bin:/usr/local/bin", **GIT_ENV},
|
||||
)
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_fast_path_allowed_when_prod_lags_only_by_proxy_config(tmp_path: Path) -> None:
|
||||
proc = _run_guard(_prod_repo(tmp_path, ("caddy/sites/apps.caddy",)))
|
||||
assert proc.returncode == 0, f"законный быстрый путь заблокирован:\n{proc.stdout}{proc.stderr}"
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_fast_path_refuses_when_prod_lags_by_code(tmp_path: Path) -> None:
|
||||
"""Прод отстаёт не только по конфигу прокси → перезагрузка прокси запрещена."""
|
||||
proc = _run_guard(_prod_repo(tmp_path, ("backend/app/main.py", "caddy/sites/apps.caddy")))
|
||||
assert proc.returncode != 0, (
|
||||
"быстрый путь разрешён, хотя прод отстаёт по коду бэкенда: перезагрузка "
|
||||
f"прокси подменила бы выкатку, деплой ушёл бы зелёным.\n{proc.stdout}"
|
||||
)
|
||||
assert "backend/app/main.py" in proc.stdout, (
|
||||
f"отказ не называет файлы, из-за которых он произошёл:\n{proc.stdout}"
|
||||
)
|
||||
|
||||
|
||||
def test_fast_path_takes_the_same_host_lock() -> None:
|
||||
"""deploy-caddy правит прод-дерево — значит берёт тот же лок, что `deploy`.
|
||||
|
||||
Проверка текстовая, как в test_2950: исполнить flock-секцию в тесте нельзя,
|
||||
а её пропажа не даёт ни одного сигнала до совпадения окон двух деплоев.
|
||||
"""
|
||||
script = _caddy_deploy_script()
|
||||
assert "exec 9>/var/lock/gendesign-docker-deploy.lock" in script, (
|
||||
"deploy-caddy делает `git reset --hard` в /opt/gendesign в обход лока, "
|
||||
"которым полный деплой сериализует работу с прод-деревом (#2950)"
|
||||
)
|
||||
assert "flock -w 900 9" in script, "лок открывается, но не захватывается"
|
||||
|
||||
|
||||
@posix_only
|
||||
@pytest.mark.parametrize(
|
||||
"changed", [("caddy-extra/x.txt",), ("Caddyfile.bak",), ("docs/caddy.md",)]
|
||||
)
|
||||
def test_paths_that_merely_start_with_caddy_are_not_the_fast_path(
|
||||
tmp_path: Path, changed: tuple[str, ...]
|
||||
) -> None:
|
||||
"""`caddy-extra/…` и `Caddyfile.bak` — НЕ конфиг прокси.
|
||||
|
||||
Граница шаблона — единственное, что отделяет быстрый путь от тихого
|
||||
пропуска полного деплоя: `^(Caddyfile|caddy)` вместо `^(Caddyfile$|caddy/)`
|
||||
отправил бы эти правки перезагружать прокси вместо выкатки.
|
||||
"""
|
||||
outputs, _ = _run(tmp_path, changed)
|
||||
assert outputs["caddy_only"] == "false", f"{changed}: {outputs}"
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_empty_diff_is_not_the_fast_path(tmp_path: Path) -> None:
|
||||
"""Пустой дифф (`before` == HEAD, пустой мерж) — не «всё под caddy».
|
||||
|
||||
Без проверки «файлов больше нуля» пустой список формально удовлетворяет
|
||||
«ни один файл не лежит вне caddy»: сборка отключается, деплой подменяется
|
||||
перезагрузкой прокси — отказ, выглядящий как успешный быстрый путь.
|
||||
"""
|
||||
outputs, log = _run(tmp_path, ())
|
||||
assert outputs["caddy_only"] == "false", f"пустой дифф ушёл в быстрый путь: {outputs}"
|
||||
assert "изменённых файлов: 0" in log
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_data_sql_counts_as_backend(tmp_path: Path) -> None:
|
||||
"""`data/sql/**` собирает backend-образ: миграции едут в нём."""
|
||||
outputs, _ = _run(tmp_path, ("data/sql/002.sql",))
|
||||
assert outputs["backend"] == "true", outputs
|
||||
assert outputs["caddy_only"] == "false", outputs
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_non_ascii_path_is_classified(tmp_path: Path) -> None:
|
||||
"""Кириллица в пути не должна прятать файл от классификации.
|
||||
|
||||
`git diff --name-only` при `core.quotePath=true` (умолчание) отдаёт
|
||||
не-ASCII пути закавыченными и с \\NNN-экранированием — `^backend/`
|
||||
такую строку не матчит. Старый paths-filter брал `--name-status -z`, где
|
||||
квотирования нет; при переходе на свой diff это единственное место, где
|
||||
поведение могло разойтись. В дереве такие пути уже живут (docs/).
|
||||
"""
|
||||
outputs, log = _run(tmp_path, ("backend/модуль.py",))
|
||||
assert outputs["backend"] == "true", f"кириллический путь потерян: {outputs}\n{log}"
|
||||
|
||||
|
||||
@posix_only
|
||||
def test_multi_commit_push_is_not_truncated(tmp_path: Path) -> None:
|
||||
"""Push из нескольких коммитов разбирается целиком, а не по последнему.
|
||||
|
||||
Ровно та подмена, которую соблазнительно сделать «чтобы не зависеть от
|
||||
before»: `HEAD^..HEAD`. На одном мерж-коммите она даёт верный ответ и
|
||||
выглядит рабочей, а здесь — молча теряет бэкенд из первого коммита и
|
||||
включает быстрый путь, то есть пропускает выкатку кода.
|
||||
"""
|
||||
repo, base_sha = _base_repo(tmp_path)
|
||||
_commit(repo, ("backend/app/main.py",), "backend")
|
||||
_commit(repo, ("caddy/sites/apps.caddy",), "caddy")
|
||||
outputs, log = _exec(repo, base_sha)
|
||||
assert outputs["backend"] == "true", f"первый коммит push'а потерян: {outputs}\n{log}"
|
||||
assert outputs["caddy_only"] == "false", outputs
|
||||
|
||||
|
||||
def _paths_filter_steps() -> list[tuple[Path, str, dict]]:
|
||||
"""Все шаги dorny/paths-filter во всех воркфлоу (включая .yaml)."""
|
||||
found = []
|
||||
for path in sorted(WORKFLOWS.glob("*.y*ml")):
|
||||
spec = yaml.safe_load(path.read_text(encoding="utf-8")) or {}
|
||||
for job_name, job in (spec.get("jobs") or {}).items():
|
||||
for step in job.get("steps") or []:
|
||||
if str(step.get("uses", "")).startswith("dorny/paths-filter"):
|
||||
found.append((path, job_name, step))
|
||||
return found
|
||||
|
||||
|
||||
def test_exclusion_gate_has_something_to_check() -> None:
|
||||
"""Признак непустоты: проверка ниже обязана что-то находить.
|
||||
|
||||
Переименуют действие, разнесут воркфлоу по .yaml, уедут шаги — и гейт
|
||||
пройдёт при нулевом охвате, молча (ровно то, от чего страхуется ci.yml:190).
|
||||
"""
|
||||
steps = _paths_filter_steps()
|
||||
assert steps, (
|
||||
"не найдено ни одного шага dorny/paths-filter — проверка исключающих "
|
||||
"шаблонов прошла бы впустую, перепроверь маску поиска"
|
||||
)
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
"path,job_name,step",
|
||||
_paths_filter_steps(),
|
||||
ids=[f"{p.name}:{j}" for p, j, _ in _paths_filter_steps()],
|
||||
)
|
||||
def test_no_paths_filter_relies_on_exclusion_patterns(
|
||||
path: Path, job_name: str, step: dict
|
||||
) -> None:
|
||||
"""Ни один paths-filter в репозитории не вычитает пути через `!`.
|
||||
|
||||
Класс бага, а не единственный его случай: при `predicate-quantifier: some`
|
||||
(умолчание) шаблоны фильтра склеиваются через ИЛИ, и `!` ничего не вычитает.
|
||||
"""
|
||||
with_ = step.get("with") or {}
|
||||
if with_.get("predicate-quantifier") == "every":
|
||||
pytest.skip("predicate-quantifier: every — шаблоны склеиваются через И")
|
||||
filters = yaml.safe_load(with_.get("filters") or "") or {}
|
||||
assert filters, f"{path.name}: job {job_name} — у paths-filter пустой блок filters"
|
||||
for filter_name, patterns in filters.items():
|
||||
bad = [p for p in (patterns or []) if isinstance(p, str) and p.startswith("!")]
|
||||
assert not bad, (
|
||||
f"{path.name}: job {job_name}, фильтр {filter_name!r} вычитает пути "
|
||||
f"шаблонами {bad} — при `some` (умолчание) они склеиваются через ИЛИ "
|
||||
"и фильтр становится true ВСЕГДА. Так #2916 не сработал ни разу (#3448)."
|
||||
)
|
||||
|
|
@ -1,112 +0,0 @@
|
|||
"""Правки Prometheus-конфига/правил обязаны доезжать до работающего процесса.
|
||||
|
||||
ЧТО СЛУЧИЛОСЬ НА ПРОДЕ. `GET /api/v1/status/runtimeinfo` внутри
|
||||
`gendesign-prometheus` 12.09 отдавал `lastConfigTime`, совпадающий со
|
||||
`startTime` контейнера, — конфиг и правила не перечитывались 16 суток.
|
||||
Деплой при этом был зелёный: `docker compose up -d` не пересоздаёт
|
||||
контейнер из-за изменения содержимого бинд-маунта (он сравнивает только
|
||||
описание сервиса), а `--web.enable-lifecycle` был включён в
|
||||
docker-compose.metrics.yml, но эндпоинт `/-/reload` никто не вызывал.
|
||||
|
||||
Тот же класс бага, что уже пойман и починен для Caddy (`caddy reload`)
|
||||
и для Alertmanager (`--force-recreate`, см. test_3xxx_alertmanager_inode.py)
|
||||
в этом же workflow — только для Prometheus починка не пересоздание
|
||||
контейнера, а именно `POST /-/reload`: он переоткрывает файлы конфига по
|
||||
пути заново, так что новый инод после `git reset --hard` подхватывается
|
||||
без даунтайма.
|
||||
|
||||
Проверяется здесь: (1) валидация promtool ЕСТЬ, (2) reload вызывается
|
||||
ТОЛЬКО после успешной валидации, (3) шаг обязан упасть, если reload не
|
||||
подтверждён сменой lastConfigTime.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
from pathlib import Path
|
||||
|
||||
REPO_ROOT = Path(__file__).resolve().parents[3]
|
||||
WORKFLOW = REPO_ROOT / ".forgejo" / "workflows" / "deploy-metrics.yml"
|
||||
|
||||
|
||||
def _text() -> str:
|
||||
return WORKFLOW.read_text(encoding="utf-8")
|
||||
|
||||
|
||||
def test_promtool_checks_config_and_rules() -> None:
|
||||
"""promtool обязан проверять и конфиг, и правила — не только один файл."""
|
||||
text = _text()
|
||||
assert "promtool check config /etc/prometheus/prometheus.yml" in text, (
|
||||
"нет проверки конфига promtool'ом — битый prometheus.yml долетит до reload"
|
||||
)
|
||||
assert "promtool check rules" in text, (
|
||||
"нет проверки правил promtool'ом — битое правило долетит до reload"
|
||||
)
|
||||
|
||||
|
||||
def test_reload_endpoint_is_called() -> None:
|
||||
"""Сам reload обязан вызываться — иначе валидация ничего не решает."""
|
||||
text = _text()
|
||||
assert "localhost:9090/-/reload" in text, (
|
||||
"нет вызова POST /-/reload — конфиг/правила проверяются, но в силу не вступают "
|
||||
"(#3467: lastConfigTime не менялся 16 суток при зелёном деплое)"
|
||||
)
|
||||
|
||||
|
||||
def test_reload_happens_after_validation_not_before() -> None:
|
||||
"""Reload обязан идти ПОСЛЕ promtool, а не до/вместо него."""
|
||||
text = _text()
|
||||
check_pos = text.index("promtool check config /etc/prometheus/prometheus.yml")
|
||||
reload_pos = text.index("localhost:9090/-/reload")
|
||||
assert check_pos < reload_pos, (
|
||||
"reload стоит раньше проверки конфига — битый конфиг мог бы применяться вслепую"
|
||||
)
|
||||
|
||||
|
||||
def test_reload_is_guarded_by_the_promtool_check() -> None:
|
||||
"""Reload обязан быть ВНУТРИ `if promtool ...; then`, а не безусловным."""
|
||||
text = _text()
|
||||
guard_start = text.index("if docker exec gendesign-prometheus promtool check config")
|
||||
else_pos = text.index("else", guard_start)
|
||||
reload_pos = text.index("localhost:9090/-/reload")
|
||||
assert guard_start < reload_pos < else_pos, (
|
||||
"вызов reload лежит вне ветки успешной проверки promtool — "
|
||||
"битый конфиг всё равно приведёт к reload, либо reload вообще не защищён проверкой"
|
||||
)
|
||||
|
||||
|
||||
def test_failed_validation_skips_reload_and_fails_the_step() -> None:
|
||||
"""При провале promtool — reload НЕ вызывается, и шаг падает (exit 1)."""
|
||||
text = _text()
|
||||
guard_start = text.index("if docker exec gendesign-prometheus promtool check config")
|
||||
else_pos = text.index("else", guard_start)
|
||||
fi_pos = text.index("fi", else_pos)
|
||||
else_branch = text[else_pos:fi_pos]
|
||||
assert "localhost:9090/-/reload" not in else_branch, (
|
||||
"reload вызывается даже в ветке провалившейся проверки"
|
||||
)
|
||||
assert "exit 1" in else_branch, (
|
||||
"провал promtool не роняет шаг — деплой останется зелёным при битом конфиге"
|
||||
)
|
||||
|
||||
|
||||
def test_acceptance_checks_last_config_time_actually_changed() -> None:
|
||||
"""Приёмка обязана сверять `lastConfigTime` до/после, а не доверять коду ответа reload.
|
||||
|
||||
`wget` на POST /-/reload может отрапортовать успех, даже если Prometheus
|
||||
молча остался на старом конфиге (например, если бинарь внутри образа не
|
||||
поддерживает --post-data так, как ожидалось) — единственное надёжное
|
||||
подтверждение реального перечитывания конфига это смена таймстемпа.
|
||||
"""
|
||||
text = _text()
|
||||
assert text.count("lastConfigTime") >= 2, (
|
||||
"нет сравнения lastConfigTime до/после — reload не проверяется по факту"
|
||||
)
|
||||
assert "LAST_CONFIG_BEFORE" in text and "LAST_CONFIG_AFTER" in text, (
|
||||
"нет явного до/после сравнения таймстемпа последней перезагрузки конфига"
|
||||
)
|
||||
verify_start = text.index("LAST_CONFIG_AFTER")
|
||||
verify_block_end = text.index("Prometheus: конфиг и правила проверены", verify_start)
|
||||
verify_block = text[verify_start:verify_block_end]
|
||||
assert "exit 1" in verify_block, (
|
||||
"если lastConfigTime не изменился, шаг обязан падать, а не считаться успешным"
|
||||
)
|
||||
|
|
@ -1,108 +0,0 @@
|
|||
"""Гейт: `$value` в тексте алерта — это та величина, которую текст называет.
|
||||
|
||||
Найдено 12.09.2026 по боевым сообщениям в Telegram:
|
||||
|
||||
«apps / tradein-browser: 2.684e+11% от mem_limit. Дальше OOM-kill.»
|
||||
«apps / listings: доля HOT 75.21%.» (при пороге срабатывания «доля < 20%»)
|
||||
|
||||
Причина у обоих одна и она про ФОРМУ выражения, а не про условие. В PromQL
|
||||
`A and B` возвращает ЗНАЧЕНИЯ ЛЕВОЙ части, отфильтрованные правой. Значит в
|
||||
`$value` попадает A, а не то отношение, ради которого правило написано:
|
||||
|
||||
- ContainerNearMemoryLimit: слева стоял `container_spec_memory_limit_bytes`,
|
||||
и в сообщение уходил ЛИМИТ В БАЙТАХ, отрендеренный `humanizePercentage`
|
||||
(2 684 354 560 → «2.684e+11%»). Условие при этом срабатывало верно.
|
||||
- PostgresLowHotUpdateRatio: слева стоял `rate(tup_upd[6h])` — АПДЕЙТОВ В
|
||||
СЕКУНДУ. Это опаснее: 0.7521 превращалось в «75.21%», число попадало в
|
||||
правдоподобный диапазон и противоречило собственному порогу («доля < 20%»),
|
||||
но выглядело настоящим.
|
||||
|
||||
Отсюда инвариант, который здесь и проверяется: **если описание рендерит
|
||||
`$value` как долю (`humanizePercentage`), выражение обязано возвращать долю** —
|
||||
то есть его ЛЕВАЯ часть (до первого `and`/`unless`) обязана содержать деление.
|
||||
Отсев побочных условий переносится внутрь знаменателя (`X / (Y > 0)`), а не в
|
||||
`and` слева.
|
||||
|
||||
Гейт намеренно не пытается «понять» PromQL целиком: он ловит ровно ту форму,
|
||||
которая уже дважды уехала в прод, и не мешает правилам, печатающим абсолютные
|
||||
величины без humanize (PostgresDeadTuplesHigh, PostgresIdleInTransaction).
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import re
|
||||
from pathlib import Path
|
||||
|
||||
import yaml
|
||||
|
||||
_RULES_DIR = Path(__file__).resolve().parents[3] / "ops" / "metrics" / "prometheus" / "rules"
|
||||
|
||||
|
||||
def _alerts() -> list[tuple[str, str, str, dict]]:
|
||||
"""(файл, имя алерта, expr, annotations) по всем файлам правил."""
|
||||
out: list[tuple[str, str, str, dict]] = []
|
||||
for path in sorted(_RULES_DIR.glob("*.yml")):
|
||||
doc = yaml.safe_load(path.read_text(encoding="utf-8"))
|
||||
for group in doc.get("groups", []):
|
||||
for rule in group.get("rules", []):
|
||||
if "alert" in rule:
|
||||
out.append(
|
||||
(
|
||||
path.name,
|
||||
rule["alert"],
|
||||
rule.get("expr", ""),
|
||||
rule.get("annotations") or {},
|
||||
)
|
||||
)
|
||||
return out
|
||||
|
||||
|
||||
def _left_of_and(expr: str) -> str:
|
||||
"""Часть выражения ДО первого бинарного `and`/`unless` — её значения и видит $value."""
|
||||
parts = re.split(r"\band\b|\bunless\b", expr, maxsplit=1)
|
||||
return parts[0]
|
||||
|
||||
|
||||
def test_rules_dir_is_found() -> None:
|
||||
assert _RULES_DIR.is_dir(), f"нет каталога правил: {_RULES_DIR}"
|
||||
assert _alerts(), "правила не распарсились — гейт был бы зелёным впустую"
|
||||
|
||||
|
||||
def test_percentage_annotations_come_from_a_ratio() -> None:
|
||||
"""Текст обещает долю → выражение обязано её и возвращать."""
|
||||
broken: list[str] = []
|
||||
for fname, name, expr, ann in _alerts():
|
||||
text = " ".join(str(v) for v in ann.values())
|
||||
if "humanizePercentage" not in text:
|
||||
continue
|
||||
left = _left_of_and(expr)
|
||||
if "/" not in left:
|
||||
broken.append(
|
||||
f"{fname}::{name}: описание печатает $value как долю, но левая часть "
|
||||
f"выражения (её и видит $value) деления не содержит: {' '.join(left.split())!r}"
|
||||
)
|
||||
assert not broken, "\n".join(broken)
|
||||
|
||||
|
||||
def test_known_two_rules_are_fixed() -> None:
|
||||
"""Именные проверки для двух правил, которые уже соврали в проде."""
|
||||
by_name = {name: (expr, ann) for _, name, expr, ann in _alerts()}
|
||||
|
||||
expr, ann = by_name["ContainerNearMemoryLimit"]
|
||||
flat = " ".join(expr.split())
|
||||
assert flat.startswith("container_memory_working_set_bytes"), (
|
||||
"слева должно стоять потребление, иначе в Telegram уедет лимит в байтах: " + flat
|
||||
)
|
||||
assert "(container_spec_memory_limit_bytes" in flat and "> 0)" in flat, (
|
||||
"отсев нулевого лимита должен стоять В ЗНАМЕНАТЕЛЕ, а не в `and` слева: " + flat
|
||||
)
|
||||
assert "humanizePercentage" in " ".join(ann.values())
|
||||
|
||||
expr, ann = by_name["PostgresLowHotUpdateRatio"]
|
||||
flat = " ".join(expr.split())
|
||||
assert flat.startswith("rate(pg_table_write_amplification_tup_hot_upd"), (
|
||||
"слева должен стоять числитель доли HOT, иначе печатается rate(tup_upd): " + flat
|
||||
)
|
||||
assert "/ (rate(pg_table_write_amplification_tup_upd[6h]) > 0.5)" in flat, (
|
||||
"гейт по объёму апдейтов должен жить в знаменателе — он же защищает от 0/0: " + flat
|
||||
)
|
||||
|
|
@ -176,29 +176,3 @@ tests/sql/test_2998_rosreestr_partition_horizon.py::test_schema_01_alone_is_red_
|
|||
tests/sql/test_2998_rosreestr_partition_horizon.py::test_migration_193_is_idempotent_and_closes_the_gap
|
||||
tests/sql/test_2998_rosreestr_partition_horizon.py::test_partition_exists_for_every_publishable_quarter
|
||||
tests/sql/test_2998_rosreestr_partition_horizon.py::test_partition_exists_one_quarter_ahead
|
||||
|
||||
# ── POSIX-only: тесты запускают дочерний bash-скрипт ───────────────────────────
|
||||
# На Windows нет POSIX shell на PATH, которым эти тесты исполняют /bin/bash -c
|
||||
# <скрипт> или сам shell-скрипт напрямую (шебанг #!/usr/bin/env bash) — процесс
|
||||
# не стартует. В CI ЭТИ ТЕСТЫ ИДУТ (ubuntu-раннер). Записи нужны только для
|
||||
# локального прогона на Windows; чисто-логические проверки в тех же файлах
|
||||
# (читают YAML/строки без subprocess) в этот список НЕ входят и обязаны
|
||||
# исполняться локально.
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_merge_with_only_caddy_file_takes_the_fast_path
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_caddy_plus_backend_is_a_full_deploy
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_missing_base_falls_back_to_full_deploy
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_decision_is_visible_in_the_log
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_fast_path_allowed_when_prod_lags_only_by_proxy_config
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_fast_path_refuses_when_prod_lags_by_code
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_paths_that_merely_start_with_caddy_are_not_the_fast_path
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_empty_diff_is_not_the_fast_path
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_data_sql_counts_as_backend
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_non_ascii_path_is_classified
|
||||
tests/ops/test_3448_caddy_only_detection.py::test_multi_commit_push_is_not_truncated
|
||||
tests/test_2950_latest_image_revision_gate.py::test_fresh_latest_passes
|
||||
tests/test_2950_latest_image_revision_gate.py::test_newer_revision_passes
|
||||
tests/test_2950_latest_image_revision_gate.py::test_stale_latest_fails_after_timeout
|
||||
tests/test_2950_latest_image_revision_gate.py::test_revision_from_other_component_does_not_cover
|
||||
tests/test_2950_latest_image_revision_gate.py::test_missing_label_fails
|
||||
tests/test_2950_latest_image_revision_gate.py::test_registry_error_fails
|
||||
tests/test_2950_latest_image_revision_gate.py::test_usage_errors_are_distinct
|
||||
|
|
|
|||
|
|
@ -15,20 +15,10 @@ from __future__ import annotations
|
|||
import os
|
||||
import stat
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
import pytest
|
||||
|
||||
# Каждый тест в файле запускает scripts/check-latest-image-revision.sh (POSIX shell,
|
||||
# shebang #!/usr/bin/env bash) дочерним процессом. На Windows нет POSIX shell на PATH,
|
||||
# чтобы это исполнить, — покрытие обеспечивается в CI на Linux.
|
||||
pytestmark = pytest.mark.skipif(
|
||||
sys.platform == "win32",
|
||||
reason="запускает bash-скрипт (check-latest-image-revision.sh) дочерним процессом; "
|
||||
"POSIX-only, покрытие в CI (Linux)",
|
||||
)
|
||||
|
||||
КОРЕНЬ = Path(__file__).resolve().parents[2]
|
||||
СКРИПТ = КОРЕНЬ / "scripts" / "check-latest-image-revision.sh"
|
||||
|
||||
|
|
|
|||
|
|
@ -1,36 +0,0 @@
|
|||
"""Продуктовый счётчик экспорта отчётов (#3471): выгрузок §22-форсайта / ТЗ.
|
||||
|
||||
Мера кардинальности та же, что в `test_metrics.py`: единственный лейбл —
|
||||
`format`, фиксированный литерал из `Literal[...]` сигнатуры эндпоинта
|
||||
(`export_parcel_forecast`) плюс одно статичное значение `best_layouts_pdf`
|
||||
(ТЗ на проектирование) — не кадастровый номер и не идентификатор пользователя.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
from prometheus_client import REGISTRY, generate_latest
|
||||
|
||||
from app.observability import metrics as m
|
||||
|
||||
|
||||
def test_reports_exported_counter_has_bounded_format_label() -> None:
|
||||
assert tuple(m.REPORTS_EXPORTED._labelnames) == ("format",) # type: ignore[attr-defined]
|
||||
|
||||
|
||||
def test_reports_exported_counter_increments_per_format() -> None:
|
||||
def _value(fmt: str) -> float:
|
||||
return (
|
||||
REGISTRY.get_sample_value("sitefinder_reports_exported_total", {"format": fmt}) or 0.0
|
||||
)
|
||||
|
||||
before_pdf = _value("pdf")
|
||||
before_layouts = _value("best_layouts_pdf")
|
||||
|
||||
m.REPORTS_EXPORTED.labels(format="pdf").inc()
|
||||
m.REPORTS_EXPORTED.labels(format="best_layouts_pdf").inc()
|
||||
|
||||
assert _value("pdf") - before_pdf == 1.0
|
||||
assert _value("best_layouts_pdf") - before_layouts == 1.0
|
||||
|
||||
body = generate_latest(REGISTRY).decode()
|
||||
assert "sitefinder_reports_exported_total" in body
|
||||
|
|
@ -18,7 +18,6 @@ Pure / mock-based — без реальной сети и БД. Покрывае
|
|||
|
||||
from __future__ import annotations
|
||||
|
||||
import hashlib
|
||||
import io
|
||||
from contextlib import contextmanager
|
||||
from typing import Any
|
||||
|
|
@ -97,64 +96,6 @@ def test_map_load_index_unknown_and_missing() -> None:
|
|||
assert rw._map_load_index({"sc_indexload_id": "мусор"}) is None
|
||||
|
||||
|
||||
# ── _stable_external_id (#3322: сессионный fid раздувал таблицу ×10) ───────────
|
||||
|
||||
|
||||
def _wfs_feature(fid: str, name: str, lon: float, lat: float) -> dict[str, Any]:
|
||||
return {
|
||||
"id": fid,
|
||||
"geometry": {"type": "Point", "coordinates": [lon, lat]},
|
||||
"properties": {"sc_name": name},
|
||||
}
|
||||
|
||||
|
||||
def test_stable_external_id_ignores_session_fid() -> None:
|
||||
"""Разные сессионные fid + одинаковые атрибуты → ОДИН ключ (регрессия #3322)."""
|
||||
a = _wfs_feature("sc_points_fullview.fid--1a2b3c", "ПС 110/10 Уктус", 60.47123, 56.77456)
|
||||
b = _wfs_feature("sc_points_fullview.fid--9f8e7d", "ПС 110/10 Уктус", 60.47123, 56.77456)
|
||||
|
||||
key_a = rw._stable_external_id(a, a["properties"])
|
||||
assert key_a == rw._stable_external_id(b, b["properties"])
|
||||
# Проверка ПО ЗНАЧЕНИЮ: ключ = sha256 по «имя|напряжение|lon_e5|lat_e5»,
|
||||
# не fid. Тот же seed повторён в data/sql/99c_power_supply_centers_dedup.sql.
|
||||
expected = "h:" + hashlib.sha256("уктус|110/10|6047123|5677456".encode()).hexdigest()[:16]
|
||||
assert key_a == expected == "h:844e54f0152d2799"
|
||||
|
||||
|
||||
def test_stable_external_id_differs_on_attributes() -> None:
|
||||
"""Одинаковый fid, разные атрибуты (координата / имя) → РАЗНЫЕ ключи."""
|
||||
base = _wfs_feature("sc_points_fullview.fid--same", "ПС 110/10 Уктус", 60.47123, 56.77456)
|
||||
moved = _wfs_feature("sc_points_fullview.fid--same", "ПС 110/10 Уктус", 60.47124, 56.77456)
|
||||
renamed = _wfs_feature("sc_points_fullview.fid--same", "ПС 110/10 Северная", 60.47123, 56.77456)
|
||||
|
||||
keys = {rw._stable_external_id(f, f["properties"]) for f in (base, moved, renamed)}
|
||||
assert len(keys) == 3
|
||||
assert rw._stable_external_id(moved, moved["properties"]) == "h:8c5b5fa5f35c651b"
|
||||
assert rw._stable_external_id(renamed, renamed["properties"]) == "h:297e00f6e0d4f3b8"
|
||||
|
||||
|
||||
def test_stable_external_id_no_geometry() -> None:
|
||||
"""Фича без геометрии: координатные компоненты пустые, ключ всё равно стабилен."""
|
||||
f: dict[str, Any] = {"id": "fid--x", "properties": {"sc_name": "ПС 110/10 Уктус"}}
|
||||
assert rw._stable_external_id(f, f["properties"]) == "h:eb91917f35aff23f"
|
||||
|
||||
|
||||
def test_coord_e5_rounds_on_binary_double_not_decimal() -> None:
|
||||
"""Округление по ДВОИЧНОМУ double, не по десятичному представлению.
|
||||
|
||||
64.423605*1e5 == 6442360.499999999 → 6442360; «по десятичному» вышло бы 6442361
|
||||
(так считал бы round(ST_X(geom)::numeric*100000) — расхождение на 0.19% реальных
|
||||
координат). 99c обязана давать те же цифры, поэтому семантика закреплена тестом.
|
||||
"""
|
||||
assert rw._coord_e5(64.423605) == "6442360"
|
||||
assert rw._coord_e5(-64.423605) == "-6442360"
|
||||
# 60.123455*1e5 == ровно 6012345.5 → полукругление ОТ нуля, симметрично знаку.
|
||||
assert rw._coord_e5(60.123455) == "6012346"
|
||||
assert rw._coord_e5(-60.123455) == "-6012346"
|
||||
assert rw._coord_e5(60.6) == "6060000"
|
||||
assert rw._coord_e5(None) == ""
|
||||
|
||||
|
||||
# ── sanitize_tp_capacity_mva (кВА-санитайз) ───────────────────────────────────
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -1,68 +0,0 @@
|
|||
"""Бинды SQL-стейтментов ЕЭСК-лоадера обязаны совпадать с передаваемыми params.
|
||||
|
||||
ПОЧЕМУ ЭТОТ ТЕСТ СУЩЕСТВУЕТ. 18.08-02.09.2026 все 71 UPDATE резервов ПС
|
||||
падали, а задача оставалась зелёной: упоминание СНЯТОГО параметра load_pct
|
||||
в SQL-КОММЕНТАРИИ (в синтаксисе «двоеточие+имя») SQLAlchemy text() распарсил
|
||||
как обязательный бинд, params его не содержал, каждая строка падала на
|
||||
compile, а per-row except глотал это как «битую строку». ЕЭСК-резервы не
|
||||
обновлялись две недели, freshness этого не видел (задача done).
|
||||
|
||||
Тест ловит МЕХАНИЗМ: собирает все text()-стейтменты модуля и сверяет их
|
||||
бинд-имена с ключами словаря params из того же контекста. Никакой БД не
|
||||
нужно — дефект живёт на этапе компиляции стейтмента.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import re
|
||||
from pathlib import Path
|
||||
|
||||
from sqlalchemy import text
|
||||
|
||||
LOADER = (
|
||||
Path(__file__).resolve().parents[1]
|
||||
/ "app"
|
||||
/ "services"
|
||||
/ "site_finder"
|
||||
/ "eesk_reserve_loader.py"
|
||||
)
|
||||
|
||||
|
||||
def _extract_update_sql() -> str:
|
||||
"""Достаёт текст UPDATE power_supply_centers из исходника лоадера."""
|
||||
src = LOADER.read_text(encoding="utf-8")
|
||||
m = re.search(r'text\("""\s*(UPDATE power_supply_centers.*?)"""\)', src, re.S)
|
||||
assert m, "UPDATE power_supply_centers не найден в лоадере"
|
||||
return m.group(1)
|
||||
|
||||
|
||||
def _extract_params_keys() -> set[str]:
|
||||
"""Ключи словаря params, который передаётся в этот execute."""
|
||||
src = LOADER.read_text(encoding="utf-8")
|
||||
m = re.search(r"params = \{(.*?)\}", src, re.S)
|
||||
assert m, "словарь params не найден"
|
||||
return set(re.findall(r'"([a-z_]+)":', m.group(1)))
|
||||
|
||||
|
||||
def test_update_binds_are_subset_of_params() -> None:
|
||||
"""Каждый бинд стейтмента обязан приходить из params — иначе UPDATE падает
|
||||
на КАЖДОЙ строке, и per-row SAVEPOINT-except прячет это под «битую строку»."""
|
||||
stmt = text(_extract_update_sql())
|
||||
binds = {p.key for p in stmt._bindparams.values()}
|
||||
params = _extract_params_keys()
|
||||
missing = binds - params
|
||||
assert not missing, (
|
||||
f"стейтмент требует биндов {sorted(missing)}, которых нет в params — "
|
||||
"все строки батча упадут молча. Частая причина: упоминание "
|
||||
"«двоеточие+имя» в SQL-комментарии (text() парсит бинды и там)."
|
||||
)
|
||||
|
||||
|
||||
def test_comment_does_not_reintroduce_phantom_bind() -> None:
|
||||
"""Регресс 18.08: снятый параметр упомянули в комментарии в живом
|
||||
синтаксисе бинда. Проверяем ЗНАЧЕНИЕМ: компиляция с ровно теми params,
|
||||
что собирает лоадер, не требует ничего лишнего."""
|
||||
stmt = text(_extract_update_sql())
|
||||
have = _extract_params_keys()
|
||||
for bp in stmt._bindparams.values():
|
||||
assert bp.key in have, f"фантомный бинд из комментария: {bp.key!r}"
|
||||
|
|
@ -1,54 +0,0 @@
|
|||
# ═══════════════════════════════════════════════════════════════════════════
|
||||
# caddy/deploy-window.caddy.snippet — ответ на окно деплоя (#3274)
|
||||
#
|
||||
# Импортируется ВНУТРЬ `handle_errors 502 503 504 { ... }` (см. apps.caddy):
|
||||
# сам по себе снипет ничего не перехватывает, он только решает, ЧТО отдать,
|
||||
# когда апстрим не отвечает.
|
||||
#
|
||||
# ЧТО ЭТО ЛЕЧИТ, А ЧТО НЕТ. Каждый деплой tradein-frontend/tradein-backend
|
||||
# оставляет окно 30–90 с, в котором контейнера просто нет: Caddy набирает
|
||||
# новый апстрим сразу, тот ещё не слушает (замер по access-логам, #3274 —
|
||||
# все 502 кластеризуются на окнах мержа, duration < 2 мс = мгновенный отказ
|
||||
# соединения). Снипет НЕ УБИРАЕТ окно — он меняет то, что видит человек и
|
||||
# клиент внутри окна. Настоящее лечение (готовность нового контейнера до
|
||||
# переключения) — п.1 issue, решение владельца, здесь его нет.
|
||||
#
|
||||
# ПОЧЕМУ 503, А НЕ 502. 502 значит «апстрим ответил мусором» — постоянная
|
||||
# поломка; поисковик по нему выкидывает страницу из индекса, клиентские
|
||||
# библиотеки не ретраят. 503 + `Retry-After: 30` — стандартный код «временно
|
||||
# недоступен, приходи через 30 секунд»: Googlebot держит страницу в индексе,
|
||||
# HTTP-клиенты понимают, что повтор осмыслен.
|
||||
#
|
||||
# ПОЧЕМУ ДВА ТЕЛА. `/trade-in/api/*` вызывают из JS и внешних клиентов — они
|
||||
# парсят JSON, и HTML-страница у них превращается в ошибку разбора вместо
|
||||
# читаемого статуса. Всё остальное открывает человек браузером.
|
||||
#
|
||||
# ВНЕШНИХ РЕСУРСОВ В СТРАНИЦЕ НЕТ ВООБЩЕ — ни шрифта, ни CSS-файла, ни
|
||||
# картинки. В окне деплоя они пришли бы с того же мёртвого апстрима, и
|
||||
# страница-заглушка отрисовалась бы голым текстом. Отсюда же инлайновые
|
||||
# `style=` вместо блока `<style>`: фигурные скобки в теле `respond` Caddy
|
||||
# пытается разобрать как плейсхолдеры.
|
||||
# ═══════════════════════════════════════════════════════════════════════════
|
||||
|
||||
@deployWindowApi path /trade-in/api/*
|
||||
handle @deployWindowApi {
|
||||
header Content-Type "application/json; charset=utf-8"
|
||||
header Retry-After "30"
|
||||
respond `{"detail":"Сервис обновляется, повторите запрос через минуту","error":"service_unavailable","retry_after":30}` 503
|
||||
}
|
||||
|
||||
handle {
|
||||
header Content-Type "text/html; charset=utf-8"
|
||||
header Retry-After "30"
|
||||
respond `<!doctype html>
|
||||
<html lang="ru">
|
||||
<meta charset="utf-8">
|
||||
<meta name="viewport" content="width=device-width,initial-scale=1">
|
||||
<title>Сервис обновляется</title>
|
||||
<body style="margin:0;min-height:100vh;display:flex;align-items:center;justify-content:center;font-family:-apple-system,BlinkMacSystemFont,'Segoe UI',Roboto,Helvetica,Arial,sans-serif;background:#fff;color:#111">
|
||||
<main style="max-width:30rem;padding:2rem;text-align:center">
|
||||
<h1 style="font-size:1.25rem;font-weight:600;margin:0 0 .75rem">Сервис обновляется</h1>
|
||||
<p style="margin:0;line-height:1.6;color:#444">Это занимает около минуты. Обновите страницу чуть позже — введённые данные не потеряются.</p>
|
||||
</main>
|
||||
` 503
|
||||
}
|
||||
|
|
@ -42,40 +42,6 @@
|
|||
# код.
|
||||
# ═══════════════════════════════════════════════════════════════════════════
|
||||
|
||||
# ── (tradein_frontend_retry) — подмена контейнера фронта без 502 (#3274) ─────
|
||||
#
|
||||
# ЧТО ЭТО. Ретрай ПОДКЛЮЧЕНИЯ к tradein-frontend: пока идёт подмена
|
||||
# контейнера, Caddy не отдаёт ошибку сразу, а до 2 с переспрашивает апстрим с
|
||||
# шагом 100 мс. Импортируется ВНУТРЬ каждого `reverse_proxy tradein-frontend`
|
||||
# в этом файле (9 блоков: gendsgn.ru/trade-in/* и все публичные пути
|
||||
# meraocenka.ru).
|
||||
#
|
||||
# ПОЧЕМУ ЭТО НЕ ТО, ЧТО ОТВЕРГНУТО В #3274. Там `lb_try_duration` отвергнут
|
||||
# для окна 30–90 с — держать посетителя минуту в ожидании хуже честной
|
||||
# ошибки, инструмент рассчитан на разрыв в сотни миллисекунд. Правка в
|
||||
# deploy-tradein.yml (frontend вынесен из общего `up -d`) СНАЧАЛА сводит окно
|
||||
# к этим сотням миллисекунд, и только после этого ретрай становится
|
||||
# применим. Числа, на которых это стоит (замеры 11.09):
|
||||
# - прод, ОДИН сервис в `up -d`: контейнер создан 16:42:17.5 → запущен
|
||||
# 16:42:18.0 — 0,5 с;
|
||||
# - прод, ПАЧКА сервисов в одном `up -d`: создан 15:01:40 → запущен
|
||||
# 15:02:10 — 30 с (фаза start ждёт готовности зависимостей, а старый
|
||||
# контейнер снесён ещё в фазе create);
|
||||
# - стенд (реальный образ фронта + Caddy 2), одиночная подмена: без ретрая
|
||||
# 1 × 502, с ретраем 241/241 × 200, один запрос подождал 0,55 с.
|
||||
#
|
||||
# ПОТОЛОК. 2 с — это ЦЕНА ОЖИДАНИЯ при настоящей аварии: если фронт лежит
|
||||
# долго, каждый запрос сначала висит 2 с и лишь потом получает 503-заглушку
|
||||
# (../deploy-window.caddy.snippet). Поэтому не «побольше на всякий случай»:
|
||||
# запас над измеренными 0,5 с четырёхкратный, дальше растёт только вред.
|
||||
# Бэкенду (tradein-backend) этот приём НАМЕРЕННО не дан: его старт — единицы
|
||||
# секунд (uvicorn + подключение к БД), там 2 с не хватит, а больше — уже тот
|
||||
# самый вред. Его окно закрывается отдельно, не этой правкой.
|
||||
(tradein_frontend_retry) {
|
||||
lb_try_duration 2s
|
||||
lb_try_interval 100ms
|
||||
}
|
||||
|
||||
# Caddy config.
|
||||
#
|
||||
# - gendsgn.ru — main production site, auto-TLS via Let's Encrypt.
|
||||
|
|
@ -133,35 +99,6 @@ gendsgn.ru {
|
|||
format json
|
||||
}
|
||||
|
||||
# #3471: копия access-лога на stdout. За 3 часа наблюдения в
|
||||
# gendesign-caddy-1 не было НИ ОДНОЙ строки http.log.access — только ACME/
|
||||
# TLS/warn от reverse_proxy, статусы/латентность/RPS прокси не видны в
|
||||
# Loki вообще. Alloy на этом хосте уже собирает stdout контейнеров через
|
||||
# journald (`loki.source.journal "host"`,
|
||||
# ops/metrics/alloy/alloy-apps.alloy) — второй bind-монт не нужен.
|
||||
#
|
||||
# Секреты в query (`?secret=`, `?token=` и т.п., см. инцидент #3154) режет
|
||||
# УЖЕ РАБОТАЮЩИЙ `loki.process.scrub_credentials` (#3354, тот же список
|
||||
# имён параметров, что в app/core/log_scrub.py) — он стоит на пути ЛЮБОГО
|
||||
# journal-лога, включая этот, поэтому второй слой скраба здесь не заводим.
|
||||
#
|
||||
# `log_skip` — общий для ВСЕХ логгеров сайта флаг на запрос (Caddy не даёт
|
||||
# скипать выборочно по конкретному логгеру), поэтому /health и статика
|
||||
# Next пропадают заодно и из файлового gendsgn.ru.log выше, не только из
|
||||
# копии на stdout. Это осознанный побочный эффект, не только экономия:
|
||||
# /health — 32% строк gendsgn.ru.log в измеренном сегменте (12.09.2026,
|
||||
# 240 из 742 строк за ~4ч, аптайм-монитор раз в минуту) без диагностической
|
||||
# ценности, и именно он гонит файловый лог через 50MiB roll_size так часто.
|
||||
log access_stdout {
|
||||
output stdout
|
||||
format json
|
||||
}
|
||||
|
||||
@noisy_access_log {
|
||||
path /health /_next/static/*
|
||||
}
|
||||
log_skip @noisy_access_log
|
||||
|
||||
route {
|
||||
# `/metrics` наружу не отдаётся — ни бэкендом, ни фронтом (#3078).
|
||||
# Сегодня он и так недостижим: бэкенду «Птицы» ниже уходят только
|
||||
|
|
@ -184,13 +121,10 @@ gendsgn.ru {
|
|||
}
|
||||
|
||||
# Static HTML mockups для review (audit alternatives).
|
||||
# Public access — без auth (по запросу 2026-05-17) — это намеренно и
|
||||
# менять НЕ надо. Но каталог не должен листингом отдавать список
|
||||
# файлов случайному посетителю: без `browse` file_server продолжает
|
||||
# отдавать сами файлы по прямой ссылке, просто без index-листинга.
|
||||
# Public access — без auth (по запросу 2026-05-17).
|
||||
handle_path /preview/* {
|
||||
root * /srv/preview
|
||||
file_server
|
||||
file_server browse
|
||||
}
|
||||
|
||||
# Trade-In UI preview — public CI surface (#801). Рендерит mock-фикстуру
|
||||
|
|
@ -203,7 +137,6 @@ gendsgn.ru {
|
|||
@uipreview path /trade-in/ui-preview/* /trade-in/_next/static/*
|
||||
handle @uipreview {
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
# #2558 review: тот же периметр-scrub, что и у /trade-in/api/* и
|
||||
# @tradein ниже — этот блок тоже теперь ДО basic_auth, клиент
|
||||
# мог бы прислать свой X-Authenticated-User. Сейчас инертно
|
||||
|
|
@ -242,28 +175,10 @@ gendsgn.ru {
|
|||
# "удалить заголовок" (Caddyfile reverse_proxy directive: `-<field>` =
|
||||
# delete) — корректное поведение не должно зависеть от того, как именно
|
||||
# Caddy трактует нерезолвленный/пустой плейсхолдер в Set-операции.
|
||||
# X-Internal-Auth-Secret ЗДЕСЬ БОЛЬШЕ НЕ ПОДСТАВЛЯЕТСЯ (#3324). До этой
|
||||
# правки Caddy инжектил его в КАЖДЫЙ запрос этого хопа — включая
|
||||
# анонимный, до всякого логина trade-in.
|
||||
#
|
||||
# ПОЧЕМУ ОН БЫЛ МЁРТВЫМ. Единственное место, где backend читает этот
|
||||
# ЗАГОЛОВОК, — `app/core/rbac.py` (legacy trusted-header ветка): он
|
||||
# сверяется ТОЛЬКО после того, как в запросе нашёлся непустой
|
||||
# X-Authenticated-User (иначе ветка отдаёт 401 раньше, на «no
|
||||
# authenticated user»). А X-Authenticated-User на этом же хопе строкой
|
||||
# ниже удаляется — то есть пара «имя + секрет» через Caddy прийти не
|
||||
# может по построению, сравнение недостижимо. Второй потребитель
|
||||
# секрета, приёмник вебхуков GlitchTip (`app/api/v1/glitchtip.py`),
|
||||
# берёт его из query-параметра `?secret=`, а не из заголовка, и на эту
|
||||
# правку не реагирует.
|
||||
#
|
||||
# ЧТО ОТСЕКАЕТ ПОДДЕЛКУ ЗАГОЛОВКОВ ИЗНУТРИ gendesign_shared — проверка
|
||||
# в rbac.py, а не факт подстановки в Caddy; она остаётся нетронутой.
|
||||
# Инжект работал в обратную сторону: раздавал внутренний секрет по
|
||||
# анонимному пути (он же виден в env контейнера Caddy). Легитимный
|
||||
# dual-mode трафик — внутрисетевой (`docker exec tradein-backend curl
|
||||
# -H 'X-Authenticated-User: …' -H 'X-Internal-Auth-Secret: …'`,
|
||||
# см. auth/roles.yaml) — ходит мимо Caddy и сам несёт оба заголовка.
|
||||
# X-Internal-Auth-Secret НЕ трогаем — #2213-секрет всегда перезаписывается
|
||||
# из env (Set-операция с непустым значением, никак не связана с auth-гейтом
|
||||
# basic_auth), это единственное, что теперь отсекает подделку заголовков
|
||||
# изнутри gendesign_shared network для legacy dual-mode пути.
|
||||
handle /trade-in/api/* {
|
||||
# `handle_path /trade-in/api/*` стрипал бы целиком /trade-in/api;
|
||||
# FastAPI router замаунтен на /api/v1/trade-in/* — нужен strip только
|
||||
|
|
@ -271,6 +186,7 @@ gendsgn.ru {
|
|||
uri strip_prefix /trade-in
|
||||
reverse_proxy tradein-backend:8000 {
|
||||
header_up -X-Authenticated-User
|
||||
header_up X-Internal-Auth-Secret {env.TRADEIN_INTERNAL_AUTH_SECRET}
|
||||
}
|
||||
}
|
||||
|
||||
|
|
@ -307,15 +223,10 @@ gendsgn.ru {
|
|||
handle @tradein {
|
||||
# Next.js basePath=/trade-in — фронт сам ждёт префикса в URL
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
# См. комментарий над /trade-in/api/* выше — та же логика (явное
|
||||
# удаление вместо Set с пустым {http.auth.user.id}), и по той же
|
||||
# причине здесь больше нет инжекта X-Internal-Auth-Secret
|
||||
# (#3324). На этом хопе он был мёртв ещё очевиднее: адресат —
|
||||
# Next-сервер tradein-frontend, в его коде заголовок не читается
|
||||
# и дальше в backend не пробрасывается (SSR не форвардит
|
||||
# входящие заголовки — `headers()` во фронте не используется).
|
||||
# удаление вместо Set с пустым {http.auth.user.id}).
|
||||
header_up -X-Authenticated-User
|
||||
header_up X-Internal-Auth-Secret {env.TRADEIN_INTERNAL_AUTH_SECRET}
|
||||
}
|
||||
}
|
||||
|
||||
|
|
@ -335,32 +246,6 @@ gendsgn.ru {
|
|||
}
|
||||
}
|
||||
}
|
||||
|
||||
# Окно деплоя (#3274) — ТОЛЬКО для /trade-in. Каждый мерж в tradein
|
||||
# оставляет 30–90 с, в которые контейнера нет и посетитель видит голый 502
|
||||
# (замер по access-логам: 23 × 502 на этом домене за 4 суток, все —
|
||||
# на окнах деплоя). Снипет подменяет это на 503 + Retry-After и читаемое
|
||||
# тело; разбор «что лечится, а что нет» — в самом снипете.
|
||||
#
|
||||
# ГЕЙТ ПО ПУТИ ОБЯЗАТЕЛЕН: `handle_errors` объявляется на весь site-блок,
|
||||
# а этот блок обслуживает ещё и Site Finder («Птица») — его апстримы
|
||||
# (backend, frontend) деплоятся отдельным пайплайном и в задачу не входят.
|
||||
# Пути вне матчера не попадают ни в один вложенный handle, ошибка остаётся
|
||||
# необработанной, и Caddy отдаёт ровно то, что отдавал раньше. Проверено на
|
||||
# живом Caddy 2.11.3 (dead-upstream 127.0.0.1:9): `/` и `/api/v1/*` —
|
||||
# прежний пустой 502, `/trade-in/*` — новый 503.
|
||||
#
|
||||
# Матчер здесь сверяется с ИСХОДНЫМ путём запроса, а не с переписанным:
|
||||
# для error-маршрута Caddy восстанавливает запрос, каким он пришёл. Поэтому
|
||||
# `/trade-in/api/*` внутри снипета матчится, хотя на основном маршруте до
|
||||
# падения апстрима уже отработал `uri strip_prefix /trade-in`. Тоже
|
||||
# проверено на стенде, а не выведено из документации.
|
||||
handle_errors 502 503 504 {
|
||||
@tradeinScope path /trade-in /trade-in/*
|
||||
handle @tradeinScope {
|
||||
import ../deploy-window.caddy.snippet
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
www.gendsgn.ru {
|
||||
|
|
@ -403,58 +288,10 @@ www.gendsgn.ru {
|
|||
meraocenka.ru {
|
||||
encode zstd gzip
|
||||
|
||||
# #3471 (security-headers follow-up): публичный B2C-домен без базовых
|
||||
# security-заголовков. Позиция директивы в файле не важна — Caddyfile
|
||||
# применяет директивы в фиксированном порядке (`header` идёт раньше
|
||||
# `reverse_proxy`), не по строке в исходнике.
|
||||
#
|
||||
# Проверено: ни tradein-mvp/frontend (обслуживает этот домен, отдаёт
|
||||
# `/trade-in/mera-public*`), ни его next.config.ts/middleware не
|
||||
# выставляют ни один из этих заголовков — дублирования нет.
|
||||
header {
|
||||
# 180 суток (15552000s). НЕ ставить includeSubDomains и НЕ ставить
|
||||
# preload — оба флага практически необратимы (браузеры кэшируют
|
||||
# preload-список надолго, includeSubDomains ломает любой будущий
|
||||
# HTTP-поддомен), а не все поддомены meraocenka.ru гарантированно
|
||||
# под нашим контролем. Если это когда-нибудь понадобится — отдельное
|
||||
# осознанное решение, не «улучшение по умолчанию».
|
||||
Strict-Transport-Security "max-age=15552000"
|
||||
# Запрет встраивания во фрейм: X-Frame-Options — для старых
|
||||
# клиентов, которые не понимают CSP; frame-ancestors — современный
|
||||
# механизм. Оба вместе, не один вместо другого.
|
||||
X-Frame-Options "DENY"
|
||||
Content-Security-Policy "frame-ancestors 'none'"
|
||||
X-Content-Type-Options "nosniff"
|
||||
Referrer-Policy "strict-origin-when-cross-origin"
|
||||
# Не даём стеку светиться в ответе. Полноценный CSP
|
||||
# (default-src/script-src/...) сюда намеренно НЕ входит — отдельная
|
||||
# работа с риском сломать фронт, здесь только периметр вокруг фрейма.
|
||||
-Server
|
||||
-X-Powered-By
|
||||
}
|
||||
|
||||
log {
|
||||
output file /var/log/caddy/meraocenka.ru.log
|
||||
}
|
||||
|
||||
# #3471: та же копия access-лога на stdout, что у gendsgn.ru — см.
|
||||
# развёрнутый комментарий там (Alloy/journald, scrub_credentials #3354,
|
||||
# log_skip общий на все логгеры сайта). `/trade-in/_next/static/*` — 5.1%
|
||||
# строк meraocenka.ru.log в измерении 12.09.2026 (3782 из 73810 за
|
||||
# ~17.6 суток без ротации, roll_size здесь вообще не настроен) — статика
|
||||
# Next не может быть источником 5xx бэкенда. `/health` на этом домене не
|
||||
# проксируется (allowlist ниже отдаёт по нему 404), но матчер добавлен для
|
||||
# единообразия с gendsgn.ru — вреда от него ноль.
|
||||
log access_stdout {
|
||||
output stdout
|
||||
format json
|
||||
}
|
||||
|
||||
@noisy_access_log {
|
||||
path /health /trade-in/_next/static/*
|
||||
}
|
||||
log_skip @noisy_access_log
|
||||
|
||||
# `/metrics` наружу не отдаётся (#3078). Здесь действует белый список и
|
||||
# финальный `handle { respond 404 }`, так что путь и без этой строки не
|
||||
# проходит, — но у бэкенда «Меры» он ОТКРЫТ без авторизации ради агента
|
||||
|
|
@ -471,7 +308,6 @@ meraocenka.ru {
|
|||
handle / {
|
||||
rewrite * /trade-in/mera-public
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
# Тот же периметр-скраб, что у @uipreview (:87) и @tradein ниже.
|
||||
# Этот блок вообще не под basic_auth, поэтому анонимный клиент
|
||||
# тем более может прислать свой X-Authenticated-User. Сейчас
|
||||
|
|
@ -511,18 +347,10 @@ meraocenka.ru {
|
|||
# `trailingSlash: false` ответил бы на такой путь 308-редиректом на вариант
|
||||
# без слэша — то есть на ДЛИННЫЙ адрес, который handle ниже отправит 301 на
|
||||
# «/», и запрос закольцуется.
|
||||
# /sitemap.xml дописан той же строкой, а не отдельным handle (как
|
||||
# robots.txt ниже): Next отдаёт его по /trade-in/mera-public/sitemap.xml
|
||||
# (src/app/mera-public/sitemap.ts) — ровно в форме, которую уже собирает
|
||||
# rewrite `/trade-in/mera-public{path}` ниже. robots.txt так не смог бы:
|
||||
# Next отдаёт его КОРНЕВЫМ /trade-in/robots.txt (конвенция Next —
|
||||
# robots.txt существует только в корне app/, не под mera-public/), эта
|
||||
# форма под `{path}` не попадает — отсюда отдельный handle у него.
|
||||
@meraPages path /estimate /oferta /refund /privacy /articles /articles/kak-ocenit-kvartiru /articles/skolko-stoit-metr-v-ekaterinburge /articles/pochemu-kvartira-ne-prodaetsya /docs /business /sitemap.xml
|
||||
@meraPages path /estimate /oferta /refund /privacy /articles /articles/kak-ocenit-kvartiru /docs
|
||||
handle @meraPages {
|
||||
rewrite * /trade-in/mera-public{path}
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
header_up -X-Authenticated-User
|
||||
}
|
||||
}
|
||||
|
|
@ -533,28 +361,9 @@ meraocenka.ru {
|
|||
# голый 404 (так было и до этого PR, с момента #2615). Заодно это
|
||||
# замыкает цепочку для длинных адресов со слэшем: они приходят на короткий
|
||||
# со слэшем и здесь нормализуются.
|
||||
# БАГ, найденный замером на живом проде 10.09.2026:
|
||||
# https://meraocenka.ru/articles/?utm_source=vc -> Location:
|
||||
# https://meraocenka.ru/articles — query терялся, потому что
|
||||
# `redir * /{re.shortslash.1}` собирает цель заново из regex-захвата
|
||||
# пути и не переносит исходную query-строку. Вред тихий: статьи
|
||||
# публикуются с UTM-метками, а мессенджеры и автолинкификаторы дописывают
|
||||
# слэш к скопированной ссылке — то есть именно трафик по опубликованному
|
||||
# посту терял атрибуцию, и 301 при этом честно отрабатывал (просто не
|
||||
# туда), ошибки никто не видел.
|
||||
#
|
||||
# Тот же приём, что у @meraLongPages/@meraV3Gone ниже и выше: `uri
|
||||
# strip_suffix /` снимает ровно завершающий слэш (сам путь уже сужен
|
||||
# матчером до канонического короткого вида), `redir * {uri} permanent`
|
||||
# переносит query как есть. Обёртка `route` обязательна по той же
|
||||
# причине, что у соседей — внутри `handle` порядок директив определяет
|
||||
# Caddy, и без неё `redir` выполнился бы раньше `uri`.
|
||||
@meraShortSlash path_regexp shortslash ^/(estimate|oferta|refund|privacy|articles|articles/kak-ocenit-kvartiru|articles/skolko-stoit-metr-v-ekaterinburge|articles/pochemu-kvartira-ne-prodaetsya|docs|business)/$
|
||||
@meraShortSlash path_regexp shortslash ^/(estimate|oferta|refund|privacy|articles|articles/kak-ocenit-kvartiru|docs)/$
|
||||
handle @meraShortSlash {
|
||||
route {
|
||||
uri strip_suffix /
|
||||
redir * {uri} permanent
|
||||
}
|
||||
redir * /{re.shortslash.1} permanent
|
||||
}
|
||||
|
||||
# `/v3` — АДРЕС ПРЕВЬЮ, КОТОРОГО БОЛЬШЕ НЕТ. С 29.08.2026 выбранный вариант
|
||||
|
|
@ -637,7 +446,7 @@ meraocenka.ru {
|
|||
# порядок директив внутри `handle` определяет Caddy, и без неё `redir`
|
||||
# выполняется РАНЬШЕ `uri`, отдавая Location, равный исходному адресу
|
||||
# (бесконечный цикл; поймано на локальном стенде).
|
||||
@meraLongPages path /trade-in/mera-public/estimate /trade-in/mera-public/estimate/ /trade-in/mera-public/oferta /trade-in/mera-public/oferta/ /trade-in/mera-public/refund /trade-in/mera-public/refund/ /trade-in/mera-public/privacy /trade-in/mera-public/privacy/ /trade-in/mera-public/articles /trade-in/mera-public/articles/ /trade-in/mera-public/articles/kak-ocenit-kvartiru /trade-in/mera-public/articles/kak-ocenit-kvartiru/ /trade-in/mera-public/articles/skolko-stoit-metr-v-ekaterinburge /trade-in/mera-public/articles/skolko-stoit-metr-v-ekaterinburge/ /trade-in/mera-public/articles/pochemu-kvartira-ne-prodaetsya /trade-in/mera-public/articles/pochemu-kvartira-ne-prodaetsya/ /trade-in/mera-public/docs /trade-in/mera-public/docs/ /trade-in/mera-public/business /trade-in/mera-public/business/
|
||||
@meraLongPages path /trade-in/mera-public/estimate /trade-in/mera-public/estimate/ /trade-in/mera-public/oferta /trade-in/mera-public/oferta/ /trade-in/mera-public/refund /trade-in/mera-public/refund/ /trade-in/mera-public/privacy /trade-in/mera-public/privacy/ /trade-in/mera-public/articles /trade-in/mera-public/articles/ /trade-in/mera-public/articles/kak-ocenit-kvartiru /trade-in/mera-public/articles/kak-ocenit-kvartiru/ /trade-in/mera-public/docs /trade-in/mera-public/docs/
|
||||
handle @meraLongPages {
|
||||
route {
|
||||
uri strip_prefix /trade-in/mera-public
|
||||
|
|
@ -654,42 +463,8 @@ meraocenka.ru {
|
|||
# `_next/*` открыл бы анонимам ещё и `/_next/image` (оптимизация картинок,
|
||||
# CPU-нагрузка по запросу), который на лэндинге не используется вообще:
|
||||
# next/image в tradein-mvp/frontend/src/app/mera-public/ не импортируется.
|
||||
#
|
||||
# #3324: внутри разрешённой статики закрыто ПОДДЕРЕВО ЧУЖИХ МАРШРУТОВ.
|
||||
# App Router раскладывает код постранично: `chunks/app/<маршрут>/page-<hash>.js`
|
||||
# (замер на проде 02.09.2026 — лэндингу нужны РОВНО `chunks/app/layout-*`,
|
||||
# `chunks/app/error-*`, `chunks/app/global-error-*`, `chunks/app/mera-public/*`
|
||||
# и общие хэш-чанки прямо в `chunks/`). Всё остальное под `chunks/app/` —
|
||||
# это /admin, /scrapers, /team, /history, /cache, /versions, /v2,
|
||||
# /sale-share, /login, /ui-preview: страницы закрытого контура, которые
|
||||
# аноним с публичного домена качал целиком и читал в них имена внутренних
|
||||
# ручек. Матчер отсекает ровно «есть подкаталог, и он не mera-public» —
|
||||
# `not` вместо негативного lookahead, RE2 его не поддерживает.
|
||||
#
|
||||
# `_not-found` в исключениях — это не маршрут продукта, а внутренняя
|
||||
# страница Next (404 при клиентской навигации по битому href). Закрытого
|
||||
# кода не несёт, а без исключения клиентский переход падал бы в
|
||||
# error-boundary вместо честного «не найдено».
|
||||
#
|
||||
# Ограничение честно: это убирает КОД, но не имена файлов — карта чанков
|
||||
# лежит в `webpack-*.js`, который лэндингу нужен, поэтому перечень
|
||||
# маршрутов из неё по-прежнему вычитывается. По той же причине оставлены
|
||||
# без фильтра и `static/css/app/<маршрут>/*`: это тот же класс «имена, а не
|
||||
# код», и городить второй матчер ради него смысла нет. Полное разделение —
|
||||
# split build (отдельный public-бандл), отдельная задача.
|
||||
#
|
||||
# `respond` внутри `handle` выполняется раньше `reverse_proxy` (порядок
|
||||
# директив Caddy), поэтому вложенный матчер не зависит от сортировки
|
||||
# handle-блоков между собой.
|
||||
handle /trade-in/_next/static/* {
|
||||
@foreignRouteChunk {
|
||||
path_regexp ^/trade-in/_next/static/chunks/app/[^/]+/
|
||||
not path /trade-in/_next/static/chunks/app/mera-public/* /trade-in/_next/static/chunks/app/_not-found/*
|
||||
}
|
||||
respond @foreignRouteChunk 404
|
||||
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
header_up -X-Authenticated-User
|
||||
}
|
||||
}
|
||||
|
|
@ -700,53 +475,6 @@ meraocenka.ru {
|
|||
handle /favicon.ico {
|
||||
rewrite * /trade-in/favicon.ico
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
header_up -X-Authenticated-User
|
||||
}
|
||||
}
|
||||
|
||||
# robots.txt — ОТДЕЛЬНЫЙ handle, а не строка в @meraPages выше: у Next
|
||||
# robots.txt — конвенция корня app/ (src/app/robots.ts), а не
|
||||
# mera-public/, поэтому rewrite `/trade-in/mera-public{path}` его не
|
||||
# обслужит — нужен свой rewrite на /trade-in/robots.txt. По образцу
|
||||
# favicon.ico прямо над этим блоком, включая тот же периметр-скраб
|
||||
# заголовка.
|
||||
handle /robots.txt {
|
||||
rewrite * /trade-in/robots.txt
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
header_up -X-Authenticated-User
|
||||
}
|
||||
}
|
||||
|
||||
# og-mera.png — картинка превью ссылок (og:image). Её просят НЕ браузеры
|
||||
# посетителей, а обходчики мессенджеров и соцсетей (Telegram, VK,
|
||||
# WhatsApp), причём анонимно и без Referer: если путь не открыт, ссылка на
|
||||
# сайт разворачивается без картинки, и понять это по логам приложения
|
||||
# нельзя — запрос просто не доходит.
|
||||
#
|
||||
# Отдельный handle по той же причине, что у robots.txt: файл лежит в
|
||||
# `public/` фронта и раздаётся Next'ом по basePath-корню
|
||||
# (/trade-in/og-mera.png), а не под /trade-in/mera-public{path}, куда
|
||||
# рерайтит @meraPages. Адрес намеренно короткий: он попадает в разметку
|
||||
# каждой публичной страницы и расходится по чужим кэшам, так что менять
|
||||
# его потом дорого.
|
||||
handle /og-mera.png {
|
||||
rewrite * /trade-in/og-mera.png
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
header_up -X-Authenticated-User
|
||||
}
|
||||
}
|
||||
|
||||
# logo-mera.png — логотип организации из микроразметки (Organization.logo).
|
||||
# Отдельный файл от og-mera.png выше: превью ссылки широкое, а логотип
|
||||
# поисковик обрезает близко к квадрату. Свой handle по той же причине —
|
||||
# файл лежит в `public/` и раздаётся по basePath-корню.
|
||||
handle /logo-mera.png {
|
||||
rewrite * /trade-in/logo-mera.png
|
||||
reverse_proxy tradein-frontend:3000 {
|
||||
import tradein_frontend_retry
|
||||
header_up -X-Authenticated-User
|
||||
}
|
||||
}
|
||||
|
|
@ -771,12 +499,9 @@ meraocenka.ru {
|
|||
# strip_prefix — та же причина, что у B2B-хопа (:127): basePath Next'а не
|
||||
# часть маршрута FastAPI.
|
||||
#
|
||||
# X-Internal-Auth-Secret здесь НЕ подставляется: публичные ручки его не
|
||||
# проверяют, а инжектить внутренний секрет в хоп с анонимного домена —
|
||||
# расширять доверие без нужды. С #3324 это уже не отличие от B2B-блока
|
||||
# gendsgn.ru, а общее правило: инжекта не осталось нигде в Caddyfile —
|
||||
# заголовок нужен только внутрисетевому dual-mode трафику, который ходит
|
||||
# мимо прокси и несёт его сам.
|
||||
# X-Internal-Auth-Secret здесь НЕ подставляется (в отличие от :130):
|
||||
# публичные ручки его не проверяют, а инжектить внутренний секрет в хоп с
|
||||
# анонимного домена — расширять доверие без нужды.
|
||||
handle /trade-in/api/public/* {
|
||||
uri strip_prefix /trade-in
|
||||
reverse_proxy tradein-backend:8000 {
|
||||
|
|
@ -789,19 +514,6 @@ meraocenka.ru {
|
|||
handle {
|
||||
respond 404
|
||||
}
|
||||
|
||||
# Окно деплоя (#3274). В отличие от gendsgn.ru гейт по пути не нужен: все
|
||||
# апстримы этого блока — контейнеры МЕРЫ (tradein-frontend/tradein-backend),
|
||||
# чей деплой и создаёт окно. 15 × 502 за 4 суток, все на окнах мержа.
|
||||
#
|
||||
# Белый список выше это НЕ ослабляет. Во-первых, `handle_errors`
|
||||
# срабатывает только на перечисленные статусы, а отказ белого списка —
|
||||
# 404. Во-вторых, `respond 404` пишет ответ напрямую и ошибкой маршрута
|
||||
# вообще не является. Проверено на стенде: при мёртвом апстриме `/admin`
|
||||
# по-прежнему отдаёт 404, а не страницу обновления.
|
||||
handle_errors 502 503 504 {
|
||||
import ../deploy-window.caddy.snippet
|
||||
}
|
||||
}
|
||||
|
||||
# Домены-спутники МЕРА → 301 на канонический meraocenka.ru.
|
||||
|
|
|
|||
|
|
@ -105,44 +105,11 @@ metrics.gendsgn.ru {
|
|||
# угадавший, — ложная отметка «принято» в чате, где сразу видно, что её
|
||||
# поставил не человек. Прав в системе токен не даёт никаких.
|
||||
#
|
||||
# Сервис отвечает только на /ack/*, /glitchtip и /healthz; всё прочее — 404.
|
||||
# Сервис отвечает только на /ack/* и /healthz; всё прочее — 404.
|
||||
handle /ack/* {
|
||||
reverse_proxy alert-ack:8080
|
||||
}
|
||||
|
||||
# Резервный приёмник алертов GlitchTip (#3471). Основной получатель —
|
||||
# продуктовый бэкенд на Selectel, то есть тот самый сервис, за которым эти
|
||||
# алерты и следят: пока он лежит, его собственные ошибки доставлять некому.
|
||||
# Этот путь живёт у другого провайдера и с чистой сетью до Telegram, поэтому
|
||||
# переживает падение Selectel целиком.
|
||||
#
|
||||
# Секрет — в значении query-параметра, а не в пути: путь сам по себе не
|
||||
# секрет, и его попадание в access-лог безопасно. Само значение вырезает
|
||||
# scrub_credentials в Alloy до записи в Loki (#3154).
|
||||
handle /glitchtip* {
|
||||
reverse_proxy alert-ack:8080
|
||||
}
|
||||
|
||||
# Ретранслятор Bot API продукта (#3471). Путь от Selectel до
|
||||
# api.telegram.org теряет примерно каждый четвёртый короткий запрос, тот же
|
||||
# замер с Beget в те же минуты — чистый. Поэтому продуктовый бот ходит в
|
||||
# Telegram отсюда, а не напрямую.
|
||||
#
|
||||
# Путь содержит токен бота (/tg-relay/bot<TOKEN>/<method>) — он не должен
|
||||
# осесть ни в файловом логе сайта, ни в stdout-копии (#3154), поэтому
|
||||
# запрос помечен log_skip.
|
||||
@tg_relay path /tg-relay/*
|
||||
log_skip @tg_relay
|
||||
|
||||
handle_path /tg-relay/* {
|
||||
reverse_proxy tg-relay:8080 {
|
||||
# getUpdates — long-poll до ~40с, дефолтный таймаут ответа короче.
|
||||
transport http {
|
||||
response_header_timeout 80s
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
# Вход ОДИН — собственный вход Grafana (#3078). Внешний basic_auth снят по
|
||||
# решению владельца: два запроса пароля подряд мешали работе, а Grafana имеет
|
||||
# собственную аутентификацию с ролями и `GF_USERS_ALLOW_SIGN_UP=false`.
|
||||
|
|
|
|||
|
|
@ -1,57 +0,0 @@
|
|||
-- 195_tradein_osm_roads_view.sql
|
||||
-- Улицы ЕКБ на витрину сделок МЕРЫ: сторона gendesign (PR 1 из 2).
|
||||
--
|
||||
-- Карточка игры на лэндинге показывала ПОЛИГОН РАЙОНА — единственную геометрию,
|
||||
-- которая у tradein была. Улицы живут здесь, в `osm_noise_sources_ekb`, а у
|
||||
-- tradein нет ни foreign table, ни гранта. Эта миграция открывает вьюху ровно
|
||||
-- по образцу соседей (`v_tradein_cad_buildings`, `v_tradein_osm_poi_ekb`,
|
||||
-- 185_tradein_osm_poi_view.sql): плоский срез нужных колонок + GRANT SELECT
|
||||
-- уже существующей роли `tradein_fdw_reader` (100_tradein_fdw_role.sql).
|
||||
-- Новых ролей и user mapping здесь нет.
|
||||
--
|
||||
-- ГРАНТ СТОИТ РЯДОМ С CREATE, В ЭТОМ ЖЕ ФАЙЛЕ — И ЭТО НЕ СТИЛЬ. 2026-08-29
|
||||
-- (#3227) объект пересоздали, а GRANT жил отдельной миграцией и потерялся:
|
||||
-- пересоздание снимает права молча, и чтение с той стороны падает на
|
||||
-- `permission denied`. То же было с `ekb_districts_geom` (194) и
|
||||
-- `mv_quarter_price_index` (188). Кто будет менять эту вьюху — меняйте файл
|
||||
-- целиком, вместе с грантом.
|
||||
--
|
||||
-- ЧТО В СРЕЗЕ И ЧЕГО В НЁМ НЕТ (замер на проде 2026-08-29):
|
||||
-- * 10 025 линий, 1377 различных названий улиц. Выгрузка собиралась как
|
||||
-- «источники шума», поэтому именованные улицы покрыты хорошо, а дворовые
|
||||
-- проезды и служебные ОТСУТСТВУЮТ. Потребитель обязан это знать: схема из
|
||||
-- этих данных — улицы района, а не полная уличная сеть.
|
||||
-- * `source_type IN ('highway','water')` — только то, что рисуется на схеме.
|
||||
-- Железные дороги, ЛЭП, трубопроводы, подстанции и промзона (ещё ~4 400
|
||||
-- строк) сюда НЕ едут: на карточке 320 px они дают шум, а не смысл.
|
||||
-- * ЗДАНИЙ ЗДЕСЬ НЕТ И НЕ БУДЕТ. `cad_buildings` — 18 307 контуров на весь
|
||||
-- город; в плотном центре это 51 здание на радиус 450 м, где их в разы
|
||||
-- больше. Нарисованная застройка заявляла бы полноту, которой в данных
|
||||
-- нет, и показывала бы пустые кварталы там, где стоят дома.
|
||||
--
|
||||
-- Идемпотентна: CREATE OR REPLACE VIEW + повторяемый GRANT.
|
||||
|
||||
BEGIN;
|
||||
-- Конвенция проекта (#2752). CREATE OR REPLACE VIEW и GRANT берут лок на объект;
|
||||
-- ждать его выдачи за чужой сессией — значит собрать очередь перед приложением.
|
||||
SET LOCAL lock_timeout = '5s';
|
||||
|
||||
CREATE OR REPLACE VIEW v_tradein_osm_roads_ekb AS
|
||||
SELECT
|
||||
name,
|
||||
road_class,
|
||||
geom
|
||||
FROM osm_noise_sources_ekb
|
||||
WHERE source_type IN ('highway', 'water');
|
||||
|
||||
GRANT SELECT ON v_tradein_osm_roads_ekb TO tradein_fdw_reader;
|
||||
|
||||
COMMENT ON VIEW v_tradein_osm_roads_ekb IS
|
||||
'FDW-источник для tradein-mvp: улицы и вода ЕКБ для схемы улицы на витрине '
|
||||
'сделок лэндинга МЕРЫ. Срез osm_noise_sources_ekb по source_type '
|
||||
'IN (highway, water) — 10 025 линий, 1377 названий. Выгрузка фильтрованная '
|
||||
'(«источники шума»): дворовых и служебных проездов в ней нет. Зданий нет '
|
||||
'намеренно, см. шапку 195_tradein_osm_roads_view.sql. GRANT живёт в том же '
|
||||
'файле — пересоздание вьюхи снимает права молча (#3227).';
|
||||
|
||||
COMMIT;
|
||||
|
|
@ -1,137 +0,0 @@
|
|||
-- 99c_power_supply_centers_dedup.sql
|
||||
-- Issue #3322 — power_supply_centers раздут ×10: 4880 строк на 481 уникальный ЦП.
|
||||
--
|
||||
-- Причина. rosseti_wfs_loader брал external_id из feature['id'] WFS-ответа, а
|
||||
-- GeoServer отдаёт СЕССИОННЫЙ fid (новый на каждый GetFeature) → ON CONFLICT
|
||||
-- (source, external_id) не срабатывал ни разу, каждый weekly-прогон добавлял
|
||||
-- полный набор ~488 фич заново. Починка разбора сама старые строки не убирает
|
||||
-- (ON CONFLICT ничего не перезапишет, ключи не совпадут) → нужен этот бэкфилл.
|
||||
--
|
||||
-- Что делает файл:
|
||||
-- (а) пересчитывает external_id по НОВОЙ формуле (см. ниже) для всех строк
|
||||
-- source='rosseti_wfs';
|
||||
-- (б) схлопывает копии: победитель группы — свежайший снапшот
|
||||
-- (fetched_at DESC NULLS LAST, id DESC — DESC в PG это NULLS FIRST,
|
||||
-- поэтому NULLS LAST задан ЯВНО);
|
||||
-- (в) печатает числа: строк до / после, удалено, переключено на новый ключ.
|
||||
-- Ожидание после прогона — ~481-488 строк (столько ЦП отдаёт источник).
|
||||
-- (г) идемпотентен: на повторном прогоне ключи уже совпадают → 0 удалений,
|
||||
-- 0 обновлений, «до» = «после».
|
||||
--
|
||||
-- ФОРМУЛА КЛЮЧА (дублирует rosseti_wfs_loader._stable_external_id — менять только
|
||||
-- синхронно, иначе следующий weekly-прогон вставит второй комплект строк):
|
||||
-- seed = sc_name_norm || '|' || voltage_class || '|' || lon_e5 || '|' || lat_e5
|
||||
-- external_id = 'h:' || left(hex(sha256(utf8(seed))), 16)
|
||||
-- где lon_e5/lat_e5 — координата в единицах 1e-5 градуса (~1 м), округление
|
||||
-- floor(|v|*1e5 + 0.5) со знаком — ДВОИЧНОЕ, ровно как в питоне; пустая строка,
|
||||
-- если geom отсутствует. Целые, а не форматированный float — текстовое
|
||||
-- представление double в питоне и в PG различается.
|
||||
--
|
||||
-- ПОЧЕМУ НЕ round(...::numeric): каст float8→numeric берёт кратчайшее десятичное
|
||||
-- представление, и округление идёт по нему, а не по двоичному double. На реальных
|
||||
-- координатах расходится в 0.19% случаев (замер: 761 из 400000), напр. 64.423605
|
||||
-- → питон 6442360 (двоичное 6442360.499999999), numeric-путь 6442361. Каждое
|
||||
-- расхождение = вечный дубль ЦП, который сам не зарастёт: миграция применяется
|
||||
-- один раз (_schema_migrations). Поэтому в SQL считаем ТЕМ ЖЕ double: floor/abs/
|
||||
-- sign над float8 — это IEEE754, бит в бит как math.floor в питоне.
|
||||
-- sha256, а не sha1: sha256 встроен в PG16, sha1 потребовал бы pgcrypto.
|
||||
--
|
||||
-- Байт-в-байт совпадение с питоном держится на том, что SQL НИЧЕГО не нормализует
|
||||
-- сам: sc_name_norm и voltage_class — уже готовые колонки, их записал тот же
|
||||
-- normalize_sc_name / parse_voltage_class. Если normalize_sc_name когда-нибудь
|
||||
-- изменится, старые sc_name_norm разъедутся с новыми ключами — тогда нужен
|
||||
-- повторный прогон логики этого файла (он идемпотентен, ре-apply безопасен).
|
||||
--
|
||||
-- Порядок: миграция ПЕРЕД деплоем кода (schema-first) — новый код после неё
|
||||
-- попадает ON CONFLICT-ом в уже схлопнутые строки.
|
||||
--
|
||||
-- Naming: deploy.yml применяет файлы по `ls -1 data/sql/*.sql | sort`;
|
||||
-- '99c_' идёт после '99b_grant_quarter_price_index_fdw.sql' ('b' < 'c').
|
||||
|
||||
BEGIN;
|
||||
|
||||
SET LOCAL lock_timeout = '5s';
|
||||
|
||||
DO $$
|
||||
DECLARE
|
||||
rows_before bigint;
|
||||
names_before bigint;
|
||||
rows_after bigint;
|
||||
names_after bigint;
|
||||
deleted bigint;
|
||||
rekeyed bigint;
|
||||
BEGIN
|
||||
SELECT count(*), count(DISTINCT sc_name_norm)
|
||||
INTO rows_before, names_before
|
||||
FROM power_supply_centers
|
||||
WHERE source = 'rosseti_wfs';
|
||||
|
||||
CREATE TEMP TABLE psc_new_key ON COMMIT DROP AS
|
||||
SELECT
|
||||
id,
|
||||
fetched_at,
|
||||
'h:' || substring(
|
||||
encode(
|
||||
sha256(convert_to(
|
||||
sc_name_norm
|
||||
|| '|' || coalesce(voltage_class, '')
|
||||
|| '|' || CASE WHEN geom IS NULL THEN ''
|
||||
ELSE (sign(ST_X(geom))
|
||||
* floor(abs(ST_X(geom)) * 100000 + 0.5))::bigint::text END
|
||||
|| '|' || CASE WHEN geom IS NULL THEN ''
|
||||
ELSE (sign(ST_Y(geom))
|
||||
* floor(abs(ST_Y(geom)) * 100000 + 0.5))::bigint::text END,
|
||||
'UTF8'
|
||||
)),
|
||||
'hex'
|
||||
) FROM 1 FOR 16
|
||||
) AS new_key
|
||||
FROM power_supply_centers
|
||||
WHERE source = 'rosseti_wfs';
|
||||
|
||||
-- (б) схлопывание: оставляем свежайший снапшот каждой группы.
|
||||
-- Резервы (reserve_mva и пр.) не теряются: rosseti/eesk-лоадеры пишут их
|
||||
-- UPDATE-ом по sc_name_norm, т.е. во ВСЕ копии сразу, победитель их несёт.
|
||||
WITH ranked AS (
|
||||
SELECT
|
||||
id,
|
||||
row_number() OVER (
|
||||
PARTITION BY new_key
|
||||
ORDER BY fetched_at DESC NULLS LAST, id DESC
|
||||
) AS rn
|
||||
FROM psc_new_key
|
||||
)
|
||||
DELETE FROM power_supply_centers p
|
||||
USING ranked r
|
||||
WHERE p.id = r.id
|
||||
AND r.rn > 1;
|
||||
GET DIAGNOSTICS deleted = ROW_COUNT;
|
||||
|
||||
-- (а) пересчёт ключа у выживших. После DELETE каждый new_key принадлежит
|
||||
-- ровно одной строке → UNIQUE (source, external_id) не нарушается.
|
||||
-- IS DISTINCT FROM даёт идемпотентность: второй прогон обновит 0 строк.
|
||||
UPDATE power_supply_centers p
|
||||
SET external_id = k.new_key
|
||||
FROM psc_new_key k
|
||||
WHERE p.id = k.id
|
||||
AND p.external_id IS DISTINCT FROM k.new_key;
|
||||
GET DIAGNOSTICS rekeyed = ROW_COUNT;
|
||||
|
||||
SELECT count(*), count(DISTINCT sc_name_norm)
|
||||
INTO rows_after, names_after
|
||||
FROM power_supply_centers
|
||||
WHERE source = 'rosseti_wfs';
|
||||
|
||||
RAISE NOTICE '#3322 power_supply_centers: было % строк / % имён -> стало % строк / % имён (удалено %, переключено на стабильный ключ %)',
|
||||
rows_before, names_before, rows_after, names_after, deleted, rekeyed;
|
||||
|
||||
-- 700 — потолок здравого смысла: источник отдаёт ~488 ЦП по области.
|
||||
-- Превышение = формула ключа не схлопнула дубли. EXCEPTION, а не WARNING:
|
||||
-- иначе файл пометится applied навсегда, а дубли останутся. Откат всей
|
||||
-- транзакции ничего не теряет и оставляет миграцию непринятой до разбора.
|
||||
IF rows_after > 700 THEN
|
||||
RAISE EXCEPTION '#3322: после дедупа осталось % строк (ожидалось ~481-488) — формула ключа не схлопнула дубли, транзакция откачена', rows_after;
|
||||
END IF;
|
||||
END $$;
|
||||
|
||||
COMMIT;
|
||||
|
|
@ -231,71 +231,6 @@ services:
|
|||
mem_limit: 128m
|
||||
logging: *default-logging
|
||||
|
||||
# ── redis-exporter: здоровье общего Redis (только на Poincare) ───────────────
|
||||
# #3471. Redis — один инстанс на три потребителя: db0 celery-брокер Site
|
||||
# Finder, db1 SearchCache trade-in, db2 glitchtip (см. комментарий у сервиса
|
||||
# `redis` в docker-compose.prod.yml). Один `redis_up` покрывает риск для всех
|
||||
# трёх разом — до этой правки Redis не измерялся вообще, переполнение
|
||||
# брокера и обычная недоступность снаружи выглядели одинаково — тишиной.
|
||||
#
|
||||
# Адрес — через alias `gendesign-redis`, который `redis` регистрирует на
|
||||
# сети `shared` (см. #2709 в docker-compose.prod.yml) — джойнить ещё и
|
||||
# `product` не нужно, тем же путём уже идёт postgres-exporter-tradein.
|
||||
#
|
||||
# Пароль — из окружения, не хардкод: сегодня на Redis нет requirepass (нет
|
||||
# переменной ни в docker-compose.prod.yml, ни здесь), но если он появится,
|
||||
# значение подставляется через METRICS_REDIS_PASSWORD в /opt/gendesign/.env
|
||||
# на хосте, а не в этот файл.
|
||||
redis-exporter:
|
||||
image: oliver006/redis_exporter:v1.65.0
|
||||
container_name: gendesign-redis-exporter
|
||||
restart: unless-stopped
|
||||
profiles: ["apps"]
|
||||
environment:
|
||||
REDIS_ADDR: ${METRICS_REDIS_ADDR:-redis://gendesign-redis:6379}
|
||||
REDIS_PASSWORD: ${METRICS_REDIS_PASSWORD:-}
|
||||
expose:
|
||||
- "9121"
|
||||
networks:
|
||||
- shared
|
||||
mem_limit: 64m
|
||||
logging: *default-logging
|
||||
|
||||
# ── celery-exporter: очередь Site Finder (только на Poincare) ────────────────
|
||||
# #3471. Слепая зона: глубина очереди, число живых воркеров и счётчик
|
||||
# неуспешных задач нигде не измерялись — залипший воркер и переполненная
|
||||
# очередь снаружи неотличимы от тишины.
|
||||
#
|
||||
# ПОЧЕМУ ОТДЕЛЬНЫЙ ОБРАЗ, А НЕ redis-exporter --check-keys. check-keys дал
|
||||
# бы LLEN дефолтной очереди "celery" (в backend/app/workers/celery_app.py
|
||||
# НЕТ task_routes — все таски идут в один дефолтный queue, имя буквально
|
||||
# "celery") без нового образа вообще. Но он НЕ умеет считать живых
|
||||
# воркеров и неуспешные таски — то есть закрыл бы только треть минимума
|
||||
# из задачи. celery-exporter слушает событийную шину Celery через тот же
|
||||
# брокер и даёт все три метрики разом, поэтому выбран он, а не комбинация
|
||||
# check-keys + что-то ещё для остальных двух чисел.
|
||||
#
|
||||
# ⚠️ ИМЕНА МЕТРИК НИЖЕ (celery_queue_length, celery_worker_up,
|
||||
# celery_task_failed_total) — по документации проекта на момент правки, БЕЗ
|
||||
# прогона на реальном брокере (агент писал этот файл без доступа к проду).
|
||||
# Сверить с `curl http://gendesign-celery-exporter:9808/metrics` на хосте
|
||||
# после первого деплоя и поправить `ops/metrics/prometheus/rules/infra.yml`
|
||||
# при расхождении — иначе алерты будут молча ничего не ловить.
|
||||
celery-exporter:
|
||||
image: danihodovic/celery-exporter:0.13.0
|
||||
container_name: gendesign-celery-exporter
|
||||
restart: unless-stopped
|
||||
profiles: ["apps"]
|
||||
command:
|
||||
- "--broker-url=${METRICS_CELERY_BROKER_URL:-redis://gendesign-redis:6379/0}"
|
||||
- "--queue=celery"
|
||||
expose:
|
||||
- "9808"
|
||||
networks:
|
||||
- shared
|
||||
mem_limit: 128m
|
||||
logging: *default-logging
|
||||
|
||||
# ── postgres-exporter: инфраструктурная БД (только на Beget) ─────────────────
|
||||
# forgejo + glitchtip. Нужен и сам по себе, и как страховка: рост базы glitchtip
|
||||
# ничем не ограничен — политики ретенции у GlitchTip нет вообще.
|
||||
|
|
|
|||
|
|
@ -196,12 +196,6 @@ services:
|
|||
# Внешний адрес попадает в кнопку. Пустой — сообщение уйдёт без кнопки,
|
||||
# но уйдёт: алерт важнее подтверждения.
|
||||
ALERT_ACK_PUBLIC_URL: ${ALERT_ACK_PUBLIC_URL:-https://metrics.gendsgn.ru}
|
||||
# Резервный получатель GlitchTip-алертов (#3471, POST /glitchtip) — второй
|
||||
# получатель наряду с основным вебхуком в продуктовый бэкенд на Selectel.
|
||||
# Секрет СВОЙ, не общий с продуктовым TRADEIN_INTERNAL_AUTH_SECRET: разные
|
||||
# хосты/домены безопасности. Пусто — эндпоинт отвечает 503, остальной
|
||||
# функционал сервиса не затронут.
|
||||
ALERT_ACK_GLITCHTIP_SECRET: ${ALERT_ACK_GLITCHTIP_SECRET:-}
|
||||
volumes:
|
||||
- ./ops/metrics/alert-ack/app.py:/app/app.py:ro
|
||||
expose:
|
||||
|
|
@ -216,74 +210,7 @@ services:
|
|||
timeout: 10s
|
||||
retries: 5
|
||||
|
||||
# ── Ретранслятор Bot API продукта через Beget (#3471) ───────────────────────
|
||||
#
|
||||
# Замер 12.09.2026, оба хоста в одни и те же минуты: `getMe` из контейнера
|
||||
# `tradein-tgbot` на Selectel — 9 успешных из 12, три ConnectTimeout. TCP-443
|
||||
# до адреса, резолвящегося на Selectel — 5/6. Тот же TCP-443 до адреса,
|
||||
# резолвящегося на Beget — 8/8. За сутки 508 строк `network error` в логе
|
||||
# бота, за 30 дней 92 обрыва итерации poll loop. Путь до Telegram с Selectel
|
||||
# лоссовый, с Beget чистый — Alertmanager (тот же чат, живёт рядом) шлёт без
|
||||
# проблем. Продуктовые sendMessage/copyMessage/getUpdates идут сюда вместо
|
||||
# прямого пути; выключается пустым TELEGRAM_RELAY_BASE_URL на стороне
|
||||
# продукта — это и есть откат.
|
||||
#
|
||||
# НЕ рядом с продуктом: смысл ретранслятора именно в том, что он живёт там,
|
||||
# откуда путь до Telegram чистый, а не там, откуда он лоссовый.
|
||||
#
|
||||
# Образ без сборки и без зависимостей (только stdlib) — тот же принцип, что у
|
||||
# alert-ack: сервис обязан подниматься даже когда сломано всё остальное.
|
||||
tg-relay:
|
||||
image: python:3.12-slim
|
||||
container_name: gendesign-tg-relay
|
||||
# #3471 (PR #3487 инцидент): без profiles сервис поднимался ВСЕГДА, а при
|
||||
# пустом TG_RELAY_SECRET делает SystemExit — то есть уходит в бесконечный
|
||||
# Restarting сразу после деплоя. Профиль включает deploy-metrics.yml, и
|
||||
# только когда секрет реально задан (см. PROFILES там).
|
||||
profiles: ["relay"]
|
||||
restart: unless-stopped
|
||||
user: "65534:65534"
|
||||
command: ["python", "-u", "/app/app.py"]
|
||||
env_file:
|
||||
- path: ./backend/.env.runtime
|
||||
required: false
|
||||
- path: ./backend/.env
|
||||
required: false
|
||||
environment:
|
||||
# Общий секрет с продуктовым клиентом (TELEGRAM_RELAY_SECRET на стороне
|
||||
# tradein-backend/tradein-tgbot) — домен публичный, без секрета отказ.
|
||||
TG_RELAY_SECRET: ${TG_RELAY_SECRET:-}
|
||||
volumes:
|
||||
- ./ops/metrics/tg-relay/app.py:/app/app.py:ro
|
||||
expose:
|
||||
- "8080"
|
||||
networks:
|
||||
- shared
|
||||
mem_limit: 128m
|
||||
logging: *default-logging
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request;urllib.request.urlopen('http://localhost:8080/healthz',timeout=5)"]
|
||||
interval: 30s
|
||||
timeout: 10s
|
||||
retries: 5
|
||||
|
||||
# ── Grafana: витрина ─────────────────────────────────────────────────────────
|
||||
# Grafana здесь ТОЛЬКО рисует — не решает, что считать инцидентом и куда его
|
||||
# слать. Тревоги живут в Prometheus (правила) и Alertmanager (маршрутизация,
|
||||
# Telegram); это единственный путь доставки (#3158).
|
||||
#
|
||||
# Встроенный Alerting выключен ЯВНО, а не просто «не настроен». Проверка на
|
||||
# живом API 12.09.2026 нашла: 0 правил, единственный контакт-поинт —
|
||||
# стоковый grafana-default-email на example@email.com, GF_SMTP_* не заданы.
|
||||
# То есть кнопка «New alert rule» в интерфейсе есть и работает, а результат
|
||||
# молча уходит в никуда — ровно та ситуация, из-за которой никто не проверяет
|
||||
# второй, настоящий путь. Дублирующий движок на том же датасорсе Prometheus
|
||||
# надёжности всё равно не прибавляет (общая точка отказа), только даёт второе
|
||||
# место, где правило может быть заведено и забыто.
|
||||
#
|
||||
# Если это когда-нибудь понадобится включить обратно — сначала подключить
|
||||
# реальный SMTP или другой contact point и завести хотя бы одно тестовое
|
||||
# правило руками, иначе вернётся тот же капкан.
|
||||
grafana:
|
||||
image: grafana/grafana:11.5.1
|
||||
container_name: gendesign-grafana
|
||||
|
|
@ -303,12 +230,6 @@ services:
|
|||
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD:-}
|
||||
GF_SERVER_ROOT_URL: https://metrics.gendsgn.ru/
|
||||
GF_SERVER_SERVE_FROM_SUB_PATH: "false"
|
||||
# Единственный официальный переключатель Grafana Alerting в 11.x — секция
|
||||
# [unified_alerting], легаси-[alerting] удалён из Grafana ещё в 9.0 и в
|
||||
# 11.5 в конфиге отсутствует (сверено с grafana.com/docs/grafana/v11.5/
|
||||
# setup-grafana/configure-grafana/#unified_alerting). false здесь убирает
|
||||
# раздел Alerting из UI и глушит движок правил целиком — см. #3158 выше.
|
||||
GF_UNIFIED_ALERTING_ENABLED: "false"
|
||||
# Телеметрия наружу — выключена. Отдельный хост, отдельный провайдер, и не
|
||||
# хочется, чтобы наблюдатель сам ходил в интернет без нужды.
|
||||
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||||
|
|
|
|||
|
|
@ -313,30 +313,6 @@ services:
|
|||
# /data/anton-sqlite/analysis.db).
|
||||
- /opt/gendesign/site-finder:/data/anton-sqlite:ro
|
||||
command: ["celery", "-A", "app.workers.celery_app", "worker", "--loglevel=info", "--concurrency=8", "--queues=celery,scrape_kn,geo"]
|
||||
# #3324: до этого у worker'а healthcheck'а не было ВООБЩЕ — контейнер в
|
||||
# crash-loop'е (ImportError в новом коде, протухший uv.lock) уезжал зелёным
|
||||
# деплоем: деплой смотрел только `curl backend /health`.
|
||||
# Проба — `inspect ping` ИМЕННО В ЭТОТ узел (`-d celery@$(hostname)`, у нас
|
||||
# nodename дефолтный: в command нет `-n`). Без `-d` ping вернул бы OK на
|
||||
# ответ ЛЮБОГО воркера на брокере — мёртвый контейнер выглядел бы живым.
|
||||
# Ответ на ping = жив parent-процесс и держится соединение с Redis, т.е.
|
||||
# ровно та связность, без которой очереди не разбираются. `$$` — экранировка
|
||||
# для compose (в контейнер уезжает литеральное `$(hostname)`).
|
||||
# Интервал 60s (не 30s как у backend): каждая проба — отдельный запуск
|
||||
# celery-CLI с импортом приложения, дешёвым его не назовёшь.
|
||||
# start_period 90s: холодный старт worker'а с Chromium-образа заметно
|
||||
# медленнее backend'а.
|
||||
# stderr НЕ глушим: docker хранит вывод пробы в .State.Health.Log, и деплой
|
||||
# печатает его в диагнозе — с `2>&1` там была бы пустота вместо причины.
|
||||
# retries 5 (не 3): при interval 60s тройка промахов = 3 минуты, столько
|
||||
# длится обычный флап Redis, а из unhealthy контейнер сам не выходит по
|
||||
# restart-политике — следующий деплой краснел бы за исправный воркер.
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "celery -A app.workers.celery_app inspect ping -d celery@$$(hostname) -t 10 >/dev/null"]
|
||||
interval: 60s
|
||||
timeout: 30s
|
||||
retries: 5
|
||||
start_period: 90s
|
||||
# #976 cross-DB ETL tradein→gendesign: worker запускает etl_newbuilding_crossload task,
|
||||
# которому нужен прямой TCP-доступ к tradein-postgres через gendesign_shared.
|
||||
# default — обязательно явно, иначе сервис выпадет из дефолтной сети.
|
||||
|
|
@ -360,25 +336,6 @@ services:
|
|||
# хранит только last_run_at для periodic tasks — потеря на restart OK,
|
||||
# beat перестроит из `celery_app.conf.beat_schedule` на старте.
|
||||
command: ["celery", "-A", "app.workers.celery_app", "beat", "--loglevel=info", "--schedule=/tmp/celerybeat-schedule"]
|
||||
# #3324: beat тоже жил без healthcheck'а. На `inspect ping` beat НЕ отвечает
|
||||
# (remote control — свойство воркера, не планировщика), поэтому проба другая:
|
||||
# СВЕЖЕСТЬ shelve-файла расписания. Celery beat синкует его на диск не реже
|
||||
# чем раз в `Scheduler.sync_every` = 180 с — но только когда в этом окне была
|
||||
# отправлена задача. У нас в расписании есть поминутная (nspd-geo-zombie-
|
||||
# cleanup, `* * * * *`) и двухминутная задачи, так что живой beat обновляет
|
||||
# mtime примерно каждые 3 минуты, а вставший — не обновляет вовсе. Порог 10
|
||||
# минут = 3× запас к этой каденции.
|
||||
# Почему glob `celerybeat-schedule*`: имя на диске зависит от того, какой
|
||||
# backend выберет shelve/dbm в образе (gnu → тот же файл, dumb → .dat/.dir).
|
||||
# Почему не `pgrep`/`true`: PID-1 процесс жив ровно пока жив контейнер —
|
||||
# такая проба повторяет `State.Running` и не ловит подвисший планировщик.
|
||||
# `grep -q .`: сам find возвращает 0 и когда не нашёл ничего.
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "find /tmp -maxdepth 1 -name 'celerybeat-schedule*' -mmin -10 | grep -q ."]
|
||||
interval: 60s
|
||||
timeout: 10s
|
||||
retries: 3
|
||||
start_period: 120s
|
||||
|
||||
# ── infra-postgres: лёгкий кластер ОСТАЮЩЕЙСЯ инфраструктуры (#3061) ────────
|
||||
# Переезд продукта Beget (46.173.16.127) → Selectel Poincare (188.124.37.140),
|
||||
|
|
@ -778,9 +735,6 @@ services:
|
|||
# роняя ВСЕ сайты хоста, а не только metrics.gendsgn.ru.
|
||||
- ./caddy/metrics-ingest.caddy.snippet:/etc/caddy/caddy/metrics-ingest.caddy.snippet:ro
|
||||
- ./caddy/metrics-ui.caddy.snippet:/etc/caddy/caddy/metrics-ui.caddy.snippet:ro
|
||||
# То же самое для страницы окна деплоя (#3274): caddy/sites/apps.caddy
|
||||
# импортирует её как `import ../deploy-window.caddy.snippet`.
|
||||
- ./caddy/deploy-window.caddy.snippet:/etc/caddy/caddy/deploy-window.caddy.snippet:ro
|
||||
# Untracked локальные site-блоки (см. import в конце Caddyfile). Каталог
|
||||
# держится в git через caddy/local/.gitignore — иначе docker создал бы
|
||||
# отсутствующий bind-source сам, root-owned пустышкой.
|
||||
|
|
|
|||
|
|
@ -1,138 +0,0 @@
|
|||
#!/bin/sh
|
||||
# Применить текущий конфиг прокси к работающему Caddy (#3443).
|
||||
#
|
||||
# ЗАЧЕМ. Полный деплой ПТИЦЫ пересоздавал сам Caddy БЕЗУСЛОВНО
|
||||
# (`up -d --force-recreate --no-deps caddy`), а вместе с контейнером исчезал
|
||||
# единственный процесс, слушающий 80/443. Замер 05.09 (#3274): 67 с `code=000`
|
||||
# на ВСЕХ доменах хоста — gendsgn.ru, meraocenka.ru и зеркала, включая
|
||||
# публичный лендинг МЕРЫ. Это не 502/503: принимающего процесса нет вовсе,
|
||||
# поэтому заглушка окна деплоя (caddy/sites/deploy-window.caddy.snippet) здесь
|
||||
# бессильна по построению — её отдаёт тот же Caddy.
|
||||
#
|
||||
# ЧТО НА САМОМ ДЕЛЕ ТРЕБУЕТ ПЕРЕСОЗДАНИЯ. Безусловный флаг появился 17.05
|
||||
# (11e78d73) ради нового bind-маунта `./preview` из docker-compose.prod.yml,
|
||||
# который «не появлялся в running container». Довод неверен: `docker compose
|
||||
# up -d` БЕЗ `--force-recreate` пересоздаёт контейнер сам, как только меняется
|
||||
# описание сервиса или образ. Проверено на живом демоне (docker 28.4):
|
||||
# добавлен volume → `Container … Starting/Started`, id контейнера новый;
|
||||
# тег указан на др. образ → id новый;
|
||||
# не менялось ничего → `Container … Running`, id тот же.
|
||||
#
|
||||
# Остаётся ровно один класс изменений, которого compose не видит: СОДЕРЖИМОЕ
|
||||
# пофайлового bind-маунта. `git reset --hard` не правит файл на месте, а пишет
|
||||
# новый инод; контейнер держит примонтированным прежний и продолжает читать
|
||||
# его — `caddy reload` перечитает ровно тот же старый инод. Тот же механизм уже
|
||||
# ловили на Alertmanager (27.08, deploy-metrics.yml) и на Alloy (#3380). У Caddy
|
||||
# так смонтированы пять путей: Caddyfile и четыре сниппета. Каталоги
|
||||
# (caddy/sites, caddy/local, preview) этим не страдают — правка внутри каталога
|
||||
# видна контейнеру сразу, поэтому самый частый случай (caddy/sites/apps.caddy)
|
||||
# пересоздания НЕ требует.
|
||||
#
|
||||
# ОТСЮДА ПОРЯДОК: проверить конфиг → `up -d` без `--force-recreate` → если
|
||||
# контейнер остался тем же, сверить, видит ли он текущее содержимое пофайловых
|
||||
# маунтов → пересоздать ТОЛЬКО при расхождении, иначе `caddy reload`, который
|
||||
# не рвёт соединения.
|
||||
#
|
||||
# ГРАНИЦА. Сверка по СОДЕРЖИМОМУ, а не по иноду: файл, переписанный тем же
|
||||
# текстом, пересоздания не требует. Не прочиталось (контейнер не запущен, в
|
||||
# образе нет sha256sum) — считаем расхождением: fail-safe в сторону прежнего
|
||||
# поведения, то есть пересоздания.
|
||||
set -eu
|
||||
|
||||
# Оба вызывающих (job `deploy` и job `deploy-caddy` в .forgejo/workflows/deploy.yml)
|
||||
# работают в /opt/gendesign, но не зависеть от cwd дешевле, чем это помнить.
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
COMPOSE="docker compose -p gendesign -f docker-compose.prod.yml"
|
||||
|
||||
caddy_cid() { $COMPOSE ps -aq caddy 2>/dev/null | tail -n1; }
|
||||
|
||||
# ── 1. Проверка ДО применения ────────────────────────────────────────────────
|
||||
# Одноразовый контейнер читает файлы С ХОСТА — то есть ровно то, что поедет в
|
||||
# работающий Caddy. `exec caddy validate` здесь не годится: он проверил бы
|
||||
# старый инод, то есть предыдущую версию конфига. Образ и парсер те же, что на
|
||||
# PR-гейте (ci.yml «Guard: Caddyfile синтаксически валиден»).
|
||||
#
|
||||
# ГРАНИЦА ЭТОЙ ПРОВЕРКИ. Она обрывает применение до того, как конфиг попадёт в
|
||||
# работающий Caddy, — но только на быстром пути. В полном деплое ВЫШЕ по
|
||||
# скрипту (deploy.yml, `up -d $UP_SERVICES`) уже прошёл общий подъём всех
|
||||
# сервисов, и если правка одновременно ломает Caddyfile И меняет блок caddy в
|
||||
# docker-compose.prod.yml, контейнер пересоздастся там — с непроверенным
|
||||
# конфигом и раньше этой строки. Первая линия против этого — гейт на PR (#2913).
|
||||
echo "→ проверяю конфиг прокси одноразовым контейнером…"
|
||||
if ! docker run --rm -v "$PWD:/work:ro" -w /work caddy:2 \
|
||||
caddy validate --config /work/Caddyfile --adapter caddyfile; then
|
||||
echo "ОШИБКА: конфиг прокси не применён — проверка не пройдена ЛИБО не удалось"
|
||||
echo " запустить проверочный контейнер (нет образа caddy:2, занят демон,"
|
||||
echo " недоступен реестр). Причина — в выводе выше, не гадать по этой строке."
|
||||
echo " Работающий Caddy не тронут, домены живы."
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# ── 2. Описание сервиса и образ ──────────────────────────────────────────────
|
||||
before=$(caddy_cid)
|
||||
$COMPOSE up -d --no-deps caddy
|
||||
after=$(caddy_cid)
|
||||
if [ -z "$after" ]; then
|
||||
echo 'ОШИБКА: после `up -d` контейнера caddy нет — смотри вывод compose выше.'
|
||||
exit 1
|
||||
fi
|
||||
if [ "$before" != "$after" ]; then
|
||||
echo "✓ Caddy пересоздан compose'ом: изменилось описание сервиса или образ (${before:-нет}→${after})."
|
||||
exit 0
|
||||
fi
|
||||
|
||||
# ── 3. Доехало ли содержимое пофайловых маунтов ──────────────────────────────
|
||||
# Список маунтов читается ОТДЕЛЬНОЙ командой, а не в конвейере с циклом: в
|
||||
# `$(docker inspect … | while …)` статус подстановки — это статус `while`, то
|
||||
# есть всегда 0 (`pipefail` в POSIX-sh нет вовсе). Провал `docker inspect`
|
||||
# давал бы пустой список → «расхождений нет» → `caddy reload` → зелёная джоба с
|
||||
# надписью «окна недоступности нет», а прокси работал бы по СТАРОМУ конфигу.
|
||||
# Это ровно тот беззвучный отказ, ради которого написан весь скрипт.
|
||||
mounts=$(docker inspect "$after" \
|
||||
--format '{{range .Mounts}}{{if eq .Type "bind"}}{{.Source}}|{{.Destination}}{{println}}{{end}}{{end}}') \
|
||||
|| mounts=''
|
||||
|
||||
if [ -z "$mounts" ]; then
|
||||
echo "WARNING: список маунтов Caddy не прочитан (docker inspect молчит или упал) —"
|
||||
echo " сверить нечем, считаю расхождением: fail-safe в прежнее поведение."
|
||||
verdicts=""
|
||||
stale="(маунты не прочитаны)"
|
||||
else
|
||||
verdicts=$(printf '%s\n' "$mounts" | while IFS='|' read -r src dst; do
|
||||
[ -n "${dst:-}" ] || continue
|
||||
# Каталог инод не держит — пропускаем. Именно `-d`, а не `-f`:
|
||||
# отсутствующий/нечитаемый ФАЙЛ — не повод молча пропустить, в
|
||||
# контейнере в этот момент живёт старый инод со старым текстом.
|
||||
if [ -d "$src" ]; then continue; fi
|
||||
host_sum=$(sha256sum "$src" 2>/dev/null | cut -d' ' -f1)
|
||||
seen_sum=$(docker exec "$after" sha256sum "$dst" 2>/dev/null | cut -d' ' -f1)
|
||||
if [ -n "$host_sum" ] && [ "$host_sum" = "${seen_sum:-НЕ_ПРОЧИТАНО}" ]; then
|
||||
echo "OK $dst"
|
||||
else
|
||||
echo "STALE $dst"
|
||||
fi
|
||||
done)
|
||||
# «Сверили пять файлов» и «сверили ноль» обязаны различаться в логе — иначе
|
||||
# зелёная строка ниже одинаково означает и проверку, и её отсутствие.
|
||||
checked=$(printf '%s\n' "$verdicts" | grep -c . || true)
|
||||
echo "→ сверено пофайловых маунтов с тем, что видит контейнер: $checked"
|
||||
stale=$(printf '%s\n' "$verdicts" | sed -n 's/^STALE //p' | tr '\n' ' ')
|
||||
if [ "$checked" -eq 0 ]; then
|
||||
echo "WARNING: ни одного пофайлового bind-маунта не найдено — у Caddy их пять"
|
||||
echo " (Caddyfile + 4 сниппета). Считаю расхождением: fail-safe."
|
||||
stale="(пофайловых маунтов не найдено)"
|
||||
fi
|
||||
fi
|
||||
|
||||
if [ -n "$stale" ]; then
|
||||
echo "→ до контейнера НЕ доехали пофайловые маунты: $stale"
|
||||
echo " (bind-маунт файла держит инод: reload перечитал бы старую версию — нужен recreate)"
|
||||
$COMPOSE up -d --force-recreate --no-deps caddy
|
||||
echo "✓ Caddy пересоздан — иначе правка осталась бы неприменённой."
|
||||
exit 0
|
||||
fi
|
||||
|
||||
# ── 4. Всё доехало — перезагрузка без разрыва соединений ─────────────────────
|
||||
$COMPOSE exec -T caddy caddy reload --config /etc/caddy/Caddyfile --adapter caddyfile
|
||||
echo "✓ конфиг прокси перезагружен без пересоздания контейнера — окна недоступности нет."
|
||||
|
|
@ -27,28 +27,6 @@
|
|||
METRICS_TELEGRAM_ONCALL кого звать поимённо (необязательна)
|
||||
ALERT_ACK_PUBLIC_URL внешний адрес сервиса, попадает в кнопку
|
||||
ALERT_ACK_TTL_MIN сколько минут живёт токен (по умолчанию 1440)
|
||||
ALERT_ACK_GLITCHTIP_SECRET секрет резервного вебхука GlitchTip (#3471,
|
||||
см. POST /glitchtip ниже); пусто — 503
|
||||
|
||||
РЕЗЕРВНЫЙ КАНАЛ GLITCHTIP (#3471). Все три alert-правила GlitchTip (backend,
|
||||
frontend, Trade-In) шлют основной вебхук в продуктовый бэкенд на Selectel —
|
||||
тот самый хост, за которым они следят. Если там упал сам бэкенд или Caddy,
|
||||
алерт об этом теряется именно тогда, когда нужнее всего. `POST /glitchtip`
|
||||
— второй получатель того же алерта, зарегистрированный в GlitchTip отдельной
|
||||
строкой; живёт на ЭТОМ (инфраструктурном, Beget) хосте и не зависит от
|
||||
здоровья продукта. Формат тела — тот же Slack-совместимый payload, что и у
|
||||
продуктового приёмника (`tradein-mvp/backend/app/api/v1/glitchtip.py`):
|
||||
``{"text": str, "attachments": [{"title","title_link","text","color",
|
||||
"fields":[{"title","value"}]}]}``, GlitchTip заголовков не шлёт вовсе —
|
||||
аутентификация только через секрет в query (``?secret=``) или в заголовке
|
||||
``X-GlitchTip-Secret`` (тот же выбор, что там же и по той же причине: заголовок
|
||||
не течёт в access-log, query остаётся, т.к. сам GlitchTip 6.1.6 заголовков не
|
||||
добавляет). Секрет намеренно СВОЙ (``ALERT_ACK_GLITCHTIP_SECRET``), а не общий
|
||||
с продуктовым ``TRADEIN_INTERNAL_AUTH_SECRET`` — секреты разных хостов/доменов
|
||||
безопасности компрометировать вместе незачем. Сообщение уходит в ту же тему
|
||||
клиентских инцидентов (``METRICS_TELEGRAM_CHAT_ID``/``_TOPIC_ID``), что и
|
||||
Alertmanager-алерты через alert-ack, с явной пометкой «резервный канал», чтобы
|
||||
не спутать с основным путём.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
|
@ -73,7 +51,6 @@ TOPIC_ID = os.environ.get("METRICS_TELEGRAM_TOPIC_ID", "")
|
|||
ONCALL = os.environ.get("METRICS_TELEGRAM_ONCALL", "")
|
||||
PUBLIC_URL = os.environ.get("ALERT_ACK_PUBLIC_URL", "").rstrip("/")
|
||||
TTL_SEC = int(os.environ.get("ALERT_ACK_TTL_MIN", "1440")) * 60
|
||||
GLITCHTIP_SECRET = os.environ.get("ALERT_ACK_GLITCHTIP_SECRET", "")
|
||||
API = "https://api.telegram.org/bot{}/{}"
|
||||
|
||||
# token -> {"message_id": int, "title": str, "created": float, "acked_by": str|None}
|
||||
|
|
@ -176,79 +153,6 @@ def _send_alert(payload: dict) -> None:
|
|||
_tg("sendMessage", msg)
|
||||
|
||||
|
||||
_GLITCHTIP_TEXT_LIMIT = 3500 # запас под баннер+имя проекта до лимита Telegram 4096
|
||||
|
||||
|
||||
def _verify_glitchtip_secret(provided: str) -> bool:
|
||||
"""Constant-time сравнение — длина/префикс секрета не утекают через время
|
||||
ответа (тот же приём, что у продуктового приёмника, см. docstring модуля)."""
|
||||
return bool(GLITCHTIP_SECRET) and secrets.compare_digest(provided or "", GLITCHTIP_SECRET)
|
||||
|
||||
|
||||
def _glitchtip_field(attachment: dict, label: str) -> str | None:
|
||||
for field in attachment.get("fields") or []:
|
||||
if not isinstance(field, dict):
|
||||
continue
|
||||
if str(field.get("title", "")).strip().lower() == label.lower():
|
||||
value = field.get("value")
|
||||
return str(value) if value is not None else None
|
||||
return None
|
||||
|
||||
|
||||
def _render_glitchtip(payload: dict) -> str:
|
||||
"""Собрать текст сообщения из Slack-совместимого payload GlitchTip.
|
||||
|
||||
Максимально терпимо к форме тела: GlitchTip шлёт ОДИНАКОВУЮ структуру для
|
||||
issue- и uptime-алертов, но поля внутри attachments опциональны, а тестовое
|
||||
сообщение из UI GlitchTip может не иметь attachments вовсе. Ничего в теле
|
||||
не считаем обязательным — падать сервису на резервном канале нельзя.
|
||||
"""
|
||||
lines = ["⚠️ РЕЗЕРВНЫЙ КАНАЛ (GlitchTip → alert-ack)"]
|
||||
lines.append("Основной путь через продуктовый бэкенд мог быть недоступен.")
|
||||
lines.append("")
|
||||
text = payload.get("text")
|
||||
lines.append(html.escape(str(text)) if text else "GlitchTip alert")
|
||||
|
||||
attachments = payload.get("attachments")
|
||||
for attachment in attachments if isinstance(attachments, list) else []:
|
||||
if not isinstance(attachment, dict):
|
||||
continue
|
||||
block: list[str] = []
|
||||
project = _glitchtip_field(attachment, "Project")
|
||||
if project:
|
||||
block.append(f"Проект: {html.escape(project)}")
|
||||
if attachment.get("title"):
|
||||
block.append(html.escape(str(attachment["title"])))
|
||||
if attachment.get("text"):
|
||||
block.append(html.escape(str(attachment["text"])))
|
||||
if attachment.get("title_link"):
|
||||
block.append(f"Ссылка: {html.escape(str(attachment['title_link']))}")
|
||||
if block:
|
||||
lines.append("")
|
||||
lines.extend(block)
|
||||
|
||||
out = "\n".join(lines)
|
||||
if len(out) > _GLITCHTIP_TEXT_LIMIT:
|
||||
out = out[:_GLITCHTIP_TEXT_LIMIT] + "\n… (обрезано)"
|
||||
return out
|
||||
|
||||
|
||||
def _send_glitchtip_alert(payload: dict) -> None:
|
||||
"""Переслать вебхук GlitchTip в ту же тему клиентских инцидентов, что и
|
||||
Alertmanager через этот сервис. Без кнопки подтверждения — это не
|
||||
firing/resolved инцидент с состоянием, а разовое уведомление резервного
|
||||
канала."""
|
||||
msg = {
|
||||
"chat_id": CHAT_ID,
|
||||
"text": _render_glitchtip(payload),
|
||||
"parse_mode": "HTML",
|
||||
"disable_web_page_preview": "true",
|
||||
}
|
||||
if TOPIC_ID:
|
||||
msg["message_thread_id"] = TOPIC_ID
|
||||
_tg("sendMessage", msg)
|
||||
|
||||
|
||||
_PAGE = (
|
||||
"<!doctype html><meta charset=utf-8>"
|
||||
"<title>{t}</title>"
|
||||
|
|
@ -339,24 +243,11 @@ class Handler(BaseHTTPRequestHandler):
|
|||
self._reply(code, page.encode())
|
||||
|
||||
def do_POST(self) -> None: # noqa: N802 — имя из stdlib
|
||||
# Тело читается ДО любой развилки и ветки отказа. protocol_version =
|
||||
# HTTP/1.1, то есть соединение переиспользуется, а Caddy перед нами
|
||||
# держит пул к апстриму. Ответить 401/404/503, не вычитав тело, значит
|
||||
# оставить его в сокете — и следующий запрос по тому же соединению
|
||||
# начнётся с чужих байт. Проверено на проде 12.09.2026: неавторизованный
|
||||
# зонд на /glitchtip, а следом законный алерт получил
|
||||
# 501 Unsupported method ('{"text":"probe"}POST'). То есть один
|
||||
# отказ ронял следующий НАСТОЯЩИЙ алерт — ровно то, ради чего этот
|
||||
# резервный канал и заводился.
|
||||
parsed = urllib.parse.urlsplit(self.path)
|
||||
length = int(self.headers.get("Content-Length") or 0)
|
||||
raw = self.rfile.read(length) if length else b"{}"
|
||||
if parsed.path == "/glitchtip":
|
||||
self._handle_glitchtip(parsed, raw)
|
||||
return
|
||||
if parsed.path != "/alertmanager":
|
||||
if self.path != "/alertmanager":
|
||||
self._reply(404, b"not found", "text/plain; charset=utf-8")
|
||||
return
|
||||
length = int(self.headers.get("Content-Length") or 0)
|
||||
raw = self.rfile.read(length) if length else b"{}"
|
||||
try:
|
||||
payload = json.loads(raw.decode() or "{}")
|
||||
except Exception: # noqa: BLE001
|
||||
|
|
@ -370,36 +261,6 @@ class Handler(BaseHTTPRequestHandler):
|
|||
self._reply(200, b"accepted", "text/plain; charset=utf-8")
|
||||
threading.Thread(target=_send_alert, args=(payload,), daemon=True).start()
|
||||
|
||||
def _handle_glitchtip(self, parsed: urllib.parse.SplitResult, raw: bytes) -> None:
|
||||
"""POST /glitchtip — резервный получатель GlitchTip-алертов (#3471).
|
||||
|
||||
Секрет — из заголовка ``X-GlitchTip-Secret`` (предпочтительно, не течёт
|
||||
в access-log) либо из query ``?secret=`` (fallback: GlitchTip 6.1.6
|
||||
заголовков не шлёт вовсе). Несконфигурированный секрет → 503, а не
|
||||
тихий приём без проверки. Неразобранное/нестандартное тело НЕ роняет
|
||||
запрос — это резервный канал, теряться на кривом JSON ему нельзя.
|
||||
"""
|
||||
if not GLITCHTIP_SECRET:
|
||||
self._reply(503, b"glitchtip webhook not configured", "text/plain; charset=utf-8")
|
||||
return
|
||||
|
||||
header_secret = self.headers.get("X-GlitchTip-Secret", "")
|
||||
query_secret = urllib.parse.parse_qs(parsed.query).get("secret", [""])[0]
|
||||
if not _verify_glitchtip_secret(header_secret or query_secret):
|
||||
log.warning("glitchtip webhook: invalid or missing secret")
|
||||
self._reply(401, b"invalid or missing secret", "text/plain; charset=utf-8")
|
||||
return
|
||||
|
||||
try:
|
||||
payload = json.loads(raw.decode() or "{}")
|
||||
if not isinstance(payload, dict):
|
||||
payload = {"text": raw.decode(errors="replace")}
|
||||
except Exception: # noqa: BLE001 — резервный канал не роняем на кривом теле
|
||||
payload = {"text": raw.decode(errors="replace")}
|
||||
|
||||
self._reply(200, b"accepted", "text/plain; charset=utf-8")
|
||||
threading.Thread(target=_send_glitchtip_alert, args=(payload,), daemon=True).start()
|
||||
|
||||
|
||||
def main() -> None:
|
||||
missing = [n for n, v in (("BOT_TOKEN", BOT_TOKEN), ("CHAT_ID", CHAT_ID)) if not v]
|
||||
|
|
@ -407,11 +268,6 @@ def main() -> None:
|
|||
raise SystemExit(f"не заданы обязательные переменные: {', '.join(missing)}")
|
||||
if not PUBLIC_URL:
|
||||
log.warning("ALERT_ACK_PUBLIC_URL пуст — сообщения уйдут БЕЗ кнопки подтверждения")
|
||||
if not GLITCHTIP_SECRET:
|
||||
log.warning(
|
||||
"ALERT_ACK_GLITCHTIP_SECRET пуст — резервный канал GlitchTip (#3471) "
|
||||
"отключён, POST /glitchtip будет отвечать 503"
|
||||
)
|
||||
port = int(os.environ.get("ALERT_ACK_PORT", "8080"))
|
||||
log.info("alert-ack слушает :%d, тема=%s, дежурный=%s", port, TOPIC_ID or "—", ONCALL or "—")
|
||||
ThreadingHTTPServer(("", port), Handler).serve_forever()
|
||||
|
|
|
|||
|
|
@ -1,256 +0,0 @@
|
|||
"""Тесты для резервного канала GlitchTip → alert-ack (#3471).
|
||||
|
||||
Продукт (tradein-backend на Selectel) — САМ объект наблюдения GlitchTip. Если
|
||||
он лежит, основной вебхук-получатель лежит вместе с ним, и алерт об этом не
|
||||
доходит именно тогда, когда нужнее всего. `POST /glitchtip` — второй
|
||||
получатель на ДРУГОМ хосте (Beget, рядом с этим сервисом), не зависящий от
|
||||
здоровья продукта.
|
||||
|
||||
Проверяем на уровне функций, а не полного HTTP-транспорта (тот же приём, что
|
||||
`ops/glitchtip-auth-forwarder/test_forwarder.py`): `BaseHTTPRequestHandler`
|
||||
неудобно поднимать без реального сокета, а бизнес-логика — секрет, рендер,
|
||||
отправка — целиком вынесена в чистые функции модуля.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import os
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).parent))
|
||||
|
||||
# Env — ДО импорта app.py: BOT_TOKEN/CHAT_ID читаются на уровне модуля.
|
||||
os.environ.setdefault("METRICS_TELEGRAM_BOT_TOKEN", "test-bot-token")
|
||||
os.environ.setdefault("METRICS_TELEGRAM_CHAT_ID", "-1001234567890")
|
||||
os.environ.setdefault("METRICS_TELEGRAM_TOPIC_ID", "158")
|
||||
os.environ["ALERT_ACK_GLITCHTIP_SECRET"] = "correct-secret"
|
||||
|
||||
import app as alert_ack # noqa: E402
|
||||
|
||||
|
||||
def test_verify_glitchtip_secret_accepts_correct_value() -> None:
|
||||
assert alert_ack._verify_glitchtip_secret("correct-secret") is True
|
||||
|
||||
|
||||
def test_verify_glitchtip_secret_rejects_wrong_value() -> None:
|
||||
"""Неверный секрет — отказ."""
|
||||
assert alert_ack._verify_glitchtip_secret("wrong-secret") is False
|
||||
|
||||
|
||||
def test_verify_glitchtip_secret_rejects_empty_value() -> None:
|
||||
assert alert_ack._verify_glitchtip_secret("") is False
|
||||
|
||||
|
||||
def test_verify_glitchtip_secret_fails_closed_when_unconfigured(monkeypatch) -> None:
|
||||
"""Пустой ALERT_ACK_GLITCHTIP_SECRET — отказ всем, а не тихий fail-open."""
|
||||
monkeypatch.setattr(alert_ack, "GLITCHTIP_SECRET", "")
|
||||
assert alert_ack._verify_glitchtip_secret("correct-secret") is False
|
||||
assert alert_ack._verify_glitchtip_secret("") is False
|
||||
|
||||
|
||||
def test_render_glitchtip_full_payload_marks_fallback_channel() -> None:
|
||||
payload = {
|
||||
"text": "GlitchTip Alert: Something broke",
|
||||
"attachments": [
|
||||
{
|
||||
"title": "TypeError: boom",
|
||||
"title_link": "https://errors.gendsgn.ru/issue/1",
|
||||
"text": "подробности ошибки",
|
||||
"color": "#ff0000",
|
||||
"fields": [{"title": "Project", "value": "tradein-backend"}],
|
||||
}
|
||||
],
|
||||
}
|
||||
text = alert_ack._render_glitchtip(payload)
|
||||
assert "РЕЗЕРВНЫЙ КАНАЛ" in text
|
||||
assert "Проект: tradein-backend" in text
|
||||
assert "TypeError: boom" in text
|
||||
assert "https://errors.gendsgn.ru/issue/1" in text
|
||||
|
||||
|
||||
def test_render_glitchtip_survives_payload_without_attachments() -> None:
|
||||
"""Тело без attachments не роняет сервис — только текст."""
|
||||
text = alert_ack._render_glitchtip({"text": "просто текст без вложений"})
|
||||
assert "РЕЗЕРВНЫЙ КАНАЛ" in text
|
||||
assert "просто текст без вложений" in text
|
||||
|
||||
|
||||
def test_render_glitchtip_survives_empty_payload() -> None:
|
||||
"""Пустой словарь (нет ни text, ни attachments) — тоже не должен падать."""
|
||||
text = alert_ack._render_glitchtip({})
|
||||
assert "РЕЗЕРВНЫЙ КАНАЛ" in text
|
||||
assert "GlitchTip alert" in text
|
||||
|
||||
|
||||
def test_render_glitchtip_survives_malformed_attachments() -> None:
|
||||
"""attachments/fields неожиданной формы (не список, не словарь, битые
|
||||
типы) — резервный канал не должен падать на кривом теле."""
|
||||
payload = {
|
||||
"text": "test",
|
||||
"attachments": [
|
||||
"not-a-dict",
|
||||
{"fields": "not-a-list"},
|
||||
{"fields": [{"title": "Project"}]}, # value отсутствует
|
||||
None,
|
||||
],
|
||||
}
|
||||
text = alert_ack._render_glitchtip(payload)
|
||||
assert "РЕЗЕРВНЫЙ КАНАЛ" in text
|
||||
|
||||
|
||||
def test_send_glitchtip_alert_forwards_via_tg(monkeypatch) -> None:
|
||||
"""Верный секрет уже проверен вызывающей стороной (do_POST) — здесь
|
||||
проверяем, что отрендеренное сообщение реально уходит в тот же chat/topic,
|
||||
что и Alertmanager-алерты этого сервиса, без кнопки подтверждения."""
|
||||
calls = []
|
||||
monkeypatch.setattr(alert_ack, "_tg", lambda method, payload: calls.append((method, payload)))
|
||||
|
||||
alert_ack._send_glitchtip_alert({"text": "boom", "attachments": []})
|
||||
|
||||
assert len(calls) == 1
|
||||
method, sent = calls[0]
|
||||
assert method == "sendMessage"
|
||||
assert sent["chat_id"] == alert_ack.CHAT_ID
|
||||
assert sent["message_thread_id"] == alert_ack.TOPIC_ID
|
||||
assert "reply_markup" not in sent
|
||||
assert "boom" in sent["text"]
|
||||
|
||||
|
||||
# ── Keep-alive: отказ не должен ронять СЛЕДУЮЩИЙ запрос ──────────────────────
|
||||
# Эти четыре теста — единственные, что поднимают настоящий сокет. Дефект,
|
||||
# который они стерегут, живёт именно в транспорте и на уровне функций невидим:
|
||||
# ветка отказа отвечала, не вычитав тело запроса, а `protocol_version` здесь
|
||||
# HTTP/1.1, то есть соединение переиспользуется (и Caddy перед сервисом держит
|
||||
# пул к апстриму). Непрочитанное тело оставалось в сокете, и следующий запрос
|
||||
# по тому же соединению начинался с чужих байт.
|
||||
#
|
||||
# Поймано на проде 12.09.2026: зонд без секрета получил 401, а следующий —
|
||||
# уже с верным секретом — вернул 501 Unsupported method ('{"text":"probe"}POST').
|
||||
# То есть один отказ съедал следующий НАСТОЯЩИЙ алерт.
|
||||
|
||||
|
||||
def _serve_in_background(monkeypatch):
|
||||
"""Поднимает Handler на эфемерном порту, глушит отправку в Telegram."""
|
||||
import threading as _threading
|
||||
from http.server import ThreadingHTTPServer
|
||||
|
||||
sent: list[dict] = []
|
||||
monkeypatch.setattr(alert_ack, "_send_glitchtip_alert", sent.append)
|
||||
monkeypatch.setattr(alert_ack, "_send_alert", sent.append)
|
||||
|
||||
srv = ThreadingHTTPServer(("127.0.0.1", 0), alert_ack.Handler)
|
||||
thread = _threading.Thread(target=srv.serve_forever, daemon=True)
|
||||
thread.start()
|
||||
return srv, sent
|
||||
|
||||
|
||||
def _raw_post(sock, path: str, body: bytes, headers: str = "") -> str:
|
||||
"""Шлёт POST по уже открытому сокету и возвращает статусную строку."""
|
||||
req = (
|
||||
f"POST {path} HTTP/1.1\r\n"
|
||||
f"Host: localhost\r\n"
|
||||
f"Content-Type: application/json\r\n"
|
||||
f"Content-Length: {len(body)}\r\n"
|
||||
f"{headers}"
|
||||
f"\r\n"
|
||||
).encode() + body
|
||||
sock.sendall(req)
|
||||
# Читаем ровно заголовки: тела короткие, Content-Length всегда проставлен.
|
||||
buf = b""
|
||||
while b"\r\n\r\n" not in buf:
|
||||
chunk = sock.recv(4096)
|
||||
if not chunk:
|
||||
break
|
||||
buf += chunk
|
||||
head, _, rest = buf.partition(b"\r\n\r\n")
|
||||
length = 0
|
||||
for line in head.split(b"\r\n")[1:]:
|
||||
if line.lower().startswith(b"content-length:"):
|
||||
length = int(line.split(b":")[1])
|
||||
while len(rest) < length:
|
||||
rest += sock.recv(4096)
|
||||
return head.split(b"\r\n")[0].decode()
|
||||
|
||||
|
||||
def _pair_on_one_connection(monkeypatch, first_headers: str, first_path: str = "/glitchtip"):
|
||||
import socket
|
||||
|
||||
srv, sent = _serve_in_background(monkeypatch)
|
||||
try:
|
||||
sock = socket.create_connection(srv.server_address, timeout=5)
|
||||
try:
|
||||
first = _raw_post(sock, first_path, b'{"text":"probe"}', first_headers)
|
||||
second = _raw_post(
|
||||
sock,
|
||||
"/glitchtip",
|
||||
b'{"text":"real alert"}',
|
||||
"X-GlitchTip-Secret: correct-secret\r\n",
|
||||
)
|
||||
finally:
|
||||
sock.close()
|
||||
finally:
|
||||
srv.shutdown()
|
||||
srv.server_close()
|
||||
return first, second, sent
|
||||
|
||||
|
||||
def test_rejected_request_does_not_break_next_one_on_same_connection(monkeypatch) -> None:
|
||||
"""401 без секрета, следом законный алерт по ТОМУ ЖЕ соединению — 200."""
|
||||
first, second, sent = _pair_on_one_connection(monkeypatch, "")
|
||||
assert "401" in first
|
||||
assert "200" in second, f"второй запрос испорчен первым: {second}"
|
||||
assert sent == [{"text": "real alert"}]
|
||||
|
||||
|
||||
def test_unconfigured_secret_does_not_break_next_request(monkeypatch) -> None:
|
||||
"""503 при пустом секрете тоже обязан вычитать тело."""
|
||||
import socket
|
||||
|
||||
monkeypatch.setattr(alert_ack, "GLITCHTIP_SECRET", "")
|
||||
srv, _sent = _serve_in_background(monkeypatch)
|
||||
try:
|
||||
sock = socket.create_connection(srv.server_address, timeout=5)
|
||||
try:
|
||||
first = _raw_post(sock, "/glitchtip", b'{"text":"probe"}')
|
||||
second = _raw_post(sock, "/glitchtip", b'{"text":"again"}')
|
||||
finally:
|
||||
sock.close()
|
||||
finally:
|
||||
srv.shutdown()
|
||||
srv.server_close()
|
||||
assert "503" in first
|
||||
assert "503" in second, f"второй запрос испорчен первым: {second}"
|
||||
|
||||
|
||||
def test_unknown_path_does_not_break_next_request(monkeypatch) -> None:
|
||||
"""404 на чужом пути — та же ветка раннего ответа, то же требование."""
|
||||
first, second, sent = _pair_on_one_connection(monkeypatch, "", first_path="/nope")
|
||||
assert "404" in first
|
||||
assert "200" in second, f"второй запрос испорчен первым: {second}"
|
||||
assert sent == [{"text": "real alert"}]
|
||||
|
||||
|
||||
def test_bad_json_on_alertmanager_does_not_break_next_request(monkeypatch) -> None:
|
||||
"""400 на неразобранном теле /alertmanager — тело уже вычитано, связь цела."""
|
||||
import socket
|
||||
|
||||
srv, sent = _serve_in_background(monkeypatch)
|
||||
try:
|
||||
sock = socket.create_connection(srv.server_address, timeout=5)
|
||||
try:
|
||||
first = _raw_post(sock, "/alertmanager", b"{not json")
|
||||
second = _raw_post(
|
||||
sock,
|
||||
"/glitchtip",
|
||||
b'{"text":"real alert"}',
|
||||
"X-GlitchTip-Secret: correct-secret\r\n",
|
||||
)
|
||||
finally:
|
||||
sock.close()
|
||||
finally:
|
||||
srv.shutdown()
|
||||
srv.server_close()
|
||||
assert "400" in first
|
||||
assert "200" in second, f"второй запрос испорчен первым: {second}"
|
||||
assert sent == [{"text": "real alert"}]
|
||||
|
|
@ -71,16 +71,9 @@ route:
|
|||
repeat_interval: 3h
|
||||
|
||||
inhibit_rules:
|
||||
# Если хост целиком недоступен, не сыпать отдельно про каждый его
|
||||
# warning-сервис. `target_matchers` НАМЕРЕННО ограничен одним warning
|
||||
# (#3471): раньше сюда попадал и critical, и падение node-exporter молча
|
||||
# гасило заодно PostgresLongTransactionCritical и все critical cAdvisor-
|
||||
# алерты того же хоста — самое важное сообщение исчезало вместе с шумом,
|
||||
# который оно должно было подавить. Warning того же хоста подавлять по-
|
||||
# прежнему стоит (диск/память/своп неотличимы от «нет данных»), а critical
|
||||
# обязан пережить это подавление и дойти до дежурного отдельно.
|
||||
# Если хост целиком недоступен, не сыпать отдельно про каждый его сервис.
|
||||
- source_matchers: [alertname = "HostAgentDown"]
|
||||
target_matchers: [severity = "warning"]
|
||||
target_matchers: [severity =~ "warning|critical"]
|
||||
equal: ["host"]
|
||||
|
||||
receivers:
|
||||
|
|
|
|||
|
|
@ -119,27 +119,6 @@ prometheus.scrape "postgres" {
|
|||
scrape_interval = "60s"
|
||||
}
|
||||
|
||||
// ═══ REDIS И ОЧЕРЕДЬ CELERY (#3471) ═════════════════════════════════════════════
|
||||
// До этой правки ни одной серии redis_* / celery_* в Prometheus не было: глубина
|
||||
// очереди, число живых воркеров и потеря соединения с брокером были невидимы —
|
||||
// переполнение очереди и залипший воркер снаружи выглядели одинаково, тишиной.
|
||||
|
||||
prometheus.scrape "redis" {
|
||||
targets = [
|
||||
{ __address__ = "gendesign-redis-exporter:9121", job = "redis" },
|
||||
]
|
||||
forward_to = [prometheus.remote_write.central.receiver]
|
||||
scrape_interval = "30s"
|
||||
}
|
||||
|
||||
prometheus.scrape "celery" {
|
||||
targets = [
|
||||
{ __address__ = "gendesign-celery-exporter:9808", job = "celery" },
|
||||
]
|
||||
forward_to = [prometheus.remote_write.central.receiver]
|
||||
scrape_interval = "30s"
|
||||
}
|
||||
|
||||
// ═══ МЕТРИКИ ПРИЛОЖЕНИЙ ════════════════════════════════════════════════════════
|
||||
// Эндпоинты появляются в части 3. До этого скрейп просто отдаёт `up 0` — и это
|
||||
// правильно: цель видна как недоступная, а не отсутствует молча.
|
||||
|
|
@ -193,26 +172,6 @@ loki.process "scrub_credentials" {
|
|||
expression = "://[^:@/ ]+:([^@ ]+)@"
|
||||
replace = "***"
|
||||
}
|
||||
|
||||
// ── Секреты в query-строке (#3354) ─────────────────────────────────────────
|
||||
// Прод-факт (#3154): uvicorn пишет в access-log ПОЛНЫЙ путь с query, и туда
|
||||
// уезжал `?secret=<64 hex>` вебхука GlitchTip. Приложение чистит это у себя
|
||||
// (tradein-mvp/backend/app/core/log_scrub.py), здесь — второй слой на случай
|
||||
// строки, пришедшей мимо фильтра: другой процесс, sidecar, будущий логгер.
|
||||
//
|
||||
// Множество имён держим ОДИНАКОВЫМ с log_scrub.py. Префикс `[\w.-]*` перед
|
||||
// альтернацией — ради суффиксных имён (`client_secret`, `refresh_token`,
|
||||
// `webhook_secret`); значение обрывается на `&`, пробеле или кавычке, потому
|
||||
// что access-строка uvicorn обрамляет запрос кавычками.
|
||||
//
|
||||
// Группа захвата стоит на ЗНАЧЕНИИ, а не на имени параметра: Alloy заменяет
|
||||
// содержимое групп, а не весь совпавший фрагмент (ровно как у DSN выше — там
|
||||
// группа на пароле, поэтому пользователь и хост уцелевают). Обернуть группой
|
||||
// `?secret=` значило бы затереть имя и оставить сам секрет.
|
||||
stage.replace {
|
||||
expression = "(?i)[?&][\\w.-]*(?:secret|token|api[-_]?key|apikey|access[-_]?token|password|signature|sig)=([^&\\s\"'<>]+)"
|
||||
replace = "***"
|
||||
}
|
||||
}
|
||||
|
||||
loki.relabel "journal" {
|
||||
|
|
|
|||
|
|
@ -57,13 +57,9 @@ prometheus.scrape "cadvisor" {
|
|||
prometheus.relabel "cadvisor_trim" {
|
||||
forward_to = [prometheus.remote_write.central.receiver]
|
||||
|
||||
// `up`/`scrape_samples_scraped` — служебные ряды самого скрейпа, не
|
||||
// container_*-метрики. Без явного допуска этот keep-фильтр резал их вместе
|
||||
// с прочим шумом, и у cAdvisor как job'а не было своей серии `up` вообще —
|
||||
// его смерть выглядела так же, как «ничего не изменилось» (#3471).
|
||||
rule {
|
||||
source_labels = ["__name__"]
|
||||
regex = "up|scrape_samples_scraped|container_(memory_(usage_bytes|working_set_bytes|rss)|cpu_(usage_seconds_total|cfs_throttled_seconds_total)|network_(receive|transmit)_bytes_total|fs_(usage|limit)_bytes|last_seen|spec_memory_limit_bytes|start_time_seconds|processes)"
|
||||
regex = "container_(memory_(usage_bytes|working_set_bytes|rss)|cpu_(usage_seconds_total|cfs_throttled_seconds_total)|network_(receive|transmit)_bytes_total|fs_(usage|limit)_bytes|last_seen|spec_memory_limit_bytes|start_time_seconds|processes)"
|
||||
action = "keep"
|
||||
}
|
||||
|
||||
|
|
@ -74,15 +70,9 @@ prometheus.relabel "cadvisor_trim" {
|
|||
//
|
||||
// NB: на пустые панели это правило НЕ влияло. Причина была в cAdvisor 0.52 на
|
||||
// Docker 29 — до сюда доезжал ровно один ряд, корневой. Лечится версией 0.55.1.
|
||||
//
|
||||
// `up`/`scrape_samples_scraped` лейбла `name` не несут вовсе (они не про
|
||||
// конкретный контейнер, а про сам скрейп) — фильтр по нему вырезал бы и их.
|
||||
// Поэтому здесь смотрим на пару (__name__, name): для служебных рядов
|
||||
// достаточно самого __name__, для контейнерных метрик по-прежнему обязателен
|
||||
// непустой name.
|
||||
rule {
|
||||
source_labels = ["__name__", "name"]
|
||||
regex = "up;.*|scrape_samples_scraped;.*|container_[^;]*;.+"
|
||||
source_labels = ["name"]
|
||||
regex = ".+"
|
||||
action = "keep"
|
||||
}
|
||||
}
|
||||
|
|
@ -141,18 +131,6 @@ loki.process "scrub_credentials" {
|
|||
expression = "://[^:@/ ]+:([^@ ]+)@"
|
||||
replace = "***"
|
||||
}
|
||||
|
||||
// ── Секреты в query-строке (#3354) ─────────────────────────────────────────
|
||||
// То же выражение, что в alloy-apps.alloy, и по той же причине — подробности
|
||||
// там. Здесь оно нужно не меньше: на инфра-хосте живут Forgejo и GlitchTip,
|
||||
// у обоих есть ручки с `?token=` в адресе, и их логи идут в тот же Loki.
|
||||
//
|
||||
// Группа захвата — на ЗНАЧЕНИИ: Alloy заменяет содержимое групп, а не весь
|
||||
// совпавший фрагмент (как у DSN выше, где группа на пароле).
|
||||
stage.replace {
|
||||
expression = "(?i)[?&][\\w.-]*(?:secret|token|api[-_]?key|apikey|access[-_]?token|password|signature|sig)=([^&\\s\"'<>]+)"
|
||||
replace = "***"
|
||||
}
|
||||
}
|
||||
|
||||
loki.relabel "journal" {
|
||||
|
|
|
|||
|
|
@ -107,7 +107,7 @@
|
|||
{
|
||||
"type": "timeseries",
|
||||
"title": "Запросы по классам ответов",
|
||||
"description": "Классы, а не отдельные коды: форма графика важнее точного номера. Всплеск 4xx без 5xx — обычно сканер или сломанный клиент; всплеск 5xx — наша ошибка. Линии НЕ стекируются: высота красной линии — это и есть число пятисоток, а не сумма со всем, что под ней.",
|
||||
"description": "Классы, а не отдельные коды: форма графика важнее точного номера. Всплеск 4xx без 5xx — обычно сканер или сломанный клиент; всплеск 5xx — наша ошибка.",
|
||||
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||
"gridPos": { "h": 8, "w": 12, "x": 0, "y": 7 },
|
||||
"targets": [
|
||||
|
|
@ -117,7 +117,7 @@
|
|||
{ "refId": "D", "expr": "sum by (app) (rate(http_requests_total{app=~\"$app\", status=~\"5..\"}[5m]))", "legendFormat": "{{app}} · 5xx" }
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": { "unit": "reqps", "min": 0, "custom": { "fillOpacity": 8, "stacking": { "mode": "none" }, "showPoints": "never", "lineWidth": 2 } },
|
||||
"defaults": { "unit": "reqps", "min": 0, "custom": { "fillOpacity": 25, "stacking": { "mode": "normal" }, "showPoints": "never", "lineWidth": 1 } },
|
||||
"overrides": [
|
||||
{ "matcher": { "id": "byRegexp", "options": ".*2xx.*" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "green" } } ] },
|
||||
{ "matcher": { "id": "byRegexp", "options": ".*3xx.*" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "blue" } } ] },
|
||||
|
|
|
|||
|
|
@ -1,161 +0,0 @@
|
|||
{
|
||||
"uid": "gendesign-product",
|
||||
"title": "Продуктовые метрики",
|
||||
"description": "Числа бизнеса, а не процесса: сколько людей реально что-то сделали в «Мере» и «Птице» (#3471). Источник — те же счётчики Prometheus, что и на дашборде «Приложения», только считают не HTTP-статусы, а продуктовые события (оценка, лид, отчёт, вход, обращение в поддержку). Часовое окно нарочно грубое: при текущем трафике (сотни событий в сутки) минутные всплески — шум, а не сигнал.",
|
||||
"tags": ["gendesign", "product"],
|
||||
"timezone": "browser",
|
||||
"editable": false,
|
||||
"schemaVersion": 39,
|
||||
"refresh": "5m",
|
||||
"time": { "from": "now-24h", "to": "now" },
|
||||
"panels": [
|
||||
{ "type": "row", "title": "Мера — воронка продукта", "gridPos": { "h": 1, "w": 24, "x": 0, "y": 0 } },
|
||||
|
||||
{
|
||||
"type": "timeseries",
|
||||
"title": "Оценок в час, по исходу",
|
||||
"description": "insufficient_data — не ошибка: аналогов рядом с адресом не нашлось, расчёт прошёл штатно. Тревожиться стоит, если эта линия начинает расти быстрее ok — значит покрытие рынка проседает, а не то, что сломался расчёт.",
|
||||
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||
"gridPos": { "h": 8, "w": 12, "x": 0, "y": 1 },
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "sum by (outcome) (increase(mera_estimates_total[1h]))",
|
||||
"legendFormat": "{{outcome}}"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short",
|
||||
"min": 0,
|
||||
"custom": { "fillOpacity": 8, "stacking": { "mode": "none" }, "showPoints": "never", "lineWidth": 2 }
|
||||
},
|
||||
"overrides": [
|
||||
{ "matcher": { "id": "byName", "options": "insufficient_data" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "orange" } } ] },
|
||||
{ "matcher": { "id": "byName", "options": "ok" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "green" } } ] }
|
||||
]
|
||||
}
|
||||
},
|
||||
|
||||
{
|
||||
"type": "timeseries",
|
||||
"title": "Подсказки адреса в час, нашёлся ли результат",
|
||||
"description": "found=no — человек напечатал адрес, а автокомплит ничего не предложил: либо адреса нет в базе, либо он вне зоны покрытия. Устойчивый рост этой линии — повод расширять покрытие, а не баг одного запроса.",
|
||||
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||
"gridPos": { "h": 8, "w": 12, "x": 12, "y": 1 },
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "sum by (found) (increase(mera_address_suggestions_total[1h]))",
|
||||
"legendFormat": "найден: {{found}}"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short",
|
||||
"min": 0,
|
||||
"custom": { "fillOpacity": 8, "stacking": { "mode": "none" }, "showPoints": "never", "lineWidth": 2 }
|
||||
},
|
||||
"overrides": [
|
||||
{ "matcher": { "id": "byRegexp", "options": ".*no.*" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "orange" } } ] }
|
||||
]
|
||||
}
|
||||
},
|
||||
|
||||
{
|
||||
"type": "timeseries",
|
||||
"title": "Лиды и скачанные отчёты в час",
|
||||
"description": "Лид — заявка с телефоном после оценки, отчёт — скачанный PDF по оценке. Оба редкие: сверяйте с недельным окном (кнопка времени вверху), часовой провал сам по себе ни о чём не говорит при таком трафике.",
|
||||
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||
"gridPos": { "h": 8, "w": 12, "x": 0, "y": 9 },
|
||||
"targets": [
|
||||
{ "refId": "A", "expr": "increase(mera_leads_total[1h])", "legendFormat": "лиды" },
|
||||
{ "refId": "B", "expr": "increase(mera_reports_exported_total[1h])", "legendFormat": "отчёты" }
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short",
|
||||
"min": 0,
|
||||
"custom": { "fillOpacity": 8, "stacking": { "mode": "none" }, "showPoints": "never", "lineWidth": 2 }
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
},
|
||||
|
||||
{
|
||||
"type": "timeseries",
|
||||
"title": "Входы в час, по исходу",
|
||||
"description": "Устойчивый рост failed при ровном success — либо перебор паролей, либо сломался клиент (истёкшая сессия, старый билд фронта). При подозрении на перебор смотрите заодно панель «Отказы авторизации и лимитера» на дашборде «Приложения» — там 401/429 по HTTP.",
|
||||
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||
"gridPos": { "h": 8, "w": 12, "x": 12, "y": 9 },
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "sum by (result) (increase(mera_logins_total[1h]))",
|
||||
"legendFormat": "{{result}}"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short",
|
||||
"min": 0,
|
||||
"custom": { "fillOpacity": 8, "stacking": { "mode": "none" }, "showPoints": "never", "lineWidth": 2 }
|
||||
},
|
||||
"overrides": [
|
||||
{ "matcher": { "id": "byName", "options": "failed" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "red" } } ] },
|
||||
{ "matcher": { "id": "byName", "options": "success" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "green" } } ] }
|
||||
]
|
||||
}
|
||||
},
|
||||
|
||||
{
|
||||
"type": "timeseries",
|
||||
"title": "Обращения в поддержку в час, по каналу",
|
||||
"description": "anon — обращения с экрана входа, без логина (типично «не могу войти»), web — уже залогиненные пользователи. Всплеск anon без роста web — обычно означает баг именно в форме/процессе входа, а не общий рост нагрузки на поддержку.",
|
||||
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||
"gridPos": { "h": 8, "w": 12, "x": 0, "y": 17 },
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "sum by (channel) (increase(mera_support_messages_total[1h]))",
|
||||
"legendFormat": "{{channel}}"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short",
|
||||
"min": 0,
|
||||
"custom": { "fillOpacity": 8, "stacking": { "mode": "none" }, "showPoints": "never", "lineWidth": 2 }
|
||||
},
|
||||
"overrides": [
|
||||
{ "matcher": { "id": "byName", "options": "anon" }, "properties": [ { "id": "color", "value": { "mode": "fixed", "fixedColor": "orange" } } ] }
|
||||
]
|
||||
}
|
||||
},
|
||||
|
||||
{ "type": "row", "title": "Птица — экспорт отчётов", "gridPos": { "h": 1, "w": 24, "x": 0, "y": 25 } },
|
||||
|
||||
{
|
||||
"type": "timeseries",
|
||||
"title": "Экспортов отчётов по участку в час, по формату",
|
||||
"description": "Формат — то, что реально скачали: md/json/docx/pptx/pdf/tg-сводка §22-форсайта плюс best_layouts_pdf (ТЗ на проектирование). Провал всех форматов разом при живом трафике на дашборде «Приложения» значит, что сломан сам экспорт, а не рендер одного конкретного формата.",
|
||||
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||
"gridPos": { "h": 8, "w": 24, "x": 0, "y": 26 },
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "sum by (format) (increase(sitefinder_reports_exported_total[1h]))",
|
||||
"legendFormat": "{{format}}"
|
||||
}
|
||||
],
|
||||
"fieldConfig": {
|
||||
"defaults": {
|
||||
"unit": "short",
|
||||
"min": 0,
|
||||
"custom": { "fillOpacity": 8, "stacking": { "mode": "none" }, "showPoints": "never", "lineWidth": 2 }
|
||||
},
|
||||
"overrides": []
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
|
|
@ -1,16 +0,0 @@
|
|||
# Эта папка сознательно пустая
|
||||
|
||||
Grafana умеет провижинить contact points, notification policies и alert rules
|
||||
файлами отсюда (`/etc/grafana/provisioning/alerting`). Не клади их сюда.
|
||||
|
||||
Решение (#3158, 12.09.2026): единственный путь доставки тревог — Prometheus
|
||||
(правила) + Alertmanager (маршрутизация, Telegram). Grafana только рисует.
|
||||
Встроенный Alerting выключен явно (`GF_UNIFIED_ALERTING_ENABLED: "false"` в
|
||||
`docker-compose.metrics.yml`, секция `grafana`) — при живом API 12.09.2026
|
||||
единственным контакт-поинтом был стоковый `grafana-default-email` на
|
||||
`example@email.com`, `GF_SMTP_*` не задан, правил ноль. Файл сюда работать не
|
||||
заставит: движок alerting выключен на уровне сервиса, провижининг в эту папку
|
||||
Grafana просто не читает.
|
||||
|
||||
Если понадобится включить обратно — сначала пересмотреть само решение в
|
||||
`docker-compose.metrics.yml`, а не просто добавить файл в эту папку.
|
||||
|
|
@ -44,21 +44,6 @@ groups:
|
|||
summary: "С продуктового хоста 15 минут не приходят метрики"
|
||||
description: "Либо лёг агент на Poincare, либо оборван канал до metrics.gendsgn.ru, либо приёмник не принимает remote-write."
|
||||
|
||||
# cAdvisor как job не публикует `up` естественным образом — до фикса
|
||||
# keep-фильтра в alloy-infra.alloy/alloy-apps.alloy (#3471) эта серия
|
||||
# вырезалась тем же правилом, что чистит container_* от мусорных
|
||||
# лейблов. Итог — смерть cAdvisor молча гасила ContainerRestartLoop и
|
||||
# ContainerNearMemoryLimit: обе метрики просто переставали поступать, а
|
||||
# выглядело это как «событий не было».
|
||||
- alert: CadvisorDown
|
||||
expr: up{job="cadvisor"} == 0 or absent(up{job="cadvisor"})
|
||||
for: 5m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: "cAdvisor не отвечает"
|
||||
description: "{{ if $labels.host }}{{ $labels.host }}: {{ end }}job=\"cadvisor\" вернул up=0 либо серия пропала целиком. Без неё контейнерные алерты этого хоста молчат вне зависимости от реального состояния контейнеров."
|
||||
|
||||
# ── Хост ────────────────────────────────────────────────────────────────────
|
||||
- name: host
|
||||
interval: 60s
|
||||
|
|
@ -140,19 +125,11 @@ groups:
|
|||
description: "{{ $labels.host }} / {{ $labels.name }}: больше трёх стартов за полчаса."
|
||||
|
||||
# Подошёл к своему mem_limit — следующий шаг OOM-kill.
|
||||
#
|
||||
# ФОРМА ВЫРАЖЕНИЯ ВАЖНА, а не только условие. `A and B` возвращает ЗНАЧЕНИЯ
|
||||
# ЛЕВОЙ части, отфильтрованные правой, — то есть в `$value` попадает именно
|
||||
# A. Прежняя запись (`limit > 0 and working_set/limit > 0.90`) слала в
|
||||
# Telegram лимит В БАЙТАХ, отрендеренный как процент: боевое сообщение
|
||||
# 12.09 — «2.684e+11% от mem_limit» при limit = 2 684 354 560 Б. Условие
|
||||
# при этом срабатывало верно, врал только текст. Поэтому отношение стоит
|
||||
# СЛЕВА, а отсев нулевого лимита убран внутрь знаменателя: `(X > 0)`
|
||||
# выбрасывает серии без лимита ДО деления.
|
||||
- alert: ContainerNearMemoryLimit
|
||||
expr: |
|
||||
container_memory_working_set_bytes{name!=""}
|
||||
/ (container_spec_memory_limit_bytes{name!=""} > 0) > 0.90
|
||||
container_spec_memory_limit_bytes{name!=""} > 0
|
||||
and container_memory_working_set_bytes{name!=""}
|
||||
/ container_spec_memory_limit_bytes{name!=""} > 0.90
|
||||
for: 15m
|
||||
labels:
|
||||
severity: warning
|
||||
|
|
@ -160,135 +137,6 @@ groups:
|
|||
summary: "Контейнер у своего потолка памяти"
|
||||
description: "{{ $labels.host }} / {{ $labels.name }}: {{ $value | humanizePercentage }} от mem_limit. Дальше OOM-kill."
|
||||
|
||||
# tradein-tgbot и tradein-scraper не HTTP-сервисы — у них нет `up{}`
|
||||
# вообще, поэтому крэш-без-рестарта или удаление контейнера иначе не
|
||||
# поймать. `absent()` на каждое имя отдельно (не одним regex-селектором):
|
||||
# regex-селектор с несколькими сериями считается «пустым» только когда
|
||||
# ПРОПАЛИ ОБЕ — если жив хотя бы один из двух контейнеров, absent() по
|
||||
# общему selector'у молчит и не заметит пропажу второго.
|
||||
#
|
||||
# ВАЖНО, чего это правило НЕ ловит: container_last_seen обновляется, пока
|
||||
# Docker видит контейнер живым, — зависший, но не упавший процесс
|
||||
# (внутренний цикл встал, контейнер по-прежнему числится running) эту
|
||||
# метрику не тронет. Слепая зона «живой процесс с застрявшим циклом»
|
||||
# остаётся открытой: подходящей метрики для неё сейчас нет.
|
||||
- alert: TradeInBackgroundContainerMissing
|
||||
expr: |
|
||||
absent(container_last_seen{name="tradein-tgbot"})
|
||||
or absent(container_last_seen{name="tradein-scraper"})
|
||||
for: 5m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: "Фоновый контейнер Меры пропал из cAdvisor"
|
||||
description: "{{ $labels.name }}: серия container_last_seen исчезла — контейнер, судя по всему, не работает и не перезапускается."
|
||||
|
||||
# ── Приложение ──────────────────────────────────────────────────────────────
|
||||
# `job="app"` — job из alloy-apps.alloy, лейбл `app` различает продукты
|
||||
# (sitefinder / mera). Метрики отдаёт `MetricsMiddleware`
|
||||
# (`backend/app/observability/metrics.py` у «Птицы»,
|
||||
# `tradein-mvp/backend/app/observability/metrics.py` у «Меры») — счётчик
|
||||
# `http_requests_total{method,route,status}` и гистограмма
|
||||
# `http_request_duration_seconds{method,route}`. До этой группы доля 5xx и
|
||||
# задержка были видны только постфактум в GlitchTip, без порога срабатывания
|
||||
# (#3471).
|
||||
#
|
||||
# severity: critical + host: apps здесь ОБЯЗАТЕЛЬНЫ содержательно, не для
|
||||
# красоты: именно эта пара матчится маршрутом telegram-clients в
|
||||
# alertmanager.yml.tmpl — тот зовёт дежурного и напоминает каждые 30 минут.
|
||||
# `host` выставлен статически: `sum by (app)` вырезает его из результата
|
||||
# запроса, а job="app" в принципе существует только на продуктовом хосте.
|
||||
- name: app
|
||||
interval: 60s
|
||||
rules:
|
||||
# Гейт по RPS внутри знаменателя — тот же приём, что у
|
||||
# PostgresLowHotUpdateRatio: делит только там, где трафик уже есть,
|
||||
# иначе один упавший запрос при нулевой нагрузке даёт 100% и будит
|
||||
# дежурного зря.
|
||||
- alert: AppHighErrorRate
|
||||
expr: |
|
||||
sum by (app) (rate(http_requests_total{job="app", status=~"5.."}[5m]))
|
||||
/ (sum by (app) (rate(http_requests_total{job="app"}[5m])) > 0.1) > 0.05
|
||||
for: 5m
|
||||
labels:
|
||||
severity: critical
|
||||
host: apps
|
||||
annotations:
|
||||
summary: "Доля 5xx выше 5%"
|
||||
description: "{{ $labels.app }}: {{ $value | humanizePercentage }} ответов 5xx за последние 5 минут при RPS выше 0.1."
|
||||
|
||||
# Порог 5s — заведомо выше рабочего профиля обоих продуктов (у «Меры»
|
||||
# типичный расчёт 90мс, у «Птицы» верхняя граница гистограммы — 60с под
|
||||
# тяжёлую геометрию, но это единичные хвостовые запросы, не p95).
|
||||
# Калибровка по реальному трафику — отдельная задача, не эта.
|
||||
- alert: AppHighLatencyP95
|
||||
expr: |
|
||||
histogram_quantile(0.95, sum by (le, app) (rate(http_request_duration_seconds_bucket{job="app"}[10m]))) > 5
|
||||
for: 10m
|
||||
labels:
|
||||
severity: critical
|
||||
host: apps
|
||||
annotations:
|
||||
summary: "p95 задержки ответа выше 5 секунд"
|
||||
description: "{{ $labels.app }}: p95 за 10 минут — {{ $value | humanizeDuration }}."
|
||||
|
||||
# ── Redis и очередь Celery (#3471) ───────────────────────────────────────────
|
||||
# Слепая зона: до этих правил ни redis_*, ни celery_* не собирались вовсе.
|
||||
# Redis — общий инстанс на три потребителя (celery-брокер Site Finder, кэш
|
||||
# trade-in, glitchtip — см. docker-compose.prod.yml), поэтому его смерть
|
||||
# клиентская, отсюда severity: critical без явного host: apps — серия
|
||||
# приходит только с продуктового alloy (alloy-apps.alloy), host в неё
|
||||
# проставляется через external_labels уже на месте.
|
||||
#
|
||||
# ⚠️ Имена метрик celery_queue_length / celery_worker_up /
|
||||
# celery_task_failed_total — по документации celery-exporter на момент
|
||||
# написания правил, без проверки на реальном брокере (см. комментарий у
|
||||
# сервиса celery-exporter в docker-compose.metrics-agent.yml). Сверить после
|
||||
# первого деплоя.
|
||||
- name: redis-celery
|
||||
interval: 60s
|
||||
rules:
|
||||
- alert: RedisDown
|
||||
expr: up{job="redis"} == 0 or redis_up == 0
|
||||
for: 5m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: "Redis недоступен"
|
||||
description: "redis_exporter не может достучаться до Redis (или сам процесс лёг). Разом теряют связь celery-брокер Site Finder, SearchCache trade-in и glitchtip."
|
||||
|
||||
# `absent()` — как у CadvisorDown: если сам celery-exporter не поднялся,
|
||||
# серии celery_worker_up не будет вообще, а не будет со значением 0.
|
||||
- alert: NoActiveCeleryWorkers
|
||||
expr: count(celery_worker_up == 1) == 0 or absent(celery_worker_up)
|
||||
for: 5m
|
||||
labels:
|
||||
severity: critical
|
||||
annotations:
|
||||
summary: "Ни одного живого воркера Celery"
|
||||
description: "celery-exporter не видит ни одного heartbeat от воркера Site Finder. Все periodic-таски (парсинг, аналитика, синк слоёв) встали."
|
||||
|
||||
# Порог 150 ПРЕДВАРИТЕЛЬНЫЙ: реальных данных по глубине очереди нет (до
|
||||
# этой правки метрика не собиралась). beat_schedule.py на момент правки
|
||||
# содержит 44 periodic-задачи с разным временем срабатывания — даже
|
||||
# маловероятный залп всех разом даёт кратно меньше 150. Порог взят с
|
||||
# запасом сознательно и требует пересмотра через неделю наблюдений по
|
||||
# факту `celery_queue_length`.
|
||||
#
|
||||
# `delta(...) >= 0` — очередь не УМЕНЬШАЕТСЯ за 15 минут (тот же приём,
|
||||
# что и "растёт и не разгребается" в тексте задачи): просто высокое
|
||||
# значение без этого условия поймало бы и здоровый кратковременный всплеск.
|
||||
- alert: CeleryQueueGrowing
|
||||
expr: |
|
||||
celery_queue_length{queue_name="celery"} > 150
|
||||
and delta(celery_queue_length{queue_name="celery"}[15m]) >= 0
|
||||
for: 15m
|
||||
labels:
|
||||
severity: warning
|
||||
annotations:
|
||||
summary: "Очередь Celery растёт и не разгребается"
|
||||
description: "В очереди {{ $value }} задач, за 15 минут меньше не стало. Похоже на залипший воркер или устойчивый рост нагрузки."
|
||||
|
||||
# ── Postgres ────────────────────────────────────────────────────────────────
|
||||
- name: postgres
|
||||
interval: 60s
|
||||
|
|
@ -324,20 +172,12 @@ groups:
|
|||
|
||||
# Раздутие. Не мгновенный сигнал, а тренд — но именно его отсутствие
|
||||
# позволило 91 день не замечать 198 апдейтов на строку.
|
||||
#
|
||||
# Та же ловушка `A and B`, что и у ContainerNearMemoryLimit, и здесь она
|
||||
# опаснее: в `$value` попадал `rate(tup_upd[6h])` — АПДЕЙТОВ В СЕКУНДУ, а
|
||||
# текст называл это долей HOT. Боевое сообщение 12.09 — «доля HOT 75.21%»
|
||||
# при пороге срабатывания «доля < 20%»: число само себе противоречило и
|
||||
# выглядело правдоподобно, поэтому никто не заметил (замер 12.09 по той же
|
||||
# таблице listings: rate(tup_upd[6h]) = 0.0411 → сообщение сказало бы
|
||||
# «4.11%», настоящая доля HOT = 0.00%). Гейт по объёму апдейтов
|
||||
# (> 0.5/с — «трафик есть, значит вопрос осмыслен») перенесён внутрь
|
||||
# знаменателя: там он и фильтрует серии, и защищает от деления на ноль.
|
||||
- alert: PostgresLowHotUpdateRatio
|
||||
expr: |
|
||||
rate(pg_table_write_amplification_tup_upd[6h]) > 0.5
|
||||
and
|
||||
rate(pg_table_write_amplification_tup_hot_upd[6h])
|
||||
/ (rate(pg_table_write_amplification_tup_upd[6h]) > 0.5) < 0.2
|
||||
/ rate(pg_table_write_amplification_tup_upd[6h]) < 0.2
|
||||
for: 6h
|
||||
labels:
|
||||
severity: warning
|
||||
|
|
@ -345,11 +185,6 @@ groups:
|
|||
summary: "Обновления идут мимо HOT"
|
||||
description: "{{ $labels.host }} / {{ $labels.table }}: доля HOT {{ $value | humanizePercentage }}. Каждый такой апдейт переписывает строку во все индексы и заново тостит длинные поля — так набегает раздутие."
|
||||
|
||||
# Третье правило того же семейства `A and B` — и единственное, где текст
|
||||
# верен: `$value` тут печатается без humanize, а слева стоит ровно то, что
|
||||
# описание и называет («N мёртвых»). Совпадение, а не заслуга формы: если
|
||||
# когда-нибудь захочется печатать здесь ДОЛЮ, отношение придётся вынести
|
||||
# влево, как в двух правилах выше.
|
||||
- alert: PostgresDeadTuplesHigh
|
||||
expr: |
|
||||
pg_table_write_amplification_dead_tup > 1000000
|
||||
|
|
|
|||
|
|
@ -1,162 +0,0 @@
|
|||
#!/usr/bin/env python3
|
||||
"""Ретранслятор Bot API продукта через инфраструктурный хост Beget (#3471).
|
||||
|
||||
ЗАЧЕМ. Замер 12.09.2026, оба хоста в одни и те же минуты: `getMe` из контейнера
|
||||
`tradein-tgbot` на Selectel — 9 успешных из 12, три `ConnectTimeout`. TCP на 443
|
||||
до адреса, резолвящегося на Selectel (149.154.167.220) — 5 из 6. Тот же TCP до
|
||||
адреса, резолвящегося на Beget (149.154.166.110) — 8 из 8. За сутки в логе бота
|
||||
508 строк `network error`, за 30 дней 92 обрыва итерации poll loop. Путь до
|
||||
Telegram с Selectel лоссовый, с Beget чистый: Alertmanager (живёт на Beget)
|
||||
пишет в тот же чат без проблем, а бот поддержки на Selectel часть отправок
|
||||
теряет. Решение — не чинить сеть Selectel (вне контроля), а дать продуктовым
|
||||
сервисам обходной путь через хост, с которого Telegram отвечает надёжно.
|
||||
|
||||
ЧТО ПРОКСИРУЕТСЯ. Метод Bot API целиком — путь `/bot<TOKEN>/<method>`, тело,
|
||||
query. Не только отправка: `getUpdates` (long-poll) страдает от потерь ровно
|
||||
так же, как `sendMessage`, и это тот же HTTP-путь через тот же испорченный
|
||||
транзит.
|
||||
|
||||
ТОКЕН НЕ ЛОГИРУЕТСЯ. Он приходит в пути запроса. `log_request` переопределён
|
||||
ПОЛНОСТЬЮ (не вызывает `super()`): дефолт stdlib кладёт в лог `requestline`
|
||||
целиком, включая токен. Здесь путь редактируется до записи в лог.
|
||||
|
||||
АУТЕНТИФИКАЦИЯ. Общий секрет в заголовке `X-Relay-Secret`, по образцу общего
|
||||
секрета `X-Internal-Auth-Secret` в этом же стеке (`app/core/config.py`,
|
||||
`tradein_internal_auth_secret`) — сравнение строкой (не сравнение таймингов:
|
||||
секрет не является паролем пользователя, ценность атаки по времени здесь
|
||||
исчезающе мала при секрете длиной от 32 байт, а stdlib `hmac` — лишняя
|
||||
зависимость ради stdlib-only сервиса). Домен публичный, без секрета — отказ,
|
||||
а не тихий приём.
|
||||
|
||||
БЕЗ ЗАВИСИМОСТЕЙ. Только стандартная библиотека — тот же принцип, что у
|
||||
`ops/metrics/alert-ack/app.py`: сервис обязан подниматься, даже когда всё
|
||||
остальное сломано, и не тащить установку пакетов.
|
||||
|
||||
ОТКАЗ РЕТРАНСЛЯТОРА НЕ ДОЛЖЕН РОНЯТЬ БОТА. Это реализовано НЕ здесь, а на
|
||||
стороне клиента (`tradein-mvp/backend/app/services/tgbot/client.py`): при
|
||||
транспортном отказе похода на ретранслятор клиент делает одну попытку
|
||||
напрямую к `api.telegram.org`. Здесь достаточно не быть точкой отказа хуже
|
||||
прямого пути: таймаут до апстрима подобран так, чтобы не обрубать long-poll
|
||||
`getUpdates` раньше, чем это сделал бы сам Telegram.
|
||||
|
||||
Переменные окружения:
|
||||
TG_RELAY_SECRET обязательна — общий секрет, сверяется с
|
||||
заголовком X-Relay-Secret
|
||||
TG_RELAY_PORT порт (по умолчанию 8080)
|
||||
TG_RELAY_UPSTREAM_TIMEOUT_S таймаут запроса к api.telegram.org в секундах
|
||||
(по умолчанию 75 — с запасом над самым долгим
|
||||
long-poll getUpdates, который шлёт клиент:
|
||||
timeout=30 + 10с запаса на стороне httpx = 40с)
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import os
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
|
||||
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s")
|
||||
log = logging.getLogger("tg-relay")
|
||||
|
||||
RELAY_SECRET = os.environ.get("TG_RELAY_SECRET", "")
|
||||
UPSTREAM = "https://api.telegram.org"
|
||||
UPSTREAM_TIMEOUT_S = float(os.environ.get("TG_RELAY_UPSTREAM_TIMEOUT_S", "75"))
|
||||
SECRET_HEADER = "X-Relay-Secret"
|
||||
|
||||
|
||||
def redact_path(path: str) -> str:
|
||||
"""Прячет токен из `/bot<TOKEN>/method[?query]` для логов и ошибок.
|
||||
|
||||
Вынесена в модульную функцию (не метод), чтобы быть проверяемой напрямую
|
||||
без поднятия HTTP-сервера.
|
||||
"""
|
||||
if not path.startswith("/bot"):
|
||||
return path
|
||||
rest = path[len("/bot") :]
|
||||
_token_part, sep, tail = rest.partition("/")
|
||||
if not sep:
|
||||
# Ни `/method`, ни query — токен без хвоста (или токен+query без slash).
|
||||
return "/bot<REDACTED>"
|
||||
tail = tail.split("?", 1)[0]
|
||||
return f"/bot<REDACTED>/{tail}" if tail else "/bot<REDACTED>"
|
||||
|
||||
|
||||
class Handler(BaseHTTPRequestHandler):
|
||||
protocol_version = "HTTP/1.1"
|
||||
|
||||
def log_message(self, fmt: str, *args) -> None: # noqa: A003 — сигнатура из stdlib
|
||||
log.info("%s", fmt % args)
|
||||
|
||||
def log_request(self, code="-", size="-") -> None: # noqa: A003 — сигнатура из stdlib
|
||||
# ПОЛНОСТЬЮ заменяет реализацию BaseHTTPRequestHandler (не вызывает
|
||||
# super()): та кладёт в лог self.requestline целиком, а он для Bot API
|
||||
# содержит токен в пути.
|
||||
log.info('%s "%s %s" %s', self.address_string(), self.command, redact_path(self.path), code)
|
||||
|
||||
def _reply(self, code: int, body: bytes, ctype: str = "application/json") -> None:
|
||||
self.send_response(code)
|
||||
self.send_header("Content-Type", ctype)
|
||||
self.send_header("Content-Length", str(len(body)))
|
||||
self.end_headers()
|
||||
if body:
|
||||
self.wfile.write(body)
|
||||
|
||||
def _authorized(self) -> bool:
|
||||
return bool(RELAY_SECRET) and self.headers.get(SECRET_HEADER) == RELAY_SECRET
|
||||
|
||||
def _proxy(self) -> None:
|
||||
if self.path == "/healthz":
|
||||
self._reply(200, b"ok", "text/plain; charset=utf-8")
|
||||
return
|
||||
if not self._authorized():
|
||||
self._reply(401, b'{"ok":false,"description":"unauthorized"}')
|
||||
return
|
||||
if not self.path.startswith("/bot"):
|
||||
self._reply(404, b'{"ok":false,"description":"not found"}')
|
||||
return
|
||||
|
||||
length = int(self.headers.get("Content-Length") or 0)
|
||||
body = self.rfile.read(length) if length else None
|
||||
req = urllib.request.Request(
|
||||
UPSTREAM + self.path,
|
||||
data=body,
|
||||
method=self.command,
|
||||
headers={"Content-Type": self.headers.get("Content-Type") or "application/json"},
|
||||
)
|
||||
try:
|
||||
# Таймаут ЯВНО шире любого long-poll getUpdates клиента — иначе
|
||||
# ретранслятор обрубит соединение раньше площадки и превратит
|
||||
# штатный long-poll в вечный network error, то есть станет хуже
|
||||
# прямого пути, а не лучше.
|
||||
with urllib.request.urlopen(req, timeout=UPSTREAM_TIMEOUT_S) as resp:
|
||||
out = resp.read()
|
||||
self._reply(resp.status, out, resp.headers.get("Content-Type") or "application/json")
|
||||
except urllib.error.HTTPError as exc:
|
||||
# Telegram ответил ошибкой (4xx/5xx) — это НЕ отказ ретранслятора,
|
||||
# передаём как есть, клиент сам решает, ретраить или нет.
|
||||
out = exc.read()
|
||||
ctype = exc.headers.get("Content-Type") if exc.headers else None
|
||||
self._reply(exc.code, out, ctype or "application/json")
|
||||
except Exception as exc: # noqa: BLE001 — любой отказ апстрима не должен уронить сервис
|
||||
log.warning("upstream недоступен (%s): %s", redact_path(self.path), type(exc).__name__)
|
||||
self._reply(502, b'{"ok":false,"description":"relay upstream unreachable"}')
|
||||
|
||||
def do_GET(self) -> None: # noqa: N802 — имя из stdlib
|
||||
self._proxy()
|
||||
|
||||
def do_POST(self) -> None: # noqa: N802 — имя из stdlib
|
||||
self._proxy()
|
||||
|
||||
|
||||
def main() -> None:
|
||||
if not RELAY_SECRET:
|
||||
raise SystemExit("не задан TG_RELAY_SECRET — домен публичный, отказ на старте")
|
||||
port = int(os.environ.get("TG_RELAY_PORT", "8080"))
|
||||
log.info("tg-relay слушает :%d, upstream_timeout=%.0fs", port, UPSTREAM_TIMEOUT_S)
|
||||
ThreadingHTTPServer(("", port), Handler).serve_forever()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
|
|
@ -1,144 +0,0 @@
|
|||
"""Тесты для tg-relay — ретранслятора Bot API продукта через Beget (#3471).
|
||||
|
||||
Гоняют реальный `ThreadingHTTPServer` на localhost (эфемерный порт), апстрим
|
||||
`urllib.request.urlopen` подменяется моком — реальный api.telegram.org НЕ
|
||||
дёргаем никогда.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import http.client
|
||||
import json
|
||||
import logging
|
||||
import threading
|
||||
from unittest import mock
|
||||
|
||||
import pytest
|
||||
|
||||
import app as relay
|
||||
|
||||
|
||||
def _fake_upstream_response(status: int = 200, body: bytes = b'{"ok": true, "result": []}'):
|
||||
resp = mock.MagicMock()
|
||||
resp.status = status
|
||||
resp.read.return_value = body
|
||||
resp.headers.get.return_value = "application/json"
|
||||
resp.__enter__.return_value = resp
|
||||
resp.__exit__.return_value = False
|
||||
return resp
|
||||
|
||||
|
||||
@pytest.fixture()
|
||||
def secret(monkeypatch):
|
||||
monkeypatch.setattr(relay, "RELAY_SECRET", "test-secret-value")
|
||||
return "test-secret-value"
|
||||
|
||||
|
||||
@pytest.fixture()
|
||||
def server(secret):
|
||||
httpd = relay.ThreadingHTTPServer(("127.0.0.1", 0), relay.Handler)
|
||||
thread = threading.Thread(target=httpd.serve_forever, daemon=True)
|
||||
thread.start()
|
||||
try:
|
||||
yield httpd
|
||||
finally:
|
||||
httpd.shutdown()
|
||||
thread.join(timeout=5)
|
||||
|
||||
|
||||
def _request(server, path, headers=None, method="GET", body=None):
|
||||
conn = http.client.HTTPConnection(*server.server_address, timeout=5)
|
||||
try:
|
||||
conn.request(method, path, body=body, headers=headers or {})
|
||||
resp = conn.getresponse()
|
||||
return resp.status, resp.read()
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
|
||||
def test_redact_path_hides_token_from_method_path():
|
||||
assert relay.redact_path("/bot123456:ABC-DEF/sendMessage") == "/bot<REDACTED>/sendMessage"
|
||||
|
||||
|
||||
def test_redact_path_hides_bare_token():
|
||||
assert relay.redact_path("/bot123456:ABC-DEF/") == "/bot<REDACTED>"
|
||||
assert relay.redact_path("/bot123456:ABC-DEF") == "/bot<REDACTED>"
|
||||
|
||||
|
||||
def test_redact_path_leaves_non_bot_paths_untouched():
|
||||
assert relay.redact_path("/healthz") == "/healthz"
|
||||
|
||||
|
||||
def test_missing_secret_rejected_without_touching_upstream(server):
|
||||
with mock.patch.object(relay.urllib.request, "urlopen") as mocked:
|
||||
status, _body = _request(server, "/bot123:TOK/getMe")
|
||||
assert status == 401
|
||||
mocked.assert_not_called()
|
||||
|
||||
|
||||
def test_wrong_secret_rejected_without_touching_upstream(server):
|
||||
with mock.patch.object(relay.urllib.request, "urlopen") as mocked:
|
||||
status, _body = _request(server, "/bot123:TOK/getMe", headers={"X-Relay-Secret": "wrong"})
|
||||
assert status == 401
|
||||
mocked.assert_not_called()
|
||||
|
||||
|
||||
def test_valid_secret_passes_method_path_and_body_unmodified(server, secret):
|
||||
with mock.patch.object(
|
||||
relay.urllib.request, "urlopen", return_value=_fake_upstream_response()
|
||||
) as mocked:
|
||||
status, body = _request(
|
||||
server,
|
||||
"/bot123:TOK/sendMessage",
|
||||
headers={"X-Relay-Secret": secret, "Content-Type": "application/json"},
|
||||
method="POST",
|
||||
body=b'{"chat_id": 1, "text": "hi"}',
|
||||
)
|
||||
|
||||
assert status == 200
|
||||
assert json.loads(body) == {"ok": True, "result": []}
|
||||
|
||||
sent_request = mocked.call_args[0][0]
|
||||
assert sent_request.full_url == "https://api.telegram.org/bot123:TOK/sendMessage"
|
||||
assert sent_request.data == b'{"chat_id": 1, "text": "hi"}'
|
||||
assert sent_request.get_method() == "POST"
|
||||
|
||||
|
||||
def test_get_updates_uses_upstream_timeout_wider_than_longest_client_poll(server, secret):
|
||||
"""Клиент шлёт getUpdates(timeout=30) → httpx ждёт ответ 40с (30 + запас
|
||||
10с). Апстрим-таймаут ретранслятора обязан быть шире, иначе он обрубит
|
||||
long-poll раньше площадки и превратит штатный цикл в вечный network error."""
|
||||
with mock.patch.object(
|
||||
relay.urllib.request, "urlopen", return_value=_fake_upstream_response()
|
||||
) as mocked:
|
||||
_request(
|
||||
server,
|
||||
"/bot123:TOK/getUpdates",
|
||||
headers={"X-Relay-Secret": secret},
|
||||
method="POST",
|
||||
body=b'{"offset": 1, "timeout": 30}',
|
||||
)
|
||||
|
||||
_req, kwargs = mocked.call_args
|
||||
assert kwargs["timeout"] >= 40
|
||||
|
||||
|
||||
def test_token_never_appears_in_logs(server, secret, caplog):
|
||||
token = "999888777:VerySecretTokenValue"
|
||||
with caplog.at_level(logging.INFO, logger="tg-relay"):
|
||||
with mock.patch.object(
|
||||
relay.urllib.request, "urlopen", return_value=_fake_upstream_response()
|
||||
):
|
||||
_request(server, f"/bot{token}/getMe", headers={"X-Relay-Secret": secret})
|
||||
|
||||
for record in caplog.records:
|
||||
assert token not in record.getMessage()
|
||||
|
||||
|
||||
def test_unauthorized_attempt_does_not_leak_token_either(server, caplog):
|
||||
token = "999888777:VerySecretTokenValue"
|
||||
with caplog.at_level(logging.INFO, logger="tg-relay"):
|
||||
_request(server, f"/bot{token}/getMe")
|
||||
|
||||
for record in caplog.records:
|
||||
assert token not in record.getMessage()
|
||||
|
|
@ -1,162 +0,0 @@
|
|||
#!/usr/bin/env python3
|
||||
"""Гейт: сервисы МЕРЫ не ссылаются друг на друга именем, которое двоится (#3282).
|
||||
|
||||
ПОЧЕМУ. ПТИЦА и МЕРА — разные compose-проекты, но оба назвали свои сервисы
|
||||
`backend`, `postgres`, `frontend`, и оба подключены к общей сети
|
||||
`gendesign_shared`. Docker отдаёт ОБА адреса на такое имя, клиент берёт любой:
|
||||
|
||||
изнутри tradein-frontend:
|
||||
backend → 172.18.0.6 (МЕРА) + 172.18.0.9 (ПТИЦА)
|
||||
tradein-backend → 172.18.0.6
|
||||
|
||||
30.08.2026 это уронило публичный лендинг. `BACKEND_URL=http://backend:8000`
|
||||
уводил серверный рендер в бэкенд ПТИЦЫ, тот отвечал `401 no authenticated
|
||||
user`, и страница рендерилась БЕЗ витрины: без ленты сделок, без строк сверки
|
||||
«прогноз против факта» и без подписи разброса. Страница про точность — без
|
||||
единого доказательства.
|
||||
|
||||
Отказ был ТИХИЙ вдвойне. Во-первых, `fetch` не бросает: приходит валидный HTTP-
|
||||
ответ, просто чужой. Во-вторых, имя двоится, поэтому часть перегенераций
|
||||
попадала в правильный адрес — утром страница отдавалась с данными, к обеду без
|
||||
них, и выглядело это как случайная поломка, а не как ошибка конфигурации.
|
||||
|
||||
У DSN та же болезнь и худшая цена: `@postgres:5432/tradein` мог уйти в базу
|
||||
ПТИЦЫ. Там спасало лишь несовпадение кредов — то есть отказ вместо тихого
|
||||
чтения не тех данных. На такую защиту полагаться нельзя: она держится на том,
|
||||
что у чужой базы нет пользователя с нашим паролем.
|
||||
|
||||
ЧТО ДЕЛАЕТ. Берёт имена сервисов ОБОИХ compose, находит пересечение (это и есть
|
||||
двоящиеся имена) и проверяет, что в compose МЕРЫ нет ссылок на них как на хост
|
||||
— ни `http://<имя>:порт`, ни `@<имя>:порт` в DSN. Лечение всегда одно:
|
||||
подставить `container_name` (`tradein-backend`, `tradein-postgres`), он
|
||||
однозначен по построению.
|
||||
|
||||
ЧЕГО НЕ ЛОВИТ. Ссылки, собираемые в рантайме из кусков, и имена, попадающие в
|
||||
контейнер иным путём (`.env` на хосте, секреты CI). Гейт читает только оба
|
||||
compose-файла.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import re
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
REPO = Path(__file__).resolve().parent.parent
|
||||
MERA_COMPOSE = REPO / "tradein-mvp" / "docker-compose.prod.yml"
|
||||
PTICA_COMPOSE = REPO / "docker-compose.prod.yml"
|
||||
|
||||
# Имя сервиса верхнего уровня: ровно два пробела, затем имя и двоеточие.
|
||||
_SERVICE_RE = re.compile(r"^ ([a-z][a-z0-9_-]*):\s*$", re.M)
|
||||
# Ссылка на хост: `//имя:порт` (URL) либо `@имя:порт` (DSN).
|
||||
_HOST_RE = re.compile(r"(?://|@)([a-z][a-z0-9_-]*):\d+")
|
||||
|
||||
|
||||
def service_names(text: str) -> set[str]:
|
||||
"""Имена сервисов верхнего уровня. Тома и сети сюда не попадают: они
|
||||
объявляются в своих секциях с тем же отступом, поэтому список заведомо шире
|
||||
нужного — и это безопасная сторона, лишнее имя даст лишнюю проверку, а не
|
||||
пропуск."""
|
||||
return set(_SERVICE_RE.findall(text))
|
||||
|
||||
|
||||
def violations(mera: str, ptica: str) -> list[str]:
|
||||
ambiguous = service_names(mera) & service_names(ptica)
|
||||
if not ambiguous:
|
||||
return []
|
||||
found: list[str] = []
|
||||
for num, line in enumerate(mera.splitlines(), 1):
|
||||
stripped = line.strip()
|
||||
if stripped.startswith("#"):
|
||||
continue
|
||||
for host in _HOST_RE.findall(line):
|
||||
if host in ambiguous:
|
||||
found.append(f"{MERA_COMPOSE.name}:{num}: хост «{host}» двоится → {stripped[:90]}")
|
||||
return found
|
||||
|
||||
|
||||
def selftest() -> int:
|
||||
"""Гейт обязан уметь краснеть — иначе зелёный ничего не значит."""
|
||||
ptica = "services:\n backend:\n image: x\n postgres:\n image: y\n"
|
||||
|
||||
# У фикстуры МЕРЫ обязан быть сервис с ИМЕНЕМ ИЗ ПТИЦЫ — иначе пересечение
|
||||
# пусто, проверять нечего, и «не поймал» означало бы «нечего было ловить».
|
||||
# На этом селфтест и провалился в первой редакции.
|
||||
bad = (
|
||||
"services:\n backend:\n image: x\n"
|
||||
" frontend:\n environment:\n URL: \"http://backend:8000\"\n"
|
||||
)
|
||||
if not violations(bad, ptica):
|
||||
print("СЕЛФТЕСТ ПРОВАЛЕН: двоящийся хост в URL не пойман", file=sys.stderr)
|
||||
return 1
|
||||
|
||||
bad_dsn = (
|
||||
"services:\n postgres:\n image: y\n"
|
||||
" backend:\n environment:\n DSN: \"pg://u:p@postgres:5432/db\"\n"
|
||||
)
|
||||
if not violations(bad_dsn, ptica):
|
||||
print("СЕЛФТЕСТ ПРОВАЛЕН: двоящийся хост в DSN не пойман", file=sys.stderr)
|
||||
return 1
|
||||
|
||||
ok = (
|
||||
"services:\n backend:\n image: x\n"
|
||||
" frontend:\n environment:\n URL: \"http://tradein-backend:8000\"\n"
|
||||
)
|
||||
if violations(ok, ptica):
|
||||
print("СЕЛФТЕСТ ПРОВАЛЕН: однозначное имя признано нарушением", file=sys.stderr)
|
||||
return 1
|
||||
|
||||
# Закомментированная строка — не конфигурация.
|
||||
commented = (
|
||||
"services:\n backend:\n image: x\n"
|
||||
" frontend:\n environment:\n # URL: \"http://backend:8000\"\n"
|
||||
)
|
||||
if violations(commented, ptica):
|
||||
print("СЕЛФТЕСТ ПРОВАЛЕН: комментарий принят за ссылку", file=sys.stderr)
|
||||
return 1
|
||||
|
||||
print("селфтест пройден: гейт краснеет на URL и на DSN, молчит на однозначном имени")
|
||||
return 0
|
||||
|
||||
|
||||
def main() -> int:
|
||||
ap = argparse.ArgumentParser(description=__doc__)
|
||||
ap.add_argument("--selftest", action="store_true", help="проверить, что гейт умеет краснеть")
|
||||
args = ap.parse_args()
|
||||
|
||||
if args.selftest:
|
||||
return selftest()
|
||||
|
||||
for path in (MERA_COMPOSE, PTICA_COMPOSE):
|
||||
if not path.exists():
|
||||
print(f"НЕ НАЙДЕН: {path}", file=sys.stderr)
|
||||
return 1
|
||||
|
||||
mera = MERA_COMPOSE.read_text(encoding="utf-8")
|
||||
ptica = PTICA_COMPOSE.read_text(encoding="utf-8")
|
||||
|
||||
shared = service_names(mera) & service_names(ptica)
|
||||
if not shared:
|
||||
print("пересекающихся имён сервисов нет — проверять нечего")
|
||||
return 0
|
||||
|
||||
found = violations(mera, ptica)
|
||||
if not found:
|
||||
print(f"ok: двоятся имена {sorted(shared)}, но ссылок на них как на хост нет")
|
||||
return 0
|
||||
|
||||
print("Ссылка на ДВОЯЩЕЕСЯ имя сервиса:\n", file=sys.stderr)
|
||||
for line in found:
|
||||
print(f" {line}", file=sys.stderr)
|
||||
print(
|
||||
"\nОба продукта делят сеть gendesign_shared, поэтому такое имя резолвится\n"
|
||||
"в два адреса и клиент берёт любой. Подставьте container_name\n"
|
||||
"(tradein-backend, tradein-postgres) — он однозначен.",
|
||||
file=sys.stderr,
|
||||
)
|
||||
return 1
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
|
|
@ -1,187 +0,0 @@
|
|||
#!/usr/bin/env python3
|
||||
"""Гейт: подмена tradein-frontend не возвращает окно недоступности (#3274).
|
||||
|
||||
ПОЧЕМУ. Публичный лендинг meraocenka.ru лежал 30–90 с на КАЖДОМ деплое МЕРЫ.
|
||||
Причина — НЕ медленная подмена контейнера (она стоит полсекунды), а то, что
|
||||
`docker compose up -d` со СПИСКОМ сервисов работает в две фазы: сначала create
|
||||
(старый контейнер каждого сервиса останавливается и удаляется — иначе занято
|
||||
`container_name`), потом start, в порядке зависимостей и с ожиданием их
|
||||
условий. Всё, что между фазами, фронт лежит.
|
||||
|
||||
Замер на проде 10.09 (docker inspect .Created/.StartedAt, два деплоя подряд):
|
||||
|
||||
пачка сервисов: tradein-backend создан 15:01:40 → запущен 15:02:10 (30 с)
|
||||
один сервис: tradein-frontend создан 16:42:17.5 → запущен 16:42:18.0 (0,5 с)
|
||||
|
||||
В логе Caddy у первого деплоя три 503 на лендинге (15:01:46, 15:01:52,
|
||||
15:02:06), у второго — ни одного.
|
||||
|
||||
ЧТО ДЕРЖИТ РЕШЕНИЕ, И ПОЧЕМУ ЭТО ГЕЙТ, А НЕ КОММЕНТАРИЙ. Половинки лежат в
|
||||
разных файлах и обе невидимо обратимы:
|
||||
|
||||
1) deploy-tradein.yml — `frontend` ВЫНЕСЕН из общего `up -d $SERVICES` в
|
||||
свою команду. Достаточно дописать его обратно в SERVICES «за компанию»,
|
||||
и окно вернётся целиком, молча: деплой останется зелёным.
|
||||
2) caddy/sites/apps.caddy — каждый `reverse_proxy tradein-frontend:3000`
|
||||
импортирует (tradein_frontend_retry) (lb_try_duration), который добирает
|
||||
оставшиеся ~0,5 с. Новый публичный путь копируют с соседнего блока — и
|
||||
если копируют блок БЕЗ импорта, именно этот путь снова отдаёт 502.
|
||||
|
||||
Оба отказа не видны ни по статусу джобы, ни по глазам: их видно только
|
||||
непрерывной пробой во время деплоя (scripts/probe-deploy-window.sh).
|
||||
|
||||
ЧЕГО НЕ ЛОВИТ. Это разбор текста, а не исполнение: гейт не проверяет, что
|
||||
команда реально отработала и что Caddy реально ретраит (это проверяется
|
||||
пробой на живом деплое). Не смотрит на сервисы, кроме frontend, — бэкенду
|
||||
ретрай намеренно не дан (его старт длиннее, чем разумное ожидание клиента).
|
||||
|
||||
Запуск: python3 scripts/check-frontend-swap-window.py [--selftest]
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import re
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
REPO = Path(__file__).resolve().parent.parent
|
||||
WORKFLOW = REPO / ".forgejo" / "workflows" / "deploy-tradein.yml"
|
||||
APPS_CADDY = REPO / "caddy" / "sites" / "apps.caddy"
|
||||
|
||||
SNIPPET_NAME = "tradein_frontend_retry"
|
||||
FRONTEND_UPSTREAM = "reverse_proxy tradein-frontend:3000 {"
|
||||
|
||||
# `SERVICES="browser backend tgbot"` / `SERVICES="$SERVICES scraper"`.
|
||||
_SERVICES_RE = re.compile(r'^\s*SERVICES=(["\']?)(.*?)\1\s*$', re.M)
|
||||
# Одиночная команда подмены фронта.
|
||||
_FRONTEND_UP_RE = re.compile(r"up -d --no-deps frontend\s*$", re.M)
|
||||
|
||||
|
||||
def strip_comments(text: str) -> str:
|
||||
"""Убирает строки-комментарии (shell/YAML/Caddy — везде `#`).
|
||||
|
||||
Обязательно: разбор дефекта живёт в комментарии рядом с правкой и содержит
|
||||
его же формулировку. Без этого гейт спорил бы с собственным объяснением.
|
||||
"""
|
||||
return "\n".join(ln for ln in text.splitlines() if not ln.lstrip().startswith("#"))
|
||||
|
||||
|
||||
def check_workflow(text: str) -> list[str]:
|
||||
body = strip_comments(text)
|
||||
errors: list[str] = []
|
||||
|
||||
for m in _SERVICES_RE.finditer(body):
|
||||
value = m.group(2)
|
||||
if re.search(r"(^|\s)frontend(\s|$)", value):
|
||||
errors.append(
|
||||
f'SERVICES={value!r} снова содержит `frontend`: он вернётся в общий '
|
||||
f"`up -d` со списком сервисов, а это и есть окно 30–90 с (#3274). "
|
||||
f"Фронт подменяется отдельной командой `up -d --no-deps frontend`."
|
||||
)
|
||||
|
||||
if not _FRONTEND_UP_RE.search(body):
|
||||
errors.append(
|
||||
"в deploy-tradein.yml нет отдельной команды `up -d --no-deps frontend` — "
|
||||
"подмена фронта либо пропала, либо снова уехала в общую пачку (#3274)."
|
||||
)
|
||||
return errors
|
||||
|
||||
|
||||
def check_caddy(text: str) -> list[str]:
|
||||
errors: list[str] = []
|
||||
lines = text.splitlines()
|
||||
body = strip_comments(text)
|
||||
|
||||
if f"({SNIPPET_NAME}) {{" not in body:
|
||||
errors.append(
|
||||
f"снипет ({SNIPPET_NAME}) не объявлен в apps.caddy — импортировать нечего."
|
||||
)
|
||||
elif "lb_try_duration" not in body:
|
||||
errors.append(
|
||||
f"снипет ({SNIPPET_NAME}) есть, но без `lb_try_duration` — он больше "
|
||||
"ничего не добирает, оставшиеся ~0,5 с подмены снова видны как 502."
|
||||
)
|
||||
|
||||
# Блок апстрима фронта: от строки `reverse_proxy tradein-frontend:3000 {`
|
||||
# до закрывающей скобки на её же отступе. Импорт должен быть внутри.
|
||||
for i, line in enumerate(lines):
|
||||
if line.strip().startswith("#") or FRONTEND_UPSTREAM not in line:
|
||||
continue
|
||||
indent = len(line) - len(line.lstrip())
|
||||
block: list[str] = []
|
||||
for nxt in lines[i + 1 :]:
|
||||
if nxt.strip() == "}" and (len(nxt) - len(nxt.lstrip())) == indent:
|
||||
break
|
||||
block.append(nxt)
|
||||
if not any(f"import {SNIPPET_NAME}" in b for b in block if not b.strip().startswith("#")):
|
||||
errors.append(
|
||||
f"apps.caddy:{i + 1} — `reverse_proxy tradein-frontend:3000` без "
|
||||
f"`import {SNIPPET_NAME}`: на этом пути подмена контейнера снова "
|
||||
f"видна посетителю как 502 (#3274)."
|
||||
)
|
||||
return errors
|
||||
|
||||
|
||||
def selftest() -> None:
|
||||
good_wf = 'SERVICES="browser backend tgbot"\n docker compose up -d --no-deps frontend\n'
|
||||
assert check_workflow(good_wf) == [], check_workflow(good_wf)
|
||||
|
||||
bad_wf = 'SERVICES="browser backend frontend tgbot"\n docker compose up -d --no-deps frontend\n'
|
||||
assert any("SERVICES" in e for e in check_workflow(bad_wf)), "не поймал frontend в SERVICES"
|
||||
|
||||
missing_wf = 'SERVICES="browser backend tgbot"\n docker compose up -d --no-deps $SERVICES\n'
|
||||
assert any("отдельной команды" in e for e in check_workflow(missing_wf)), (
|
||||
"не поймал пропажу отдельной команды"
|
||||
)
|
||||
|
||||
# Комментарий с той же формулировкой не должен ронять гейт.
|
||||
commented = '# SERVICES="browser backend frontend tgbot" # так было до #3274\n' + good_wf
|
||||
assert check_workflow(commented) == [], "гейт спорит с собственным комментарием"
|
||||
|
||||
good_caddy = (
|
||||
"(tradein_frontend_retry) {\n lb_try_duration 2s\n}\n"
|
||||
"handle {\n reverse_proxy tradein-frontend:3000 {\n"
|
||||
" import tradein_frontend_retry\n header_up -X-Y\n }\n}\n"
|
||||
)
|
||||
assert check_caddy(good_caddy) == [], check_caddy(good_caddy)
|
||||
|
||||
bad_caddy = (
|
||||
"(tradein_frontend_retry) {\n lb_try_duration 2s\n}\n"
|
||||
"handle {\n reverse_proxy tradein-frontend:3000 {\n"
|
||||
" header_up -X-Y\n }\n}\n"
|
||||
)
|
||||
assert any("без `import" in e for e in check_caddy(bad_caddy)), "не поймал блок без импорта"
|
||||
|
||||
no_snippet = (
|
||||
"handle {\n reverse_proxy tradein-frontend:3000 {\n"
|
||||
" import tradein_frontend_retry\n }\n}\n"
|
||||
)
|
||||
assert any("не объявлен" in e for e in check_caddy(no_snippet)), "не поймал пропажу снипета"
|
||||
|
||||
print("SELFTEST OK")
|
||||
|
||||
|
||||
def main() -> int:
|
||||
if "--selftest" in sys.argv:
|
||||
selftest()
|
||||
return 0
|
||||
|
||||
errors = check_workflow(WORKFLOW.read_text(encoding="utf-8"))
|
||||
errors += check_caddy(APPS_CADDY.read_text(encoding="utf-8"))
|
||||
|
||||
if errors:
|
||||
print("Гейт #3274 (окно подмены фронта) НЕ ПРОЙДЕН:\n")
|
||||
for e in errors:
|
||||
print(f" ✗ {e}")
|
||||
print(
|
||||
"\nЧем проверять эффект на живом деплое: scripts/probe-deploy-window.sh "
|
||||
"(запускать НА хосте прода, см. шапку скрипта)."
|
||||
)
|
||||
return 1
|
||||
|
||||
print("Гейт #3274: фронт подменяется отдельной командой, все 9 апстримов с ретраем — OK")
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
|
|
@ -1,99 +0,0 @@
|
|||
#!/bin/sh
|
||||
# Проба окна недоступности при деплое (#3274).
|
||||
#
|
||||
# ЗАЧЕМ. Статус джобы деплоя зелёный независимо от того, видел ли посетитель
|
||||
# ошибку: подмена контейнера происходит ВНУТРИ успешного прогона. Единственный
|
||||
# честный замер — непрерывный опрос публичного адреса во время деплоя и подсчёт
|
||||
# САМОЙ ДЛИННОЙ СЕРИИ подряд идущих не-200. Приёмка #3274 сформулирована именно
|
||||
# так (комментарий от 05.09): «серия не-2xx/000 на / в окне мержа < 2 с».
|
||||
#
|
||||
# ГДЕ ЗАПУСКАТЬ — НА САМОМ ХОСТЕ (ssh poincare), не с ноутбука. Боевой периметр
|
||||
# отбивает частые серии с одного внешнего адреса: замер 11.09 дал 30–50 %
|
||||
# `000` с внешнего IP при интервале 0 и ноль при 2 с, а с самого хоста — 0/10
|
||||
# без пауз. Иначе защита периметра читается как простой сервиса.
|
||||
#
|
||||
# ПОЧЕМУ 000 СЧИТАЕТСЯ ОТДЕЛЬНО. curl отдаёт `000`, когда HTTP-ответа не было
|
||||
# вообще (TCP/TLS не встал, таймаут). Это может быть и простой (Caddy
|
||||
# пересоздан), и отбой периметра — сваливать его в одну кучу с 502/503 нельзя,
|
||||
# иначе своя же защита попадёт в числа простоя.
|
||||
#
|
||||
# Запуск:
|
||||
# scripts/probe-deploy-window.sh [URL] [ИНТЕРВАЛ_С] [ДЛИТЕЛЬНОСТЬ_С] [ФАЙЛ]
|
||||
# scripts/probe-deploy-window.sh --summary <ФАЙЛ> # пересчитать сводку
|
||||
# scripts/probe-deploy-window.sh --selftest # проверка счётчика серий
|
||||
#
|
||||
# Пример (окно деплоя, 10 минут с шагом 200 мс):
|
||||
# ssh poincare 'nohup /opt/gendesign/scripts/probe-deploy-window.sh \
|
||||
# https://meraocenka.ru/ 0.2 600 /tmp/probe-mera.tsv >/dev/null 2>&1 &'
|
||||
set -eu
|
||||
|
||||
# Сводка по TSV (epoch<TAB>ISO-время<TAB>код<TAB>секунды): сколько чего, и главное — самая
|
||||
# длинная серия подряд идущих не-200 в СЕКУНДАХ (по меткам времени самих
|
||||
# образцов, а не «число образцов × интервал»: curl с таймаутом растягивает шаг,
|
||||
# и умножение занизило бы реальную длину окна).
|
||||
summarize() {
|
||||
awk -F'\t' '
|
||||
# Серия закрывается первым 200. Длина в секундах считается ТОЛЬКО в END:
|
||||
# средний шаг известен лишь после прохода, а внутри цикла он ещё 0 — из-за
|
||||
# этого первая версия занижала окно ровно на один шаг (поймал --selftest).
|
||||
{ total++; code[$3]++
|
||||
if ($3 == "200") {
|
||||
if (streak > max_n) { max_n = streak; max_first = first_bad_ts; max_last = last_bad_ts; max_at = first_bad_at }
|
||||
streak = 0
|
||||
} else {
|
||||
if (!streak) { first_bad_ts = $1; first_bad_at = $2 }
|
||||
streak++; last_bad_ts = $1
|
||||
}
|
||||
if (prev_ts && $1 - prev_ts < 60) { gaps += $1 - prev_ts; gapn++ }
|
||||
prev_ts = $1
|
||||
}
|
||||
END {
|
||||
step = (gapn ? gaps / gapn : 0)
|
||||
if (streak > max_n) { max_n = streak; max_first = first_bad_ts; max_last = last_bad_ts; max_at = first_bad_at }
|
||||
printf "образцов: %d, шаг ~%.2f с\n", total, step
|
||||
for (c in code) printf " %s: %d\n", c, code[c]
|
||||
printf "максимальная серия не-200: %d образцов ≈ %.1f с (начало %s)\n", \
|
||||
max_n, (max_n ? max_last - max_first + step : 0), (max_at ? max_at : "-")
|
||||
}
|
||||
' "$1"
|
||||
}
|
||||
|
||||
if [ "${1:-}" = "--summary" ]; then
|
||||
summarize "$2"
|
||||
exit 0
|
||||
fi
|
||||
|
||||
if [ "${1:-}" = "--selftest" ]; then
|
||||
tmp=$(mktemp)
|
||||
# 10 образцов с шагом 1 с: три подряд не-200 (2-я…4-я секунды) → серия ≈ 3 с.
|
||||
printf '1000\tT0\t200\t0.01\n1001\tT1\t502\t0.01\n1002\tT2\t000\t5.00\n1003\tT3\t503\t0.01\n1004\tT4\t200\t0.01\n1005\tT5\t200\t0.01\n1006\tT6\t502\t0.01\n1007\tT7\t200\t0.01\n' >"$tmp"
|
||||
out=$(summarize "$tmp")
|
||||
rm -f "$tmp"
|
||||
echo "$out"
|
||||
echo "$out" | grep -q "максимальная серия не-200: 3 образцов ≈ 3.0 с" || {
|
||||
echo "SELFTEST FAILED: серия посчитана неверно" >&2
|
||||
exit 1
|
||||
}
|
||||
echo "$out" | grep -q " 000: 1" || { echo "SELFTEST FAILED: 000 не выделен отдельно" >&2; exit 1; }
|
||||
echo "SELFTEST OK"
|
||||
exit 0
|
||||
fi
|
||||
|
||||
URL=${1:-https://meraocenka.ru/}
|
||||
INTERVAL=${2:-1}
|
||||
DURATION=${3:-900}
|
||||
OUT=${4:-/tmp/probe-deploy-window.tsv}
|
||||
|
||||
: >"$OUT"
|
||||
echo "проба: $URL каждые ${INTERVAL}с в течение ${DURATION}с → $OUT"
|
||||
end=$(( $(date +%s) + DURATION ))
|
||||
while [ "$(date +%s)" -lt "$end" ]; do
|
||||
# --max-time 5: зависший запрос не должен растягивать шаг пробы на минуты.
|
||||
# -o /dev/null: тело не нужно, важны код и время.
|
||||
line=$(curl -sS -o /dev/null --max-time 5 -w '%{http_code}\t%{time_total}' "$URL" 2>/dev/null || echo "000 0")
|
||||
printf '%s\t%s\t%s\n' "$(date +%s.%N)" "$(date -u +%H:%M:%SZ)" "$line" >>"$OUT"
|
||||
sleep "$INTERVAL"
|
||||
done
|
||||
|
||||
echo "── сводка ─────────────────────────────────────────"
|
||||
summarize "$OUT"
|
||||
|
|
@ -38,137 +38,12 @@ BASE_MERA="${SMOKE_MERA_BASE:-https://meraocenka.ru}"
|
|||
BASE_MAIN="${SMOKE_MAIN_BASE:-https://gendsgn.ru}"
|
||||
|
||||
fail=0
|
||||
noresp=0
|
||||
|
||||
# --- ТЕМП ЗАПРОСОВ И ПОВТОРЫ (11.09.2026) --------------------------------
|
||||
#
|
||||
# ЧТО СЛУЧИЛОСЬ. Прогон на голове main (a659b187) покраснел на двух последних
|
||||
# проверках списка с кодом `000`. `000` у curl — это НЕ «пришёл неверный код»,
|
||||
# а «ответа не было вовсе» (таймаут/обрыв). Периметр при этом был цел: те же
|
||||
# пути, запрошенные вручную, отдавали 503 и 405 от приложения.
|
||||
#
|
||||
# ЗАМЕР (внешний IP, https://gendsgn.ru/trade-in/api/v1/me):
|
||||
# серия без пауз — 5 обрывов из 12
|
||||
# серия с паузой 0.5 c — 6 обрывов из 12
|
||||
# серия с паузой 2 c — 0 обрывов из 8
|
||||
# с самого хоста прода — 0 обрывов из 10 (все 401)
|
||||
# То есть приложение отвечает, а частую серию запросов с одного внешнего
|
||||
# адреса отбивает ВХОД (на хосте активен fail2ban). Смоук шлёт ~43 запроса
|
||||
# подряд без пауз и попадает ровно под этот эффект — и падают именно
|
||||
# ПОСЛЕДНИЕ проверки, потому что к концу серии счётчик уже набран.
|
||||
#
|
||||
# ОТСЮДА ДВА МЕХАНИЗМА, И НИ ОДИН НЕ ТРОГАЕТ САМИ ОЖИДАНИЯ:
|
||||
# 1. Повтор ТОЛЬКО там, где ответа не было вовсе. Ответ с «не тем» кодом —
|
||||
# это результат проверки, он не повторяется никогда: иначе ретрай
|
||||
# маскировал бы настоящий регресс периметра, ради которого всё написано.
|
||||
# 2. Пауза между проверками, чтобы серия не выглядела флудом.
|
||||
#
|
||||
# ПОЧЕМУ ПАУЗА 2 c, А НЕ МЕНЬШЕ. Это наименьшая величина, у которой есть
|
||||
# замер: 0.5 c измеренно НЕ помогает (6 обрывов из 12 — не лучше, чем без
|
||||
# пауз), 2 c даёт ноль обрывов, промежуточные значения никто не мерил, и
|
||||
# взять их означало бы выдумать число. Цена ИЗМЕРЕНА, а не оценена: прогон
|
||||
# целиком занимал 89 c и стал занимать 160 c (оба замера 11.09 с локальной
|
||||
# машины, 43 проверки, все зелёные). Под это в воркфлоу периметра поднят
|
||||
# timeout-minutes: неотвечающая проверка сетевого класса стоит 3×15 c таймаута
|
||||
# + 2 c и 4 c пауз ретрая + 2 c паузы между проверками = 53 c, а худший случай
|
||||
# (прод не отвечает вовсе — мертвы все 43) = 43 × 53 ≈ 2279 c ≈ 38 мин.
|
||||
# Ни 5, ни 10 минут на него не хватало: job убивали ДО печати FAIL-строк и
|
||||
# итога, то есть ровно там, где лог нужнее всего.
|
||||
# Обе величины переопределяются из окружения — для отладки локально
|
||||
# (`SMOKE_PAUSE=0 bash scripts/smoke-mera-perimeter.sh` даёт прежний темп).
|
||||
SMOKE_PAUSE="${SMOKE_PAUSE:-2}"
|
||||
SMOKE_ATTEMPTS="${SMOKE_ATTEMPTS:-3}"
|
||||
|
||||
# curl_try: запрос с повтором, если ответа не пришло ВООБЩЕ, и с паузой после.
|
||||
#
|
||||
# Признак «ответа не было» берём у самого curl — код возврата из СЕТЕВОГО
|
||||
# класса (перечислен в константе NETWORK_RC ниже). Он строго эквивалентен
|
||||
# `%{http_code}` = 000, но доступен ВСЕМ проверкам, включая те, которые
|
||||
# http_code вообще не запрашивают: до этой правки обрыв в
|
||||
# check_redirect_location читался как «Location не тот», а обрыв при загрузке
|
||||
# лэндинга — как «сам лэндинг сломан». Один сторож в общей обёртке чинит все
|
||||
# места сразу, а не только те две проверки, что покраснели.
|
||||
#
|
||||
# СЕТЕВОЙ КЛАСС — И ТОЛЬКО ОН. Коды живут в константе, а не в тексте
|
||||
# комментария, чтобы описание и поведение не разъехались:
|
||||
# 6 — DNS не разрешился
|
||||
# 7 — соединение отвергнуто (вход лежит; REJECT у fail2ban выглядит так же)
|
||||
# 28 — таймаут
|
||||
# 35 — обрыв на TLS-хендшейке
|
||||
# 52 — сервер закрыл соединение, не ответив
|
||||
# 56 — обрыв при приёме ответа
|
||||
# Общее у них ровно одно: ответа не получено, и повтор имеет шанс помочь —
|
||||
# тот самый эффект входа, ради которого повтор и заведён.
|
||||
#
|
||||
# ОСТАЛЬНЫЕ КОДЫ НЕ ПОВТОРЯЕМ И НЕ ЗОВЁМ «ответа нет». Протухший, чужой или
|
||||
# самоподписанный сертификат даёт rc=60 (замер 12.09: expired.badssl.com,
|
||||
# self-signed.badssl.com, wrong.host.badssl.com — все три). Это ИЗМЕРЕННЫЙ
|
||||
# отказ периметра, а не потерянный запрос: см. проверку 5b в шапке — без
|
||||
# site-блока Caddy не выпускает сертификат, и клиент видит обрыв TLS вместо
|
||||
# редиректа, ради этого проверка и написана. Отказ детерминирован: три попытки
|
||||
# дадут тот же rc, потратив 6 c пауз, а результат уехал бы в колонку «не
|
||||
# измеряли» — то есть регресс спрятался бы ровно там, где его надо показать.
|
||||
NETWORK_RC=" 6 7 28 35 52 56 "
|
||||
|
||||
# Ответ, пришедший с «неправильным» кодом, для curl — успех (rc=0), повтора не
|
||||
# будет; проверка отработает ровно так же, как до правки.
|
||||
curl_try() {
|
||||
local attempt=1 rc out
|
||||
while :; do
|
||||
out=$(curl "$@" 2>/dev/null)
|
||||
rc=$?
|
||||
{ [ "$rc" -eq 0 ] || [ "$attempt" -ge "$SMOKE_ATTEMPTS" ]; } && break
|
||||
# Код вне сетевого класса — повторять нечего, отдаём rc наверх (см. NETWORK_RC).
|
||||
case "$NETWORK_RC" in *" $rc "*) ;; *) break ;; esac
|
||||
# Пауза растёт: 2 c, затем 4 c — ниже 2 c смысла нет (см. замер выше).
|
||||
echo " RETRY: ответа нет (curl rc=$rc), попытка $((attempt + 1)) из $SMOKE_ATTEMPTS через $((attempt * 2)) c: $*" >&2
|
||||
sleep "$((attempt * 2))"
|
||||
attempt=$((attempt + 1))
|
||||
done
|
||||
[ "$SMOKE_PAUSE" = "0" ] || sleep "$SMOKE_PAUSE"
|
||||
printf '%s' "$out"
|
||||
return "$rc"
|
||||
}
|
||||
|
||||
# curl_failed: красная строка, когда ответа не удалось получить у самого curl.
|
||||
#
|
||||
# За одним «rc != 0» прячутся ДВА разных диагноза, и путать их нельзя:
|
||||
# - сетевой класс → «ответа нет»: цел ли периметр, мы не знаем, проверка НЕ
|
||||
# измерилась (плюс счётчик noresp и отдельная строка в итоге);
|
||||
# - всё остальное, прежде всего cert-класс (rc=60) → обычный FAIL: отказ
|
||||
# ИЗМЕРЕН, это регресс периметра, искать надо конфиг, а не флап входа.
|
||||
#
|
||||
# rc печатается в ОБЕИХ ветках: строка RETRY при SMOKE_ATTEMPTS=1 не выводится
|
||||
# вовсе, и без rc читатель красного лога не отличит «домена нет» (6) от
|
||||
# «сертификат протух» (60) — а это диагнозы из разных отделов.
|
||||
curl_failed() {
|
||||
local desc="$1" url="$2" rc="$3" reason
|
||||
fail=1
|
||||
case "$NETWORK_RC" in
|
||||
*" $rc "*)
|
||||
echo "FAIL (ответа нет): $desc ($url — вход не отдал ответ после $SMOKE_ATTEMPTS попыток, curl rc=$rc;" \
|
||||
"это НЕ измеренный код ответа, периметр этой проверкой НЕ проверен — повторите URL вручную)"
|
||||
noresp=$((noresp + 1))
|
||||
return
|
||||
;;
|
||||
esac
|
||||
case "$rc" in
|
||||
60|51|83) reason="TLS-сертификат отвергнут" ;;
|
||||
58|77) reason="проблема с клиентским сертификатом/CA" ;;
|
||||
*) reason="curl не выполнил запрос" ;;
|
||||
esac
|
||||
echo "FAIL: $desc ($url -> $reason (curl rc=$rc); ответ измерен как отказ, это не потерянный" \
|
||||
"запрос — повтора не было, код вне сетевого класса «ответа нет»)"
|
||||
}
|
||||
|
||||
check() {
|
||||
local desc="$1" url="$2" expected="$3"
|
||||
local code rc
|
||||
code=$(curl_try -s -o /dev/null -w '%{http_code}' --max-time 15 "$url")
|
||||
rc=$?
|
||||
if [ "$rc" -ne 0 ]; then
|
||||
curl_failed "$desc" "$url" "$rc"
|
||||
elif [ "$code" = "$expected" ]; then
|
||||
local code
|
||||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$url" 2>/dev/null)
|
||||
if [ "$code" = "$expected" ]; then
|
||||
echo "PASS: $desc ($url -> $code)"
|
||||
else
|
||||
echo "FAIL: $desc ($url -> got '${code:-<no response>}', expected $expected)"
|
||||
|
|
@ -176,122 +51,15 @@ check() {
|
|||
fi
|
||||
}
|
||||
|
||||
# check_any: PASS, если код ответа — ЛЮБОЙ из перечисленных.
|
||||
#
|
||||
# Нужен там, где проверяемое свойство — «этого адреса наружу нет», а каким
|
||||
# именно отказом это выражено, зависит от того, какой рубеж ответил первым.
|
||||
# На gendsgn.ru таких рубежа два: пилотный basic_auth (401) стоит выше
|
||||
# allowlist'а site-блока (404), и какой сработает — вопрос порядка директив, а
|
||||
# не безопасности. Фиксировать один конкретный код значило бы ронять смоук при
|
||||
# снятии пилотного гейта, то есть при изменении, которое к предмету проверки
|
||||
# отношения не имеет.
|
||||
check_any() {
|
||||
local desc="$1" url="$2"
|
||||
shift 2
|
||||
local code rc expected="$*"
|
||||
code=$(curl_try -s -o /dev/null -w '%{http_code}' --max-time 15 "$url")
|
||||
rc=$?
|
||||
if [ "$rc" -ne 0 ]; then
|
||||
curl_failed "$desc" "$url" "$rc"
|
||||
return
|
||||
fi
|
||||
for want in "$@"; do
|
||||
if [ "$code" = "$want" ]; then
|
||||
echo "PASS: $desc ($url -> $code)"
|
||||
return
|
||||
fi
|
||||
done
|
||||
echo "FAIL: $desc ($url -> got '${code:-<no response>}', expected one of: $expected)"
|
||||
fail=1
|
||||
}
|
||||
|
||||
check_post() {
|
||||
local desc="$1" url="$2" body="$3" expected="$4" reject="${5:-}"
|
||||
local out code head_and_body rc
|
||||
# -i: заголовки попадают в вывод вместе с телом — по ним отличаем ответ
|
||||
# приложения от заглушки Caddy (см. $reject у вызова payments/notify).
|
||||
out=$(curl_try -s -i -w '\n%{http_code}' --max-time 15 \
|
||||
-X POST -H 'Content-Type: application/json' -d "$body" "$url")
|
||||
rc=$?
|
||||
if [ "$rc" -ne 0 ]; then
|
||||
curl_failed "$desc" "$url" "$rc"
|
||||
return
|
||||
fi
|
||||
code=${out##*$'\n'}
|
||||
head_and_body=${out%$'\n'*}
|
||||
if [ "$code" != "$expected" ]; then
|
||||
echo "FAIL: $desc ($url -> got '${code:-<no response>}', expected $expected)"
|
||||
fail=1
|
||||
elif [ -n "$reject" ] && printf '%s' "$head_and_body" | grep -qEi "$reject"; then
|
||||
echo "FAIL: $desc ($url -> $code, но ответ от заглушки окна деплоя, а не от приложения)"
|
||||
fail=1
|
||||
else
|
||||
local desc="$1" url="$2" body="$3" expected="$4"
|
||||
local code
|
||||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 \
|
||||
-X POST -H 'Content-Type: application/json' -d "$body" "$url" 2>/dev/null)
|
||||
if [ "$code" = "$expected" ]; then
|
||||
echo "PASS: $desc ($url -> $code)"
|
||||
fi
|
||||
}
|
||||
|
||||
# check_redirect_location: сверяет буквальный заголовок Location редиректа,
|
||||
# а не только код ответа — нужен там, где регресс не меняет код (301
|
||||
# остаётся 301), а меняет ТОЛЬКО цель (баг 10.09.2026 у @meraShortSlash в
|
||||
# apps.caddy: query терялась молча, код ответа был зелёным всю дорогу).
|
||||
# curl без -L (редирект не проходим), -D - дампит заголовки в stdout.
|
||||
#
|
||||
# ФОРМА LOCATION НЕ ФИКСИРУЕТСЯ. Caddy отдаёт цель редиректа так, как её
|
||||
# собрала директива: для `redir * {uri}` это относительный путь
|
||||
# (`/articles?utm_source=vc`), а для веток с явным хостом — абсолютный URL
|
||||
# (`https://meraocenka.ru/articles?utm_source=vc`). Обе формы валидны по
|
||||
# RFC 7231, браузер разрешает относительную сам, и переписывание одной ветки
|
||||
# конфига на другую — не регресс, ради которого стоит ронять смоук. Поэтому
|
||||
# сверяется ХВОСТ: путь с query, с какого бы префикса Location ни начинался.
|
||||
# Ровно это и есть предмет проверки — что query дожила до цели.
|
||||
check_redirect_location() {
|
||||
local desc="$1" url="$2" expected_suffix="$3"
|
||||
local location headers rc
|
||||
# Заголовки сначала забираем целиком, и только потом разбираем: при обрыве
|
||||
# соединения grep по пустому выводу дал бы «Location: <none>» — красную
|
||||
# строку про подмену цели редиректа там, где ответа не было вовсе.
|
||||
headers=$(curl_try -s -o /dev/null -D - --max-time 15 "$url")
|
||||
rc=$?
|
||||
if [ "$rc" -ne 0 ]; then
|
||||
curl_failed "$desc" "$url" "$rc"
|
||||
return
|
||||
fi
|
||||
location=$(printf '%s' "$headers" \
|
||||
| grep -i '^location:' | tr -d '\r' | sed 's/^[Ll]ocation: *//')
|
||||
case "$location" in
|
||||
"$expected_suffix"|*"$expected_suffix")
|
||||
echo "PASS: $desc ($url -> Location: $location)"
|
||||
;;
|
||||
*)
|
||||
echo "FAIL: $desc ($url -> got Location '${location:-<none>}', expected ending with '$expected_suffix')"
|
||||
fail=1
|
||||
;;
|
||||
esac
|
||||
}
|
||||
|
||||
# check_content_type: 200 И заявленный Content-Type начинается с ожидаемого.
|
||||
#
|
||||
# Заведён под og:image. Для картинки превью «200» само по себе ничего не
|
||||
# доказывает: перепутанный rewrite приводит к 200 с HTML-страницей фронта, и
|
||||
# обходчик мессенджера её молча отбросит — ссылка развернётся без картинки, а
|
||||
# смоук останется зелёным. Проверять надо ровно то, ради чего адрес открыт.
|
||||
check_content_type() {
|
||||
local desc="$1" url="$2" expected_prefix="$3"
|
||||
local out code ctype rc
|
||||
out=$(curl_try -s -o /dev/null -D - -w '%{http_code}' --max-time 15 "$url")
|
||||
rc=$?
|
||||
if [ "$rc" -ne 0 ]; then
|
||||
curl_failed "$desc" "$url" "$rc"
|
||||
return
|
||||
fi
|
||||
code=${out##*$'
|
||||
'}
|
||||
ctype=$(printf '%s' "$out" | grep -i '^content-type:' | tr -d '
|
||||
' | sed 's/^[Cc]ontent-[Tt]ype: *//' | head -1)
|
||||
if [ "$code" = "200" ] && [ "${ctype#"$expected_prefix"}" != "$ctype" ]; then
|
||||
echo "PASS: $desc ($url -> $code, $ctype)"
|
||||
else
|
||||
echo "FAIL: $desc ($url -> got '${code:-<no response>}' / '${ctype:-<no content-type>}', expected 200 + $expected_prefix)"
|
||||
echo "FAIL: $desc ($url -> got '${code:-<no response>}', expected $expected)"
|
||||
fail=1
|
||||
fi
|
||||
}
|
||||
|
|
@ -322,27 +90,6 @@ check "meraocenka.ru/privacy — public 200" "$BASE_MERA/privacy" 200
|
|||
# лэндинга. Отвалится handle — кнопки «Проверить» станут ссылками в 404.
|
||||
check "meraocenka.ru/estimate — public 200" "$BASE_MERA/estimate" 200
|
||||
|
||||
# 1d2. Страница «МЕРА для бизнеса» — короткий адрес, на который ведут пункт
|
||||
# шапки и подвала. До 31.08.2026 они вели в закрытый контур и приводили
|
||||
# человека на форму входа; отвалится handle — вернётся 404 вместо неё.
|
||||
check "meraocenka.ru/business — public 200" "$BASE_MERA/business" 200
|
||||
|
||||
# 1d3. robots.txt / sitemap.xml — первое, что запрашивает поисковый краулер
|
||||
# при индексации. robots.txt отдаётся ОТДЕЛЬНЫМ handle (Next-конвенция:
|
||||
# файл в корне app/, а не под mera-public/), sitemap.xml — той же строкой
|
||||
# что и остальные @meraPages (см. комментарии в apps.caddy). Отвалится
|
||||
# любой из handle — сайт не проиндексируется вовсе.
|
||||
check "meraocenka.ru/robots.txt — public 200" "$BASE_MERA/robots.txt" 200
|
||||
check "meraocenka.ru/sitemap.xml — public 200" "$BASE_MERA/sitemap.xml" 200
|
||||
|
||||
# 1d4. og:image — картинка превью ссылок. Её просят обходчики мессенджеров и
|
||||
# соцсетей, анонимно и без Referer; отвалится handle — ссылки на сайт
|
||||
# начнут разворачиваться без картинки, и заметить это по логам
|
||||
# приложения нельзя (запрос туда просто не доходит). Content-Type
|
||||
# проверяется вместе с кодом: 200 с HTML вместо PNG выглядел бы так же.
|
||||
check_content_type "meraocenka.ru/og-mera.png — public 200 + image/png" "$BASE_MERA/og-mera.png" "image/png"
|
||||
check_content_type "meraocenka.ru/logo-mera.png — public 200 + image/png" "$BASE_MERA/logo-mera.png" "image/png"
|
||||
|
||||
# 1e. Длинные адреса поддерева отдают 301 на короткие: у страницы один
|
||||
# канонический адрес, а старые ссылки и закладки продолжают работать.
|
||||
# ГОЛЫЙ /trade-in/mera-public — регресс на баг 15.08.2026: прежний матчер
|
||||
|
|
@ -351,16 +98,6 @@ check_content_type "meraocenka.ru/logo-mera.png — public 200 + image/png" "$BA
|
|||
check "meraocenka.ru длинный корень — 301 на /" "$BASE_MERA/trade-in/mera-public" 301
|
||||
check "meraocenka.ru длинная оферта — 301 на /oferta" "$BASE_MERA/trade-in/mera-public/oferta" 301
|
||||
|
||||
# 1f. Регресс-тест на баг 10.09.2026 (замер на живом проде): редирект со
|
||||
# слэшем терял query-строку — статьи публикуются с UTM-метками, а
|
||||
# мессенджеры и автолинкификаторы дописывают слэш к скопированной ссылке,
|
||||
# то есть именно этот трафик терял атрибуцию молча (код ответа
|
||||
# оставался 301, поэтому предыдущая версия смоука проблему не ловила).
|
||||
# Проверяем сам факт 301 (уже покрыт проверками check выше по коду) И
|
||||
# буквальный Location — только вторая половина ловит регресс.
|
||||
check_redirect_location "meraocenka.ru/articles/?utm_source=vc — query сохраняется на редиректе" \
|
||||
"$BASE_MERA/articles/?utm_source=vc" "/articles?utm_source=vc"
|
||||
|
||||
# 2. B2B-путь на публичном домене — 404 (allowlist-by-default), не 200/401.
|
||||
check "meraocenka.ru/v2 — B2B path must 404" "$BASE_MERA/v2" 404
|
||||
|
||||
|
|
@ -377,64 +114,6 @@ check "meraocenka.ru/trade-in/api/* — must 404 (не проксируем API)
|
|||
# Ловит расширение матчера обратно до `/trade-in/_next/*`.
|
||||
check "meraocenka.ru/_next/image — must 404 (не открываем оптимизатор)" "$BASE_MERA/trade-in/_next/image?url=%2Ftest.png&w=64&q=75" 404
|
||||
|
||||
# 2c-bis. Внутри разрешённой статики закрыто поддерево ЧУЖИХ маршрутов (#3324):
|
||||
# App Router кладёт код постранично в chunks/app/<маршрут>/, и до этой
|
||||
# правки аноним скачивал с публичного домена бандлы /admin, /team,
|
||||
# /scrapers — с именами внутренних ручек внутри.
|
||||
#
|
||||
# КОД 404 ЗДЕСЬ НЕДОСТАТОЧЕН: несуществующий чанк Next тоже отдаёт 404,
|
||||
# поэтому проверка не отличила бы «Caddy отсёк» от «Caddy проксировал, а
|
||||
# файла нет» — и осталась бы зелёной после отката матчера. Отличаем по
|
||||
# ТЕЛУ: `respond 404` Caddy пустой (0 байт), 404 от Next — непустой
|
||||
# (замер на проде 02.09.2026: 9 байт).
|
||||
check_caddy_404() {
|
||||
local desc="$1" url="$2"
|
||||
local out code size rc
|
||||
out=$(curl_try -s -o /dev/null -w '%{http_code} %{size_download}' --max-time 15 "$url")
|
||||
rc=$?
|
||||
if [ "$rc" -ne 0 ]; then
|
||||
curl_failed "$desc" "$url" "$rc"
|
||||
return
|
||||
fi
|
||||
code=${out%% *}
|
||||
size=${out##* }
|
||||
if [ "$code" = "404" ] && [ "$size" = "0" ]; then
|
||||
echo "PASS: $desc ($url -> 404, пустое тело = отсёк Caddy)"
|
||||
else
|
||||
echo "FAIL: $desc ($url -> got '${out:-<no response>}', expected '404 0')"
|
||||
fail=1
|
||||
fi
|
||||
}
|
||||
|
||||
check_caddy_404 "meraocenka.ru — чанки /admin не раздаются" \
|
||||
"$BASE_MERA/trade-in/_next/static/chunks/app/admin/page-smoke.js"
|
||||
check_caddy_404 "meraocenka.ru — чанки /admin/analytics не раздаются" \
|
||||
"$BASE_MERA/trade-in/_next/static/chunks/app/admin/analytics/page-smoke.js"
|
||||
check_caddy_404 "meraocenka.ru — чанки /team не раздаются" \
|
||||
"$BASE_MERA/trade-in/_next/static/chunks/app/team/page-smoke.js"
|
||||
|
||||
# Обратная сторона того же матчера: статика САМОГО лэндинга обязана остаться
|
||||
# живой. Без этой строки «починка» вида «404 на весь chunks/app/» выглядела бы
|
||||
# успешной, а публичный сайт молча остался бы без JS.
|
||||
layout_html=$(curl_try -s --max-time 15 "$BASE_MERA/")
|
||||
layout_rc=$?
|
||||
if [ "$layout_rc" -ne 0 ]; then
|
||||
# Обрыв на загрузке лэндинга раньше попадал в ветку «не нашёл чанк» и читался
|
||||
# как «сам лэндинг сломан» — диагноз, которого никто не измерял.
|
||||
curl_failed "HTML лэндинга (ищем в нём layout-чанк)" "$BASE_MERA/" "$layout_rc"
|
||||
else
|
||||
layout_chunk=$(printf '%s' "$layout_html" \
|
||||
| grep -o '/trade-in/_next/static/chunks/app/layout-[^"]*\.js' | head -1)
|
||||
if [ -z "$layout_chunk" ]; then
|
||||
# Пустая строка вместо пути дала бы запрос к корню и зелёную проверку ни о
|
||||
# чём — поэтому это FAIL, а не «пропустим».
|
||||
echo "FAIL: не нашёл layout-чанк в HTML лэндинга (сам лэндинг сломан?)"
|
||||
fail=1
|
||||
else
|
||||
check "meraocenka.ru — корневой layout-чанк лэндинга жив (200)" "$BASE_MERA$layout_chunk" 200
|
||||
fi
|
||||
fi
|
||||
|
||||
# 2d. Публичный API МЕРЫ (#2911). Ровно две ручки под /api/public/mera/*
|
||||
# доступны анонимно на обоих доменах; ВЕСЬ /api/v1/* на публичном домене
|
||||
# по-прежнему 404.
|
||||
|
|
@ -472,43 +151,8 @@ check_post "gendsgn.ru public suggest — 200 anonymous" "$BASE_MAIN/trade-in/ap
|
|||
# Гейт данных переехал на API — там и проверяем, иначе тест зелёный при
|
||||
# открытом наружу бэкенде.
|
||||
check "trade-in /api/v1/me — 401 anonymous" "$BASE_MAIN/trade-in/api/v1/me" 401
|
||||
# Путь именно `/api/v1/trade-in/history`: роутер trade_in подключён в main.py с
|
||||
# префиксом `/api/v1/trade-in`, а сама ручка объявлена как `@router.get("/history")`.
|
||||
# До 05.09.2026 здесь стоял несуществующий `/api/v1/history` — проверка была
|
||||
# зелёной только потому, что guard отвечал 401 на ЛЮБОЙ путь; после #3352
|
||||
# несуществующий путь даёт 404, и проверка честно покраснела.
|
||||
check "trade-in /api/v1/trade-in/history — 401 anonymous (чужие оценки)" "$BASE_MAIN/trade-in/api/v1/trade-in/history" 401
|
||||
# #3360: admin-префикс анониму отвечает 404, а НЕ 401. Периметр здесь не срезан
|
||||
# (Caddy-блок /trade-in/api/* стоит выше basic_auth-снипета, и срезать нельзя —
|
||||
# admin-UI зовёт эти же пути из браузера), поэтому существование ручки прячет сам
|
||||
# guard. Пара путей взята намеренно разная: `/proxies` — РЕАЛЬНЫЙ роут
|
||||
# (app/api/v1/admin.py), `/users` — несуществующий. Одинаковый код на обоих и
|
||||
# означает, что перебором имён admin-API снаружи ничего не узнать; 401 на первом
|
||||
# = регресс маскировки (app/core/rbac.py::_unauthenticated).
|
||||
check "trade-in /api/v1/admin/proxies — 404 anonymous (существующая ручка скрыта)" \
|
||||
"$BASE_MAIN/trade-in/api/v1/admin/proxies" 404
|
||||
check "trade-in /api/v1/admin/users — 404 anonymous (несуществующая — тот же ответ)" \
|
||||
"$BASE_MAIN/trade-in/api/v1/admin/users" 404
|
||||
|
||||
# 3b. sitemap.xml публичного лэндинга МЕРЫ не должен просачиваться через
|
||||
# закрытый B2B-контур gendsgn.ru — корень gendsgn.ru принадлежит Site
|
||||
# Finder, у него нет своего route на /sitemap.xml под МЕРУ, allowlist-by-
|
||||
# default этого site-блока (как и у meraocenka.ru) отдаёт 404 на всё
|
||||
# незаявленное.
|
||||
#
|
||||
# ДВА ДОПУСТИМЫХ КОДА, А НЕ ОДИН. Первая редакция этой проверки ждала 404 и
|
||||
# упала на первом же прогоне против прода: корень gendsgn.ru закрыт
|
||||
# пилотным basic_auth, и гейт отвечает 401 РАНЬШЕ, чем запрос доходит до
|
||||
# allowlist'а. Оба ответа означают ровно проверяемое — карты сайта МЕРЫ на
|
||||
# B2B-домене нет; какой именно рубеж сработал первым, к предмету проверки
|
||||
# отношения не имеет, а вот снятие пилотного гейта (оно запланировано)
|
||||
# переключит 401 на 404 и уронило бы жёсткое ожидание на пустом месте.
|
||||
# Красная строка здесь — только 200: он означал бы, что sitemap реально
|
||||
# отдаётся из закрытого контура.
|
||||
#
|
||||
# Если у Site Finder когда-нибудь появится СВОЙ /sitemap.xml, ожидание
|
||||
# придётся пересмотреть на «200 с другим содержимым».
|
||||
check_any "gendsgn.ru/sitemap.xml — must NOT serve MERA sitemap (закрытый контур)" "$BASE_MAIN/sitemap.xml" 401 404
|
||||
check "trade-in /api/v1/history — 401 anonymous (чужие оценки)" "$BASE_MAIN/trade-in/api/v1/history" 401
|
||||
check "trade-in /api/v1/admin/* — 401 anonymous" "$BASE_MAIN/trade-in/api/v1/admin/users" 401
|
||||
|
||||
# 4. gendsgn.ru/api/v1/admin/* отдаёт 401 анониму (auth gate стоит ДО роутинга
|
||||
# в FastAPI — конкретный путь неважен, любой /api/v1/admin/* перехватывается
|
||||
|
|
@ -530,57 +174,68 @@ check "www.meraocenka.ru — 301 to canonical" "https://www.meraocenka.ru/" 301
|
|||
check "www.merahome.ru — 301 to canonical" "https://www.merahome.ru/" 301
|
||||
check "www.meraotsenka.ru — 301 to canonical" "https://www.meraotsenka.ru/" 301
|
||||
|
||||
# 6. Платёжный периметр. Заведён в PR-D2 как канарейка «ожидания обновляют
|
||||
# вместе с тем PR, который путь открывает». Канарейка отработала: PR-D3
|
||||
# (#3231, роутер) смержен 29.08 и внёс notify в `_PUBLIC_PATHS`, ожидание
|
||||
# здесь обновлено тем же днём — но уже ПОСЛЕ красного деплоя, а не вместе с
|
||||
# ним. Кто будет делать PR-D4 — правьте ожидания в одном PR с ним.
|
||||
#
|
||||
# Состояние на 29.08, чего ждём сейчас:
|
||||
# 6. Платёжный периметр (PR-D2) — готовит почву под PR-D3 (роутер) и PR-D4
|
||||
# (Caddy), но САМ НИЧЕГО НЕ ОТКРЫВАЕТ. Ожидаем закрытое состояние С ОБЕИХ
|
||||
# СТОРОН прямо сейчас:
|
||||
# - meraocenka.ru вообще не проксирует /trade-in/api/* (allowlist-by-default,
|
||||
# см. проверку 2) — 404 от Caddy, до бэкенда не доходит. Это ВСЁ ЕЩЁ
|
||||
# канарейка: PR-D4 не смержен, 404 должен держаться;
|
||||
# - gendsgn.ru: `checkout` по-прежнему требует X-Authenticated-User → 401
|
||||
# анониму (он не публичный и не станет им);
|
||||
# - gendsgn.ru: `notify` — публичный по построению (вебхук банка), см.
|
||||
# комментарий у самой проверки ниже.
|
||||
# см. проверку 2) — 404 от Caddy, до бэкенда не доходит;
|
||||
# - gendsgn.ru проксирует /trade-in/api/* в tradein-backend, но rbac_guard
|
||||
# (`_PUBLIC_PATHS` в app/core/rbac.py — ЭТОТ PR её не трогает) не знает
|
||||
# платёжные пути и требует X-Authenticated-User → 401 анониму.
|
||||
# Если один из этих чек-ов вдруг перестанет быть 404/401 РАНЬШЕ мержа
|
||||
# PR-D3/PR-D4 — это и есть преждевременная утечка периметра, которую ловит
|
||||
# этот смоук (канарейка: осознанно станет красной, когда PR-D3/PR-D4 явно
|
||||
# откроют эти пути — тогда ожидания здесь надо обновить вместе с ними).
|
||||
check "meraocenka.ru payments/notify — must 404 (Caddy не проксирует, PR-D4)" \
|
||||
"$BASE_MERA/trade-in/api/v1/trade-in/payments/notify" 404
|
||||
check "meraocenka.ru payments/checkout — must 404 (Caddy не проксирует, PR-D4)" \
|
||||
"$BASE_MERA/trade-in/api/v1/trade-in/payments/checkout" 404
|
||||
# notify — ЕДИНСТВЕННЫЙ платёжный путь, который PR-D3 (#3231) открыл анониму
|
||||
# осознанно: это вебхук банка, он обязан быть достижим без наших заголовков, и
|
||||
# потому внесён в `_PUBLIC_PATHS`. Канарейка выше отработала как задумано — 401
|
||||
# здесь стал бы теперь признаком ПОЛОМКИ (банк получил бы отказ), а не защиты.
|
||||
# PR-D3 СМЕРЖЕН 29.08.2026 — канарейка сработала ровно как обещано выше, и её
|
||||
# ожидания обновлены вместе с ней (иначе смоук остался бы красным навсегда и
|
||||
# перестал бы что-либо значить).
|
||||
#
|
||||
# Проверяем POST и ждём 503: это строже прежнего 401 — утверждает сразу, что
|
||||
# маршрут существует (не 404 — старый образ) И что приём платежей выключен
|
||||
# (`payments_enabled=False`). 200 здесь означал бы, что флаг включили, не тронув
|
||||
# этот смоук. GET → 405 закрепляет, что путь принимает только POST.
|
||||
# Что изменилось: `/payments/notify` теперь В `rbac._PUBLIC_PATHS` — иначе
|
||||
# вебхук Т-Банка получал бы 401, а банк не умеет присылать X-Authenticated-User.
|
||||
# Аутентификация там — подпись `Token` тела, её проверяет сам хендлер.
|
||||
# `/payments/checkout` открыт НЕ был и остаётся под 401: его зовёт наш же фронт.
|
||||
#
|
||||
# С #3274 голый код 503 больше не доказывает ничего: Caddy сам отдаёт 503 на
|
||||
# окне деплоя (`handle_errors` -> caddy/deploy-window.caddy.snippet), и тогда
|
||||
# запрос до приложения не дошёл вовсе. Отличаем по признакам заглушки —
|
||||
# заголовок `Retry-After: 30` и `"error":"service_unavailable"` в теле; у
|
||||
# приложения тело `{"detail":"payments are disabled"}` и никакого Retry-After.
|
||||
# Совпал код, но пришла заглушка → FAIL, а не молчаливый PASS.
|
||||
check_post "trade-in payments/notify — 503 anonymous (маршрут есть, приём выключен)" \
|
||||
"$BASE_MAIN/trade-in/api/v1/trade-in/payments/notify" '{}' 503 \
|
||||
'service_unavailable|^retry-after: *30'
|
||||
check "trade-in payments/notify — 405 на GET (только POST)" \
|
||||
"$BASE_MAIN/trade-in/api/v1/trade-in/payments/notify" 405
|
||||
check "trade-in payments/checkout — 401 anonymous (не публичный по построению)" \
|
||||
# Проверяем POST'ом, а не GET'ом: GET по POST-only маршруту даёт 405, и это
|
||||
# ничего не говорит ни про rbac, ни про флаг. POST с пустым телом проходит
|
||||
# rbac (иначе 401) и упирается в выключенный контур — 503.
|
||||
#
|
||||
# ⚠️ СЛЕДУЮЩАЯ КАНАРЕЙКА ЗДЕСЬ ЖЕ: когда владелец включит PAYMENTS_ENABLED,
|
||||
# этот 503 станет отказом по подписи (400/403). Тогда ожидание надо обновить
|
||||
# ВМЕСТЕ с включением флага — не подгонять задним числом.
|
||||
check_post "trade-in payments/notify — 503 anonymous (rbac пропускает, контур выключен)" \
|
||||
"$BASE_MAIN/trade-in/api/v1/trade-in/payments/notify" '{}' 503
|
||||
check "trade-in payments/checkout — 401 anonymous (закрыт, зовёт только наш фронт)" \
|
||||
"$BASE_MAIN/trade-in/api/v1/trade-in/payments/checkout" 401
|
||||
|
||||
# ── Публичные ручки витрины лэндинга (29.08.2026) ────────────────────────────
|
||||
#
|
||||
# Числа на лэндинге приходят из этих двух ручек. Если они отвалятся, страница
|
||||
# по построению отрендерится БЕЗ блоков (честная деградация) — то есть тихо и
|
||||
# незаметно. Поэтому проверяем их здесь: молчаливое исчезновение витрины
|
||||
# ничем другим не ловится.
|
||||
#
|
||||
# Путь длинный (`/trade-in/api/public/...`) НАМЕРЕННО: короткого
|
||||
# `/api/public/...` на публичном домене нет, и один и тот же адрес обязан
|
||||
# работать с обоих хостов — см. шапку frontend/src/app/mera-public/public-api.ts.
|
||||
check "meraocenka.ru /stats — public 200" \
|
||||
"$BASE_MERA/trade-in/api/public/mera/stats" 200
|
||||
check "meraocenka.ru /showcase — public 200" \
|
||||
"$BASE_MERA/trade-in/api/public/mera/showcase" 200
|
||||
|
||||
# Анонимный расчёт закрыт флагом public_estimate_enabled и обязан быть
|
||||
# НЕОТЛИЧИМ от несуществующего пути. До 29.08 он отвечал 422 с перечнем своих
|
||||
# полей: проверка флага стояла в теле хендлера, а FastAPI валидирует тело
|
||||
# раньше. Гейт переехал в зависимости маршрута; здесь — прод-подтверждение.
|
||||
check_post "meraocenka.ru /estimate — 404 при выключенном флаге (схема не течёт)" \
|
||||
"$BASE_MERA/trade-in/api/public/mera/estimate" '{}' 404
|
||||
check_post "meraocenka.ru /estimate/read — 404 при выключенном флаге" \
|
||||
"$BASE_MERA/trade-in/api/public/mera/estimate/read" '{}' 404
|
||||
|
||||
echo "========================================"
|
||||
if [ "$noresp" -gt 0 ]; then
|
||||
# Отдельная строка в итоге, а не только у самой проверки: читатель красного
|
||||
# лога должен сразу видеть, что часть проверок НЕ ИЗМЕРИЛАСЬ, и не искать
|
||||
# регресс периметра там, где ответа просто не было.
|
||||
echo "БЕЗ ОТВЕТА: $noresp проверок не получили ответа даже после $SMOKE_ATTEMPTS попыток."
|
||||
echo " Это не измеренный код ответа. Повторите эти URL вручную (и учтите, что"
|
||||
echo " вход отбивает частые серии запросов с одного адреса — см. шапку скрипта)."
|
||||
fi
|
||||
if [ "$fail" -eq 0 ]; then
|
||||
echo "ALL CHECKS PASSED"
|
||||
else
|
||||
|
|
|
|||
|
|
@ -70,7 +70,6 @@ import asyncio
|
|||
import hashlib
|
||||
import logging
|
||||
import secrets
|
||||
from collections.abc import Callable
|
||||
from datetime import datetime
|
||||
from typing import Annotated, Literal
|
||||
|
||||
|
|
@ -79,7 +78,7 @@ from pydantic import BaseModel, Field
|
|||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from app.api.v1.geocode import SuggestResponse, effective_region_code, suggest_addresses
|
||||
from app.api.v1.geocode import SuggestResponse, suggest_addresses
|
||||
from app.api.v1.trade_in import coverage_probe, estimate
|
||||
from app.core.config import settings
|
||||
from app.core.db import get_db
|
||||
|
|
@ -186,33 +185,6 @@ def _enforce(limiter: SlidingWindowLimiter, request: Request, what: str) -> None
|
|||
limiter.record(ip)
|
||||
|
||||
|
||||
def _budget(limiter: SlidingWindowLimiter, what: str) -> Callable[[Request], None]:
|
||||
"""Per-IP бюджет КАК ЗАВИСИМОСТЬ, а не первой строкой тела.
|
||||
|
||||
Ровно та же поправка места, что уже сделана у
|
||||
`_require_public_estimate_enabled` (см. его докстринг): FastAPI решает
|
||||
зависимости РАНЬШЕ, чем валидирует тело, поэтому проверка в теле не
|
||||
срабатывает на запросах, которые падают на разборе тела — до неё просто не
|
||||
доходит.
|
||||
|
||||
Для флага это стоило утечки схемы, для лимитера — неограниченного потока
|
||||
отказов: 12 запросов подряд с некорректным телом на `/coverage` дали
|
||||
двенадцать ответов и ни одного 429 (замер 30.08.2026). Пока такой вход
|
||||
ронял сериализацию 422 (чинится в app/core/http_errors.py), это был поток
|
||||
500 с одного адреса; после починки — поток 422, но всё так же мимо бюджета.
|
||||
|
||||
ЧЕГО ЭТА ЗАВИСИМОСТЬ НЕ ЛОВИТ: тело, которое не разбирается как JSON
|
||||
вообще — там `RequestValidationError` летит до решения зависимостей. Такой
|
||||
запрос стоит один `json.loads` и остаётся под общим `RateLimitMiddleware`
|
||||
(300/60с на IP); заводить ради него middleware поверх middleware смысла нет.
|
||||
"""
|
||||
|
||||
def _dep(request: Request) -> None:
|
||||
_enforce(limiter, request, what)
|
||||
|
||||
return _dep
|
||||
|
||||
|
||||
class PublicSuggestInput(BaseModel):
|
||||
"""Вход публичного автокомплита.
|
||||
|
||||
|
|
@ -222,9 +194,6 @@ class PublicSuggestInput(BaseModel):
|
|||
q: str = Field(min_length=2, max_length=200)
|
||||
limit: int = Field(default=8, ge=1, le=10)
|
||||
city_hint: str | None = Field(default=None, max_length=100)
|
||||
# #3051: явный регион с фронта (если он его когда-нибудь пришлёт) —
|
||||
# приоритетнее вывода из city_hint, см. effective_region_code.
|
||||
region_code: int | None = Field(default=None)
|
||||
|
||||
|
||||
def _fold(text: str) -> str:
|
||||
|
|
@ -262,12 +231,9 @@ def _query_with_city(query: str, city_hint: str | None) -> str:
|
|||
return f"{city_hint}, {query}"
|
||||
|
||||
|
||||
@router.post(
|
||||
"/suggest",
|
||||
response_model=SuggestResponse,
|
||||
dependencies=[Depends(_budget(_suggest_limiter, "suggest"))],
|
||||
)
|
||||
@router.post("/suggest", response_model=SuggestResponse)
|
||||
async def public_suggest(
|
||||
request: Request,
|
||||
payload: PublicSuggestInput,
|
||||
db: Annotated[Session, Depends(get_db)],
|
||||
) -> SuggestResponse:
|
||||
|
|
@ -294,6 +260,8 @@ async def public_suggest(
|
|||
десятка в публичном UI не показывается, а каждый лишний кандидат может
|
||||
стоить внешнего вызова.
|
||||
"""
|
||||
_enforce(_suggest_limiter, request, "suggest")
|
||||
|
||||
# Суточный потолок — ПОСЛЕ per-IP: сначала отсекаем одиночного абузера его
|
||||
# собственным лимитом, и только оставшееся считаем в общий бюджет.
|
||||
daily_retry = _daily_suggest_limiter.retry_after(_GLOBAL_KEY)
|
||||
|
|
@ -329,18 +297,14 @@ async def public_suggest(
|
|||
limit=payload.limit,
|
||||
db=db,
|
||||
city_hint=payload.city_hint,
|
||||
region_code=effective_region_code(payload.region_code, payload.city_hint),
|
||||
)
|
||||
finally:
|
||||
_suggest_slots.release()
|
||||
|
||||
|
||||
@router.post(
|
||||
"/coverage",
|
||||
response_model=CoverageProbeResponse,
|
||||
dependencies=[Depends(_budget(_coverage_limiter, "coverage"))],
|
||||
)
|
||||
@router.post("/coverage", response_model=CoverageProbeResponse)
|
||||
def public_coverage(
|
||||
request: Request,
|
||||
payload: CoverageProbeInput,
|
||||
db: Annotated[Session, Depends(get_db)],
|
||||
) -> CoverageProbeResponse:
|
||||
|
|
@ -354,6 +318,7 @@ def public_coverage(
|
|||
Ответ не содержит ни одной цены (см. `CoverageProbeResponse`) — бесплатный
|
||||
шаг доказывает наличие данных, цену продаёт платный.
|
||||
"""
|
||||
_enforce(_coverage_limiter, request, "coverage")
|
||||
return coverage_probe(payload=payload, db=db)
|
||||
|
||||
|
||||
|
|
@ -386,12 +351,9 @@ _STATS_SQL = text("""
|
|||
""")
|
||||
|
||||
|
||||
@router.get(
|
||||
"/stats",
|
||||
response_model=dict[str, LandingStat],
|
||||
dependencies=[Depends(_budget(_stats_limiter, "stats"))],
|
||||
)
|
||||
@router.get("/stats", response_model=dict[str, LandingStat])
|
||||
def public_stats(
|
||||
request: Request,
|
||||
db: Annotated[Session, Depends(get_db)],
|
||||
) -> dict[str, LandingStat]:
|
||||
"""Витринные метрики лэндинга — готовый ночной срез (issue: числа по проду).
|
||||
|
|
@ -412,6 +374,8 @@ def public_stats(
|
|||
`value` — числовое value_num, если оно есть; иначе value_text (для метрик,
|
||||
у которых значение не число). Оба NULL — отдаём null, а не выдуманный ноль.
|
||||
"""
|
||||
_enforce(_stats_limiter, request, "stats")
|
||||
|
||||
rows = db.execute(_STATS_SQL).fetchall()
|
||||
return {
|
||||
row.metric: LandingStat(
|
||||
|
|
@ -429,36 +393,8 @@ class ShowcaseDeal(BaseModel):
|
|||
|
||||
`district` / `floor` / `total_floors` НУЛЛАБЕЛЬНЫ намеренно: этих величин в
|
||||
ДКП-данных может не быть, и фронт обязан пережить null, а не получить
|
||||
правдоподобную подстановку.
|
||||
|
||||
`street_name` / `street_scheme` — УЛИЦА, А НЕ ДОМ. Номер дома есть у 2.7%
|
||||
сделок (разбор в миграции 276), поэтому дома в витрине нет и не будет.
|
||||
Оба поля НУЛЛАБЕЛЬНЫ, и null — штатный случай: название сматчилось с OSM у
|
||||
550 названий из 654 (92.3% сделок, замер 2026-08-29), остальным схемы нет и
|
||||
фронт показывает район.
|
||||
|
||||
`street_scheme` — уже спроецированные SVG-пути окна 840×840 м вокруг центра
|
||||
улицы::
|
||||
|
||||
{"street": "улица Краснолесья", "w": 1000, "h": 1000,
|
||||
"target": ["M…L…"], # подсвеченная улица
|
||||
"roads": [{"c": "primary", "d": "M…L…"}], # фон, c = класс дороги
|
||||
"water": ["M…L…"],
|
||||
"labels": [{"t": "Чкалова", "x": 431.2, "y": 88.0}]}
|
||||
|
||||
Координат окна и констант проекции в схеме НЕТ намеренно: по ней нельзя
|
||||
положить (lon, lat) в её систему координат, то есть нарисовать точку дома
|
||||
невозможно даже случайно. Схема готовая, а не геометрия, потому что GeoJSON
|
||||
того же окна — 7-8 КБ на строку против 2.8-2.9 КБ схемы (замер 2026-08-29).
|
||||
правдоподобную подстановку. Улицы и дома в модели нет вовсе — номер дома
|
||||
есть у 2.7% сделок (разбор в миграции 276).
|
||||
|
||||
`lat` / `lon` — ЦЕНТРОИД УЛИЦЫ, не дом: 991 различная координата на 34 017
|
||||
сделок выборки (≈34 сделки в одной точке) при тех же 2.7% известных домов
|
||||
(замер 2026-08-29, миграция 280). Точка честна на масштабе района и улицы
|
||||
и НЕ честна на масштабе дома — то же самое написано в `note` строки,
|
||||
которая едет рядом. Тоже нуллабельны: у части сделок координаты нет, и
|
||||
такая строка остаётся на витрине без точки, а не выбрасывается.
|
||||
"""
|
||||
|
||||
district: str | None
|
||||
|
|
@ -472,10 +408,6 @@ class ShowcaseDeal(BaseModel):
|
|||
err_pct: float
|
||||
n_analogs: int
|
||||
note: str
|
||||
street_name: str | None
|
||||
street_scheme: dict | None
|
||||
lat: float | None = None
|
||||
lon: float | None = None
|
||||
|
||||
|
||||
class ShowcaseStats(BaseModel):
|
||||
|
|
@ -483,15 +415,9 @@ class ShowcaseStats(BaseModel):
|
|||
|
||||
Без этих чисел «20 отличных строк» неотличимо от «столько и было»:
|
||||
посетитель не может отличить выборку из работы оценщика от её лучшего
|
||||
хвоста. `eligible` — сколько строк прогон СОБРАЛ (данных хватило),
|
||||
`written` — сколько из них показано; `rejection_rule` — по какому правилу
|
||||
отобраны показанные, записанное ТЕМ прогоном, который их посчитал.
|
||||
|
||||
`eligible` минус `written` — НЕ «столько не поместилось»: с 2026-09-12
|
||||
витрина показывает полосу расхождения −5 %..+20 %, и в разницу входят
|
||||
строки, отсеянные полосой. Что это именно отбор, а не вся сверка, говорит
|
||||
`rejection_rule` — поэтому счётчики и правило показываются вместе, одной
|
||||
подписью, а не порознь.
|
||||
хвоста. `eligible` минус `written` — сколько годных строк не поместилось
|
||||
в витрину; `rejection_rule` — по какому правилу отсеяно остальное,
|
||||
записанное ТЕМ прогоном, который эти строки посчитал.
|
||||
"""
|
||||
|
||||
considered: int
|
||||
|
|
@ -532,8 +458,7 @@ _SHOWCASE_RUN_SQL = text(
|
|||
_SHOWCASE_SQL = text(
|
||||
"""
|
||||
SELECT district, rooms, area_m2, floor, total_floors, deal_quarter,
|
||||
predicted_rub, fact_rub, err_pct, n_analogs, note,
|
||||
lat, lon, street_name, street_scheme
|
||||
predicted_rub, fact_rub, err_pct, n_analogs, note
|
||||
FROM landing_showcase_deals
|
||||
WHERE computed_at = CAST(:computed_at AS timestamptz)
|
||||
ORDER BY id
|
||||
|
|
@ -541,12 +466,9 @@ _SHOWCASE_SQL = text(
|
|||
)
|
||||
|
||||
|
||||
@router.get(
|
||||
"/showcase",
|
||||
response_model=ShowcaseResponse,
|
||||
dependencies=[Depends(_budget(_showcase_limiter, "showcase"))],
|
||||
)
|
||||
@router.get("/showcase", response_model=ShowcaseResponse)
|
||||
def public_showcase(
|
||||
request: Request,
|
||||
db: Annotated[Session, Depends(get_db)],
|
||||
) -> ShowcaseResponse:
|
||||
"""Витрина лэндинга: реальные ДКП-сделки против прогноза МЕРЫ.
|
||||
|
|
@ -560,9 +482,10 @@ def public_showcase(
|
|||
нечего, и это ровно то, что фронт должен увидеть вместо выдуманных строк.
|
||||
|
||||
Вместе со строками едет `stats` — сколько сделок рассмотрено, сколько
|
||||
строк прогон собрал и по какому правилу из них отобраны показанные. Числа
|
||||
годных строк не поместилось и по какому правилу отсеяно остальное. Числа
|
||||
считает пересчёт; без них витрина не имеет права подписаться честно.
|
||||
"""
|
||||
_enforce(_showcase_limiter, request, "showcase")
|
||||
run = db.execute(_SHOWCASE_RUN_SQL).mappings().first()
|
||||
if run is None:
|
||||
return ShowcaseResponse(computed_at=None, deals=[], stats=None)
|
||||
|
|
@ -592,13 +515,6 @@ def public_showcase(
|
|||
err_pct=float(r["err_pct"]),
|
||||
n_analogs=int(r["n_analogs"]),
|
||||
note=r["note"],
|
||||
street_name=r["street_name"],
|
||||
street_scheme=r["street_scheme"],
|
||||
# Порядок не менять: lat — широта (~56.8 в ЕКБ), lon — долгота
|
||||
# (~60.6). Перепутанные местами координаты остаются валидными
|
||||
# float и уедут на карту точкой в другой стране.
|
||||
lat=(float(r["lat"]) if r["lat"] is not None else None),
|
||||
lon=(float(r["lon"]) if r["lon"] is not None else None),
|
||||
)
|
||||
for r in rows
|
||||
],
|
||||
|
|
@ -737,13 +653,7 @@ def _coverage_for(
|
|||
@router.post(
|
||||
"/estimate",
|
||||
response_model=PublicEstimateResult,
|
||||
# Порядок несущий: флаг ПЕРВЫМ. Лимитер впереди него отвечал бы 429 на
|
||||
# выключенной ручке, а несуществующий путь даёт 401 — то есть 429 снова
|
||||
# подтверждал бы существование ручки, ровно то, что чинил флаг-гейт.
|
||||
dependencies=[
|
||||
Depends(_require_public_estimate_enabled),
|
||||
Depends(_budget(_estimate_limiter, "estimate")),
|
||||
],
|
||||
dependencies=[Depends(_require_public_estimate_enabled)],
|
||||
)
|
||||
async def public_estimate(
|
||||
request: Request,
|
||||
|
|
@ -764,6 +674,8 @@ async def public_estimate(
|
|||
контур (сосед, `/api/v1/trade-in/r/{token}`) открывает его после оплаты по
|
||||
своему токену. Наружу здесь уезжает только `PublicEstimateResult`.
|
||||
"""
|
||||
_enforce(_estimate_limiter, request, "estimate")
|
||||
|
||||
daily_retry = _daily_estimate_limiter.retry_after(_ESTIMATE_GLOBAL_KEY)
|
||||
if daily_retry is not None:
|
||||
logger.error(
|
||||
|
|
@ -821,13 +733,10 @@ async def public_estimate(
|
|||
@router.post(
|
||||
"/estimate/read",
|
||||
response_model=PublicEstimateResult,
|
||||
# Флаг первым — по той же причине, что у `/estimate`.
|
||||
dependencies=[
|
||||
Depends(_require_public_estimate_enabled),
|
||||
Depends(_budget(_estimate_read_limiter, "estimate-read")),
|
||||
],
|
||||
dependencies=[Depends(_require_public_estimate_enabled)],
|
||||
)
|
||||
def public_estimate_read(
|
||||
request: Request,
|
||||
payload: PublicEstimateTokenInput,
|
||||
db: Annotated[Session, Depends(get_db)],
|
||||
) -> PublicEstimateResult:
|
||||
|
|
@ -842,6 +751,8 @@ def public_estimate_read(
|
|||
Просрочка и «нет такого токена» отвечают ОДИНАКОВО (404): различать их
|
||||
значит подтверждать существование расчёта тому, кто угадал токен.
|
||||
"""
|
||||
_enforce(_estimate_read_limiter, request, "estimate-read")
|
||||
|
||||
row = db.execute(
|
||||
text(
|
||||
"""
|
||||
|
|
|
|||
|
|
@ -40,6 +40,7 @@ from pydantic import BaseModel, Field, field_validator
|
|||
# убрал legacy app.services.scheduler.scheduler_loop fallback) — тот же orchestrator,
|
||||
# что и debug-роуты этого файла.
|
||||
from scraper_kit.base import save_listings
|
||||
from scraper_kit.browser_fetcher import BrowserFetcher
|
||||
from scraper_kit.orchestration.pipeline import (
|
||||
DEFAULT_REGION_CODE,
|
||||
run_avito_city_sweep,
|
||||
|
|
@ -48,7 +49,6 @@ from scraper_kit.orchestration.pipeline import (
|
|||
run_yandex_city_sweep,
|
||||
run_yandex_full_load,
|
||||
)
|
||||
from scraper_kit.providers._base import build_browser_fetcher
|
||||
from scraper_kit.providers.avito.detail import fetch_detail, save_detail_enrichment
|
||||
from scraper_kit.providers.avito.houses import fetch_house_catalog, save_house_catalog_enrichment
|
||||
from scraper_kit.providers.avito.imv import (
|
||||
|
|
@ -268,7 +268,6 @@ async def geocode_missing(
|
|||
db: Annotated[Session, Depends(get_db)],
|
||||
limit: int = 100,
|
||||
target: Literal["listings", "deals"] = "listings",
|
||||
region_code: int = 66,
|
||||
) -> dict:
|
||||
"""Геокодинг listings ИЛИ deals у которых нет lat/lon (используя address).
|
||||
|
||||
|
|
@ -280,10 +279,6 @@ async def geocode_missing(
|
|||
geocode_tried_at: после КАЖДОЙ попытки (успех/провал) ставим NOW(). Failed-
|
||||
адреса не выбираются повторно 7 дней → cron-loop завершается, не зацикливается.
|
||||
geom обновляется автоматически триггером.
|
||||
|
||||
region_code (дефолт 66, #3051) — фильтрует обе таблицы (`listings`/`deals`
|
||||
несут колонку) и прокидывается в `known_city_hint`/`geocode`. Дефолт 66 —
|
||||
прежнее поведение без изменений (cron не меняется, follow-up ниже).
|
||||
"""
|
||||
# Доп. фильтр для listings — у Avito встречаются плейсхолдер-адреса.
|
||||
extra_filter = "AND address NOT LIKE '%(Avito)%'" if target == "listings" else ""
|
||||
|
|
@ -296,14 +291,13 @@ async def geocode_missing(
|
|||
WHERE lat IS NULL
|
||||
AND COALESCE(address, '') != ''
|
||||
{extra_filter}
|
||||
AND region_code = CAST(:region_code AS int)
|
||||
AND (geocode_tried_at IS NULL
|
||||
OR geocode_tried_at < NOW() - interval '7 days')
|
||||
ORDER BY geocode_tried_at NULLS FIRST
|
||||
LIMIT :limit
|
||||
"""
|
||||
),
|
||||
{"limit": limit, "region_code": region_code},
|
||||
{"limit": limit},
|
||||
)
|
||||
.mappings()
|
||||
.all()
|
||||
|
|
@ -338,8 +332,8 @@ async def geocode_missing(
|
|||
# хинт закрывает EKB-локальные тиры и уезжает префиксом в запрос
|
||||
# провайдеру, т.е. вреднее отсутствия хинта. Общий хелпер, тот же, что у
|
||||
# scripts/geocode_deals_nominatim.py и tasks/geocode_missing.py.
|
||||
city = known_city_hint(row.get("city"), region_code)
|
||||
result = await geocode(clean, db, city_hint=city, region_code=region_code)
|
||||
city = known_city_hint(row.get("city"))
|
||||
result = await geocode(clean, db, city_hint=city)
|
||||
if result is None:
|
||||
# Помечаем что пробовали — иначе ретрай на каждом cron.
|
||||
db.execute(
|
||||
|
|
@ -368,12 +362,10 @@ async def geocode_missing(
|
|||
WHERE lat IS NULL
|
||||
AND COALESCE(address, '') != ''
|
||||
{extra_filter}
|
||||
AND region_code = CAST(:region_code AS int)
|
||||
AND (geocode_tried_at IS NULL
|
||||
OR geocode_tried_at < NOW() - interval '7 days')
|
||||
"""
|
||||
),
|
||||
{"region_code": region_code},
|
||||
)
|
||||
).scalar()
|
||||
|
||||
return {
|
||||
|
|
@ -516,16 +508,9 @@ async def cian_auto_login(
|
|||
)
|
||||
|
||||
try:
|
||||
# #3197 (хвост): через фабрику (endpoint/environment из одного места), но
|
||||
# НАМЕРЕННО без proxy_provider. `/login` сайдкара proxy-override не принимает
|
||||
# (browser/server.py:2814-2817 — `_no_live_proxy(provider, None)`; и сам
|
||||
# `_post_login` не кладёт payload["proxy"], это делают только fetch/fetch_json) —
|
||||
# логин идёт с env-узла сайдкара. Аренда здесь была бы холостой и при пустом пуле
|
||||
# блокировала бы ручку восстановления (`_acquire_lease` → NoProxyAvailableError →
|
||||
# 502 ровно во время инцидента с пулом). Пул для логина — отдельная задача сайдкара.
|
||||
# `use_pool` без провайдера фетчер игнорирует (`_acquire_lease`: use_pool AND
|
||||
# provider is not None), поэтому передавать его тут безвредно, но и бесполезно.
|
||||
async with build_browser_fetcher(RealScraperConfig(), "cian") as fetcher:
|
||||
async with BrowserFetcher(
|
||||
source="cian", endpoint=settings.browser_http_endpoint
|
||||
) as fetcher:
|
||||
raw_cookies = await fetcher.login(
|
||||
url=settings.cian_login_url,
|
||||
email=email,
|
||||
|
|
@ -714,12 +699,7 @@ async def debug_domclick_detail_fetch(
|
|||
# построен и verified live именно 2026-07-04 (815КБ __SSR_STATE__ через свежий IP).
|
||||
# Заменяет прежний source="cian" (docstring domclick/detail.py — устаревшая
|
||||
# рекомендация от 2026-06-27, до появления выделенного пула).
|
||||
# #3197 (хвост): фабрика вместо прямой конструкции — она и есть то место, где
|
||||
# proxy_provider/use_pool/environment попадают в тело POST /fetch. Без них узел
|
||||
# выбирал сайдкар из своего env, а не пул с provider_affinity='domclick'.
|
||||
async with build_browser_fetcher(
|
||||
RealScraperConfig(), "domclick", proxy_provider=_kit_proxy_provider()
|
||||
) as bf:
|
||||
async with BrowserFetcher(source="domclick", endpoint=settings.browser_http_endpoint) as bf:
|
||||
try:
|
||||
enrichment = await domclick_fetch_detail(
|
||||
body.card_url, browser_fetcher=bf, cookies=cookies
|
||||
|
|
@ -1126,10 +1106,6 @@ async def scrape_avito_imv(
|
|||
has_balcony=has_balcony,
|
||||
has_loggia=has_loggia,
|
||||
config=RealScraperConfig(),
|
||||
# #3386: без provider'а curl_proxy_url считает use_pool=False (флаг AND
|
||||
# provider is not None) → env-прокси SCRAPER_PROXY_URL, мёртвый узел (#2613).
|
||||
# _kit_proxy_provider() отдаёт None при выключенных флагах — ship-dark цел.
|
||||
proxy_provider=_kit_proxy_provider(),
|
||||
)
|
||||
except IMVAddressNotFoundError as e:
|
||||
# Ожидаемое клиентское условие (адрес не в базе Avito), НЕ сбой — logger.warning
|
||||
|
|
@ -1968,10 +1944,7 @@ async def scrape_yandex_newbuilding(
|
|||
"""
|
||||
# fetch_jk использует внутренний BrowserFetcher, httpx-клиент BaseScraper не нужен.
|
||||
# config= обязателен (#2322 fix) — иначе BrowserFetcher строится без endpoint=.
|
||||
# proxy_provider (#3197): без него сайдкар уходит на свой env-узел мимо пула.
|
||||
scraper = YandexNewbuildingScraper(
|
||||
config=RealScraperConfig(), proxy_provider=_kit_proxy_provider()
|
||||
)
|
||||
scraper = YandexNewbuildingScraper(config=RealScraperConfig())
|
||||
result = await scraper.fetch_jk(jk_slug=slug, jk_id=id, city=city)
|
||||
if result is None:
|
||||
raise HTTPException(404, f"Could not parse Yandex JK: {slug}-{id} in {city}")
|
||||
|
|
|
|||
|
|
@ -73,7 +73,6 @@ from app.core.password import (
|
|||
verify_slots_saturated,
|
||||
)
|
||||
from app.core.ratelimit import SlidingWindowLimiter, _client_ip
|
||||
from app.observability.metrics import LOGINS
|
||||
from app.services.auth_session import create_session, get_user_by_username, revoke_session
|
||||
from app.services.identity_store import AccessState, get_identity_db
|
||||
from app.services.user_events import schedule_event
|
||||
|
|
@ -325,7 +324,6 @@ async def _reject_invalid_credentials(
|
|||
fails = _USERNAME_FAIL_LIMITER.record(username)
|
||||
delay_s = _throttle_delay_s(fails)
|
||||
|
||||
LOGINS.labels(result="failed").inc()
|
||||
schedule_event(
|
||||
event_type="login_failed",
|
||||
username=username,
|
||||
|
|
@ -454,7 +452,6 @@ async def login(
|
|||
path="/",
|
||||
)
|
||||
|
||||
LOGINS.labels(result="success").inc()
|
||||
schedule_event(
|
||||
event_type="login_success",
|
||||
username=user["username"],
|
||||
|
|
|
|||
|
|
@ -7,37 +7,16 @@ from typing import Annotated
|
|||
|
||||
from fastapi import APIRouter, Depends, HTTPException, Query
|
||||
from pydantic import BaseModel, Field
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from app.core.db import get_db, run_db_thread
|
||||
from app.observability.metrics import ADDRESS_SUGGESTIONS
|
||||
from app.services.estimator import _lookup_house_facts
|
||||
from app.core.db import get_db
|
||||
from app.services.geocoder import GeocodeResult, geocode, reverse_geocode, suggest
|
||||
from app.services.regions import DEFAULT_REGION_CODE, region_by_city
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
router = APIRouter()
|
||||
|
||||
|
||||
def effective_region_code(region_code: int | None, city_hint: str | None) -> int:
|
||||
"""Регион для геокодера (#3051): явный `region_code` > вывод из `city_hint` > 66.
|
||||
|
||||
До этого хелпера `/suggest` всегда уходил в геокодер с регионом 66
|
||||
по умолчанию — московский `city_hint` («Москва») молча получал
|
||||
свердловский bbox-констрейнт и терял подсказки. Реестр `app.services.regions`
|
||||
уже знает, каким городам какой регион соответствует (REGIONS[77].cities
|
||||
содержит «москва») — используем его вместо повторного захардкоженного списка.
|
||||
"""
|
||||
if region_code is not None:
|
||||
return region_code
|
||||
region = region_by_city(city_hint)
|
||||
if region is not None:
|
||||
return region.code
|
||||
return DEFAULT_REGION_CODE
|
||||
|
||||
|
||||
@router.get("/lookup", response_model=GeocodeResult)
|
||||
async def lookup(
|
||||
address: Annotated[str, Query(min_length=3, max_length=500)],
|
||||
|
|
@ -99,21 +78,9 @@ async def suggest_addresses(
|
|||
),
|
||||
),
|
||||
] = None,
|
||||
region_code: Annotated[
|
||||
int | None,
|
||||
Query(
|
||||
description=(
|
||||
"Регион покрытия (#3051). None (дефолт) — выводится из `city_hint` "
|
||||
"через реестр регионов, иначе 66 (Свердловская область, прежнее "
|
||||
"поведение). 77 — Москва: без него DaData и Nominatim получают "
|
||||
"свердловский hard-констрейнт и молча возвращают ПУСТО на "
|
||||
"московском адресе."
|
||||
),
|
||||
),
|
||||
] = None,
|
||||
) -> SuggestResponse:
|
||||
"""Автокомплит адресов в регионе `region_code` (дефолт 66 — Свердловская область;
|
||||
ЕКБ — основной трафик, остаётся быстрым fast-path).
|
||||
"""Автокомплит адресов в Свердловской области (region 66; ЕКБ — основной трафик,
|
||||
остаётся быстрым fast-path).
|
||||
|
||||
Используется в EstimateForm для подсказок пока пользователь печатает.
|
||||
Bounded viewbox — генеральный по всей области (см. geocoder.OBLAST66_VIEWBOX),
|
||||
|
|
@ -123,17 +90,8 @@ async def suggest_addresses(
|
|||
/api/v1/geocode/suggest?q=Малышева
|
||||
/api/v1/geocode/suggest?q=Цвиллинга # → пусто, такой улицы в ЕКБ нет
|
||||
/api/v1/geocode/suggest?q=Ленина+1&city_hint=Нижний+Тагил
|
||||
/api/v1/geocode/suggest?q=Тверская+6®ion_code=77 # Москва
|
||||
"""
|
||||
resolved_region_code = effective_region_code(region_code, city_hint)
|
||||
try:
|
||||
items = await suggest(
|
||||
q, db=db, limit=limit, city_hint=city_hint, region_code=resolved_region_code
|
||||
)
|
||||
except ValueError as exc:
|
||||
# Регион вне реестра покрытия — 422, а не 500: это ошибка ввода клиента.
|
||||
raise HTTPException(status_code=422, detail=str(exc)) from exc
|
||||
ADDRESS_SUGGESTIONS.labels(found="yes" if items else "no").inc()
|
||||
items = await suggest(q, db=db, limit=limit, city_hint=city_hint)
|
||||
return SuggestResponse(
|
||||
items=[
|
||||
SuggestItem(
|
||||
|
|
@ -195,103 +153,3 @@ async def reverse(
|
|||
precision=result.precision,
|
||||
provider=result.provider,
|
||||
)
|
||||
|
||||
|
||||
class HouseFactsResponse(BaseModel):
|
||||
"""Ответ /house-facts."""
|
||||
|
||||
found: bool
|
||||
total_floors: int | None = None
|
||||
year_built: int | None = None
|
||||
house_type: str | None = None
|
||||
source: str | None = Field(
|
||||
default=None, description="'houses' когда факты найдены в справочнике, иначе None"
|
||||
)
|
||||
|
||||
|
||||
def _resolve_house_id_by_fias(db: Session, fias_id: str) -> int | None:
|
||||
"""Ищет id дома в `houses` по ФИАС/ГАР guid — по трём алиасам guid-полей
|
||||
справочника (заполняются из разных источников загрузки: DOM.РФ/ГИС ЖКХ/ГАР).
|
||||
Best-effort: не нашли — вызывающий молча падает на geo-фолбэк по lat/lon.
|
||||
"""
|
||||
try:
|
||||
row = (
|
||||
db.execute(
|
||||
text(
|
||||
"""
|
||||
SELECT id FROM houses
|
||||
WHERE gar_house_guid = CAST(:g AS text)
|
||||
OR house_fias_id = CAST(:g AS text)
|
||||
OR zhkh_house_guid = CAST(:g AS text)
|
||||
LIMIT 1
|
||||
"""
|
||||
),
|
||||
{"g": fias_id},
|
||||
)
|
||||
.mappings()
|
||||
.first()
|
||||
)
|
||||
except Exception as exc: # pragma: no cover — defensive
|
||||
# Тот же best-effort, что и у _lookup_house_facts ниже по цепочке:
|
||||
# предзаполнение формы НЕ должно ронять запрос в 500. Откатываем
|
||||
# транзакцию, чтобы не отравить сессию для последующего geo-фолбэка.
|
||||
logger.warning("house-facts: fias lookup failed (graceful): %s", exc)
|
||||
try:
|
||||
db.rollback()
|
||||
except Exception: # pragma: no cover — defensive
|
||||
pass
|
||||
return None
|
||||
if row is None:
|
||||
return None
|
||||
house_id = row["id"]
|
||||
return house_id if isinstance(house_id, int) else None
|
||||
|
||||
|
||||
@router.get("/house-facts", response_model=HouseFactsResponse)
|
||||
async def house_facts(
|
||||
lat: Annotated[float, Query(ge=-90, le=90)],
|
||||
lon: Annotated[float, Query(ge=-180, le=180)],
|
||||
db: Annotated[Session, Depends(get_db)],
|
||||
fias_id: Annotated[str | None, Query(max_length=64)] = None,
|
||||
) -> HouseFactsResponse:
|
||||
"""Предзаполнение формы оценки (этажность/год/тип дома) из справочника `houses`.
|
||||
|
||||
Покрытие справочника: total_floors — 98.3%, year_built — 86.8% (прод, 2026-08).
|
||||
Переиспользует ту же логику поиска, что и estimate_quality() (#3234): по
|
||||
target_house_id если резолвился ФИАС, иначе ближайший дом в радиусе 60м от
|
||||
lat/lon (ST_DWithin).
|
||||
|
||||
Отдельная ручка, а не поле в /suggest: suggest дёргается на КАЖДОЕ нажатие
|
||||
клавиши автокомплита (debounced, но всё равно несколько запросов на ввод
|
||||
адреса) — тащить туда ещё один запрос к houses на каждый из 8 кандидатов
|
||||
на каждый keystroke было бы неоправданной нагрузкой на БД. /house-facts
|
||||
вызывается ОДИН раз, после того как пользователь выбрал конкретный адрес
|
||||
из подсказок.
|
||||
|
||||
found=false (200, НЕ 404) означает «дома нет в справочнике» — это не
|
||||
ошибка запроса, а честный ответ об отсутствии данных.
|
||||
|
||||
Пример:
|
||||
/api/v1/geocode/house-facts?lat=56.838&lon=60.595
|
||||
/api/v1/geocode/house-facts?lat=56.838&lon=60.595&fias_id=...
|
||||
"""
|
||||
target_house_id: int | None = None
|
||||
if fias_id is not None:
|
||||
target_house_id = await run_db_thread(_resolve_house_id_by_fias, db, fias_id)
|
||||
|
||||
facts = await run_db_thread(
|
||||
_lookup_house_facts,
|
||||
db,
|
||||
target_house_id=target_house_id,
|
||||
lat=lat,
|
||||
lon=lon,
|
||||
)
|
||||
if facts is None:
|
||||
return HouseFactsResponse(found=False)
|
||||
return HouseFactsResponse(
|
||||
found=True,
|
||||
total_floors=facts.total_floors,
|
||||
year_built=facts.year_built,
|
||||
house_type=facts.house_type,
|
||||
source="houses",
|
||||
)
|
||||
|
|
|
|||
|
|
@ -13,11 +13,9 @@ _send_uptime_generic``) в итоге идут через ОДНУ И ТУ ЖЕ
|
|||
1) тело запроса для issue и uptime алертов структурно ОДИНАКОВОЕ —
|
||||
``{"text": str, "attachments": [{"title","title_link","text","color",
|
||||
"fields",...}]}`` — просто у uptime пустые/отсутствующие ``fields``/``color``;
|
||||
2) единственный канал для аутентификации от САМОГО GlitchTip — сам URL (как и
|
||||
у Slack-вебхуков): заголовок GlitchTip-сторона не добавляет. Поэтому
|
||||
хендлер принимает секрет и из заголовка ``X-GlitchTip-Secret``
|
||||
(предпочтительно — не течёт в access-log, #3154), и из query-параметра
|
||||
``?secret=`` как fallback для текущего отправителя.
|
||||
2) единственный канал для аутентификации — сам URL (как и Slack-вебхуки).
|
||||
Секрет ОБЯЗАН ехать query-параметром, HTTP-заголовок здесь поставить
|
||||
нечем (GlitchTip-сторона его не добавляет).
|
||||
|
||||
Переиспользуем существующий ``TRADEIN_INTERNAL_AUTH_SECRET`` (#2213
|
||||
defense-in-depth, см. ``app.core.rbac``) вместо нового секрета — тот же
|
||||
|
|
@ -49,15 +47,11 @@ import secrets
|
|||
from datetime import UTC, datetime
|
||||
from typing import Annotated, Any
|
||||
|
||||
from fastapi import APIRouter, Header, HTTPException, Query, Request
|
||||
from fastapi.responses import JSONResponse
|
||||
from fastapi import APIRouter, HTTPException, Query, Request
|
||||
from pydantic import BaseModel, ConfigDict, ValidationError
|
||||
from starlette.background import BackgroundTask
|
||||
|
||||
from app.core.config import settings
|
||||
from app.services.tgbot.client import TelegramError
|
||||
from app.services.tgbot.shared import get_telegram_client
|
||||
from app.tasks.glitchtip_alert_retry import retry_forward_alert
|
||||
from app.services.tgbot.client import TelegramApiError, TelegramClient
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
|
@ -181,58 +175,33 @@ def _alerts_configured() -> bool:
|
|||
|
||||
def _verify_secret(provided: str) -> None:
|
||||
expected = settings.tradein_internal_auth_secret
|
||||
# constant-time: длина/префикс секрета не утекают через время ответа.
|
||||
if not secrets.compare_digest(provided or "", expected):
|
||||
logger.warning("glitchtip webhook: invalid or missing secret")
|
||||
logger.warning("glitchtip webhook: invalid or missing secret query param")
|
||||
raise HTTPException(status_code=401, detail="invalid or missing secret")
|
||||
|
||||
|
||||
@router.post("/ops/glitchtip-webhook", response_model=None)
|
||||
@router.post("/ops/glitchtip-webhook")
|
||||
async def glitchtip_webhook(
|
||||
request: Request,
|
||||
secret: Annotated[str, Query()] = "",
|
||||
header_secret: Annotated[str, Header(alias="X-GlitchTip-Secret")] = "",
|
||||
) -> dict[str, str] | JSONResponse:
|
||||
) -> dict[str, str]:
|
||||
"""Приёмник GlitchTip webhook-алертов (issue + uptime) → пересылка в
|
||||
Telegram-тему алертов (``TELEGRAM_ALERTS_CHAT_ID``/``TELEGRAM_ALERTS_TOPIC_ID``
|
||||
— ОТДЕЛЬНАЯ тема от support-топика, см. docstring модуля).
|
||||
|
||||
Отказ синхронной попытки (#3471) отвечает 502 как и раньше (#3456 — честный
|
||||
сигнал отправителю), но ставит доставку в фон
|
||||
(``app.tasks.glitchtip_alert_retry.retry_forward_alert`` через
|
||||
``starlette.background.BackgroundTask`` на самом ответе) — GlitchTip вебхуки
|
||||
не ретраит (#3157), без этого текст алерта терялся бы безвозвратно.
|
||||
``BackgroundTask`` привязан НАПРЯМУЮ к возвращаемому ``JSONResponse``, а не
|
||||
к ``BackgroundTasks``-зависимости: FastAPI прикрепляет задачи из
|
||||
``BackgroundTasks`` только к ответу, который вернул сам хендлер, а `raise
|
||||
HTTPException` строит ОТДЕЛЬНЫЙ ответ в exception-мидлваре — задачи,
|
||||
поставленные до `raise`, в реальности молча терялись бы вместе с ним (это
|
||||
воспроизведено тестом, не гипотеза).
|
||||
|
||||
Путь публичный в ``rbac_guard`` (``app.core.rbac._PUBLIC_PATHS``) — этот
|
||||
хендлер сам делает единственную проверку секрета.
|
||||
|
||||
Секрет принимается ИЗ ЗАГОЛОВКА ``X-GlitchTip-Secret``, а query-параметр
|
||||
``?secret=`` остаётся fallback'ом (#3154). Заголовок предпочтителен потому,
|
||||
что query едет в access-log и оттуда в Loki открытым текстом; query оставлен,
|
||||
т.к. САМ GlitchTip 6.1.6 заголовков не шлёт вовсе (``send_webhook()`` —
|
||||
``session.post(url, json=...)`` без headers, см. docstring модуля), и убрать
|
||||
query можно только когда заголовок начнёт подставлять кто-то перед нами
|
||||
(Caddy ``header_up`` на маршруте вебхука) либо после смены отправителя.
|
||||
хендлер сам делает единственную проверку (``secret`` query-параметр).
|
||||
"""
|
||||
if not _alerts_configured():
|
||||
raise HTTPException(status_code=503, detail="glitchtip alerts webhook not configured")
|
||||
|
||||
_verify_secret(header_secret or secret)
|
||||
_verify_secret(secret)
|
||||
|
||||
raw_body = await request.body()
|
||||
received_at = datetime.now(UTC)
|
||||
text = _build_message(raw_body, received_at)
|
||||
|
||||
# Общий клиент приложения (#tg-connection-resilience): на каждый запрос
|
||||
# свой создавать нельзя — это ноль keep-alive и полный TCP+TLS-хендшейк
|
||||
# до api.telegram.org перед каждой отправкой. Живёт в lifespan.
|
||||
client = get_telegram_client()
|
||||
client = TelegramClient(settings.telegram_bot_token)
|
||||
try:
|
||||
await client.send_message(
|
||||
chat_id=settings.telegram_alerts_chat_id,
|
||||
|
|
@ -243,30 +212,8 @@ async def glitchtip_webhook(
|
|||
timeout=_INTERACTIVE_SEND_TIMEOUT_S,
|
||||
max_retries=_INTERACTIVE_SEND_MAX_RETRIES,
|
||||
)
|
||||
except TelegramError:
|
||||
# Ловим общий предок, а не `TelegramApiError`: недоступность Telegram —
|
||||
# тоже «переслать не смогли», и отвечать на неё надо задуманным 502, а не
|
||||
# 500 из необработанного исключения (#3456). 502 ОСТАЁТСЯ — это честный
|
||||
# сигнал отправителю. Но GlitchTip вебхуки не ретраит (#3157) — без этого
|
||||
# текст алерта пропал бы бесследно, поэтому доставку ставим в фон
|
||||
# (#3471, см. app.tasks.glitchtip_alert_retry).
|
||||
#
|
||||
# `raise HTTPException` здесь НЕ подходит: FastAPI прикрепляет
|
||||
# background-задачи только к ответу, который вернул сам хендлер, а
|
||||
# исключение строит СВОЙ отдельный JSONResponse в exception-мидлваре —
|
||||
# задача, поставленная до `raise`, никогда бы не выполнилась. Поэтому
|
||||
# 502 собран и возвращён вручную, с задачей на этом же объекте ответа.
|
||||
except TelegramApiError:
|
||||
logger.exception("glitchtip webhook: не удалось переслать алерт в Telegram")
|
||||
return JSONResponse(
|
||||
status_code=502,
|
||||
content={"detail": "failed to forward alert to telegram"},
|
||||
background=BackgroundTask(
|
||||
retry_forward_alert,
|
||||
client,
|
||||
chat_id=settings.telegram_alerts_chat_id,
|
||||
text=text,
|
||||
message_thread_id=settings.telegram_alerts_topic_id or None,
|
||||
),
|
||||
)
|
||||
raise HTTPException(status_code=502, detail="failed to forward alert to telegram") from None
|
||||
|
||||
return {"status": "ok"}
|
||||
|
|
|
|||
|
|
@ -33,7 +33,6 @@ from sqlalchemy.orm import Session
|
|||
from app.api.v1.trade_in import _assert_estimate_access
|
||||
from app.core.config import settings
|
||||
from app.core.db import get_db
|
||||
from app.observability.metrics import LEADS
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
|
@ -54,19 +53,12 @@ _PHONE_MAX_DIGITS = 15
|
|||
# только в audit-лог (#2497 TODO, теперь закрыт).
|
||||
#
|
||||
# Значение = дата утверждения политики (PRIVACY_APPROVAL в frontend/src/app/
|
||||
# mera-public/content.ts: «приказом директора № 2 от 10 сентября 2026 г.» →
|
||||
# "2026-09-10"), а не дата этого коммита — версия обязана указывать на редакцию
|
||||
# mera-public/content.ts: «приказом директора № 1 от 13 августа 2026 г.» →
|
||||
# "2026-08-13"), а не дата этого коммита — версия обязана указывать на редакцию
|
||||
# ДОКУМЕНТА, на который согласие фактически ссылается (чекбокс теперь линкует
|
||||
# именно на /mera-public/privacy). test_consent_text_frontend_sync.py проверяет
|
||||
# это соответствие автоматически, так что рассинхронизация здесь падает в CI.
|
||||
#
|
||||
# Редакция № 2 от 10.09.2026: в политику добавлен раздел 9 «Файлы cookie и
|
||||
# веб-аналитика» (на публичный сайт поставлены Яндекс.Метрика и GA4), прежний
|
||||
# раздел «Контакты» стал десятым. Согласия, собранные до этой даты, ссылаются
|
||||
# на редакцию № 1 и остаются с версией "2026-08-13" — в этом и смысл хранить
|
||||
# версию per-row: снимок согласия должен указывать на тот документ, который
|
||||
# человек видел, а не на текущий.
|
||||
_CONSENT_POLICY_VERSION = "2026-09-10"
|
||||
_CONSENT_POLICY_VERSION = "2026-08-13"
|
||||
|
||||
# Снимок точного текста согласия, который видит пользователь при отправке лида
|
||||
# (ПЛОСКИЙ текст — без разметки ссылки на политику, которая в LeadForm.tsx рядом
|
||||
|
|
@ -174,7 +166,6 @@ async def create_trade_in_lead(
|
|||
)
|
||||
|
||||
db.commit()
|
||||
LEADS.inc()
|
||||
|
||||
logger.info(
|
||||
"trade_in_lead saved id=%s estimate_id=%s source=%s ip=%s policy=%s",
|
||||
|
|
|
|||
|
|
@ -187,52 +187,12 @@ _ABANDONABLE_STATUSES = frozenset({"NEW", "FORM_SHOWED"})
|
|||
# списания требуют, чтобы человек намеренно оплатил обе формы.
|
||||
_ABANDONED_AFTER_MINUTES = 30
|
||||
|
||||
# Статус для строки, чей Init отвалился: своего кода вроде INIT_FAILED в
|
||||
# CHECK миграции 233 нет, а заводить его ради этого случая значило бы менять
|
||||
# схему ради ярлыка — «почему» и так лежит в error_code/error_message. Берём
|
||||
# терминальный DEADLINE_EXPIRED, которым checkout уже помечает попытки, из
|
||||
# которых платёж не выйдет сам. Обязательное свойство ровно одно: статус ВНЕ
|
||||
# предиката 279 (= вне _REUSABLE_STATUSES), иначе мёртвая строка продолжит
|
||||
# держать пару (estimate_id, product_code). Это стережёт
|
||||
# tests/test_payments_router.py::test_init_failed_status_is_terminal.
|
||||
_INIT_FAILED_STATUS = "DEADLINE_EXPIRED"
|
||||
|
||||
_ORDER_ID_PREFIX = "mera-"
|
||||
# 32 байта энтропии (43 символа base64url) — перебор capability-ссылки
|
||||
# неосуществим, а сама ссылка остаётся кликабельной в мессенджере.
|
||||
_REPORT_TOKEN_BYTES = 32
|
||||
|
||||
|
||||
def _mark_init_failed(db: Session, order_id: str, *, code: str, message: str) -> None:
|
||||
"""Переводит строку провалившегося Init в терминальный статус + «почему».
|
||||
|
||||
Общая для ВСЕХ исходов, после которых ссылки у строки не будет: отказ банка
|
||||
и Success:true без PaymentURL. Статус NEW тут оставлять нельзя — см.
|
||||
комментарий к `_INIT_FAILED_STATUS`: строка без `payment_url` невидима для
|
||||
`_find_live_payment`, но видима предикату UNIQUE миграции 279, и следующий
|
||||
checkout получил бы ложный 409 на все `_ABANDONED_AFTER_MINUTES`.
|
||||
"""
|
||||
db.execute(
|
||||
text(
|
||||
"""
|
||||
UPDATE payments
|
||||
SET status = :status,
|
||||
error_code = :code,
|
||||
error_message = :message,
|
||||
updated_at = NOW()
|
||||
WHERE order_id = :order_id
|
||||
"""
|
||||
),
|
||||
{
|
||||
"status": _INIT_FAILED_STATUS,
|
||||
"code": code[:64],
|
||||
"message": message[:500],
|
||||
"order_id": order_id,
|
||||
},
|
||||
)
|
||||
db.commit()
|
||||
|
||||
|
||||
def _require_enabled() -> None:
|
||||
"""Kill-switch контура. 503, а не 404: путь существует, приём оплаты выключен."""
|
||||
if not settings.payments_enabled:
|
||||
|
|
@ -429,17 +389,21 @@ def checkout(
|
|||
)
|
||||
)
|
||||
except TBankApiError as exc:
|
||||
# Запись остаётся в БД с текстом ошибки — иначе факт попытки (и заказа,
|
||||
# который банк мог принять до обрыва) не остался бы нигде. Холда здесь
|
||||
# быть не может: Init только заводит заказ и отдаёт ссылку на форму, а
|
||||
# авторизация суммы происходит, когда покупатель платит по форме — её
|
||||
# ему не выдавали. Слепой повтор Init по тому же order_id всё равно
|
||||
# Запись остаётся в БД со статусом NEW и текстом ошибки — иначе факт
|
||||
# попытки (и возможного холда, если обрыв случился после приёма запроса
|
||||
# банком) не остался бы нигде. Слепой повтор Init по тому же order_id
|
||||
# запрещён (см. докстринг init_payment) — это работа реконсиляции.
|
||||
#
|
||||
# Статус — терминальный (см. `_mark_init_failed`); если банк всё же
|
||||
# пришлёт по этой строке нотификацию, статус-машина notify доведёт её до
|
||||
# конца (терминальный статус не блокирует CONFIRMED).
|
||||
_mark_init_failed(db, order_id, code=exc.error_code, message=str(exc))
|
||||
db.execute(
|
||||
text(
|
||||
"""
|
||||
UPDATE payments
|
||||
SET error_code = :code, error_message = :message, updated_at = NOW()
|
||||
WHERE order_id = :order_id
|
||||
"""
|
||||
),
|
||||
{"code": exc.error_code[:64], "message": str(exc)[:500], "order_id": order_id},
|
||||
)
|
||||
db.commit()
|
||||
logger.warning("checkout: Init отклонён банком, order_id=%s: %s", order_id, exc)
|
||||
raise HTTPException(status_code=502, detail="payment provider error") from exc
|
||||
|
||||
|
|
@ -447,15 +411,7 @@ def checkout(
|
|||
tbank_payment_id = init.get("PaymentId")
|
||||
if not isinstance(payment_url, str) or not payment_url:
|
||||
# Success:true без PaymentURL — контракт банка нарушен; выдумывать
|
||||
# ссылку нечем. Замок тот же, что и у отказа выше, и даже вернее: банк
|
||||
# заказ ПРИНЯЛ, а ссылки у строки уже не будет — оставить её в NEW
|
||||
# значит отдать следующему checkout ложный 409 на 30 минут.
|
||||
_mark_init_failed(
|
||||
db,
|
||||
order_id,
|
||||
code="no_payment_url",
|
||||
message=f"Init: Success без PaymentURL (Status={init.get('Status')!r})",
|
||||
)
|
||||
# ссылку нечем.
|
||||
logger.error("checkout: Init без PaymentURL, order_id=%s", order_id)
|
||||
raise HTTPException(status_code=502, detail="payment provider returned no payment url")
|
||||
|
||||
|
|
|
|||
|
|
@ -14,6 +14,7 @@ module docstring (честно про то, что не всегда разре
|
|||
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
import logging
|
||||
from typing import Annotated
|
||||
from uuid import UUID
|
||||
|
|
@ -22,7 +23,7 @@ from fastapi import APIRouter, Depends, HTTPException
|
|||
from pydantic import BaseModel, Field
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from app.core.db import get_db, run_db_thread
|
||||
from app.core.db import get_db
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
|
@ -66,7 +67,7 @@ async def erase_person_data_endpoint(
|
|||
|
||||
from app.services.data_erasure import erase_person_data
|
||||
|
||||
counters = await run_db_thread(
|
||||
counters = await asyncio.to_thread(
|
||||
erase_person_data,
|
||||
db,
|
||||
username=payload.username,
|
||||
|
|
|
|||
|
|
@ -62,23 +62,18 @@ import hashlib
|
|||
import logging
|
||||
import re
|
||||
import secrets
|
||||
import time
|
||||
from datetime import UTC, datetime
|
||||
from typing import Annotated, Literal
|
||||
|
||||
from fastapi import APIRouter, Depends, HTTPException, Query, Request, Response
|
||||
from pydantic import BaseModel, Field, field_validator
|
||||
from sqlalchemy.exc import SQLAlchemyError
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from app.core.config import settings
|
||||
from app.core.db import get_db
|
||||
from app.core.ratelimit import SlidingWindowLimiter, _client_ip
|
||||
from app.observability.metrics import SUPPORT_MESSAGES
|
||||
from app.services.tgbot import web_support_storage as storage
|
||||
from app.services.tgbot.bridge import SERVICE_UNAVAILABLE_TEXT
|
||||
from app.services.tgbot.client import TelegramError
|
||||
from app.services.tgbot.shared import get_telegram_client
|
||||
from app.services.tgbot.client import TelegramApiError, TelegramClient
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
|
@ -99,86 +94,16 @@ _send_limiter = SlidingWindowLimiter(limit=_SEND_RATE_LIMIT, window_s=_SEND_RATE
|
|||
# #tgsupport-web review H1: интерактивный HTTP-запрос НЕ МОЖЕТ наследовать
|
||||
# воркерную политику ретраев `TelegramClient` (по умолчанию — до 5 попыток, на
|
||||
# 429 спит `retry_after` Telegram'а — для группы штатно 30-60с, на 5xx backoff до
|
||||
# 30с — легальный суммарный бюджет минуты). Узкий бюджет здесь: интерактивный
|
||||
# клиент должен получить ответ (даже если это ошибка) за секунды, а не висеть до
|
||||
# исчерпания воркерных ретраев.
|
||||
#
|
||||
# Числа подобраны по замеру прода 01.09.2026 (#tgsupport-retry), а не на глаз.
|
||||
# Что измерено на самом хосте, из контейнера бота:
|
||||
# - канал до api.telegram.org рвётся постоянно: 353 ConnectTimeout за сутки в
|
||||
# логе long-polling'а; доля отказов на попытку 15-38% всплесками (пять проб:
|
||||
# 3/8, 15/40, 5/20, 3/20, 1/25). Транспорт ни при чём — httpx и сырой сокет
|
||||
# отваливаются одинаково (25% против 35% в чередующемся замере);
|
||||
# - успешный запрос отвечает за 0.13с, максимум из 25 проб — 0.18с;
|
||||
# - неудачный НИКОГДА не отваливается быстро: все отказы упираются в таймаут
|
||||
# целиком (10.02с при timeout=10.0), быстрых — ноль;
|
||||
# - через `SCRAPER_PROXY_URL` не легчает, а хуже: 0 из 20. Прокси не решение.
|
||||
#
|
||||
# Отсюда три следствия. Таймаут 10с был чистой платой за неудачу (успех не занимает
|
||||
# и половины секунды) — снижен до 5с, это ~28-кратный запас к измеренному максимуму.
|
||||
# Одного повтора мало: при 30% отказов на попытку до пользователя доходило ~9%
|
||||
# отказов, то есть каждое одиннадцатое сообщение терялось с 502; три повтора уводят
|
||||
# это к ~0.8%. Экспоненциальная пауза 2→4→8с осмысленна против троттлинга, но здесь
|
||||
# отказ — неустановленное соединение, паузе нечего пережидать, поэтому потолок 1с:
|
||||
# он же не даёт `retry_after` из 429 (для группы штатные 30-60с) умножиться на число
|
||||
# попыток. Худший случай: 4 попытки × 5с + 3 паузы × 1с = 23с, и он требует четырёх
|
||||
# отказов подряд. Типичный случай не меняется — 0.13с.
|
||||
_INTERACTIVE_SEND_TIMEOUT_S = 5.0
|
||||
_INTERACTIVE_SEND_MAX_RETRIES = 3
|
||||
_INTERACTIVE_SEND_MAX_BACKOFF_S = 1.0
|
||||
|
||||
# Счётчик ОТКАЗОВ отправки — отдельный от бюджетов выше (#tgsupport-fail-cooldown).
|
||||
#
|
||||
# Зачем вообще второй счётчик. `_send_limiter`/`_anon_ip_limiter` расходуются
|
||||
# ТОЛЬКО на успехе (review L3, non-destructive peek выше) — это верно для
|
||||
# «не наказывать за чужую аварию», но имеет обратную сторону: пока Telegram
|
||||
# недоступен, лимита нет ВООБЩЕ. Каждый повтор пользователя при этом стоит до
|
||||
# `1 + _INTERACTIVE_SEND_MAX_RETRIES` = 4 попыток к api.telegram.org и не
|
||||
# расходует ни один бюджет. Двух-трёх вкладок с авто-ретраем хватает, чтобы
|
||||
# выесть лимиты группы ровно в тот момент, когда канал и так еле жив.
|
||||
#
|
||||
# Отсюда — дешёвый gate ПЕРЕД походом в Telegram, на своих ключах (тех же, что
|
||||
# у основных лимитеров: username / anon-thread-key и client IP).
|
||||
#
|
||||
# N=5. Отказ одной отправки — не событие: по замеру #tgsupport-retry доля отказов
|
||||
# на попытку 15-38%, но после 4 попыток до пользователя доходит ~0.8-2% отказов.
|
||||
# Пять подряд на живом канале — вероятность порядка 1e-10, то есть cooldown
|
||||
# физически не может сработать на «просто не повезло»; он срабатывает только на
|
||||
# настоящей недоступности. Плюс `reset()` на успехе: считаем именно ПОДРЯД, одна
|
||||
# успешная отправка стирает историю.
|
||||
#
|
||||
# 30с окна (оно же длительность cooldown: блок держится, пока самый старый из
|
||||
# N отказов не выпадет из окна). Верхняя граница осмысленности — реальная
|
||||
# недоступность Telegram по тому же замеру длится минутами, так что 30с заведомо
|
||||
# короче и пользователя после восстановления канала не наказывают. Нижняя —
|
||||
# один отказавший интерактивный запрос сам по себе занимает до 23с
|
||||
# (4 попытки × 5с + 3 паузы × 1с), cooldown короче этого просто не имел бы смысла.
|
||||
_SEND_FAILURE_LIMIT = 5
|
||||
_SEND_FAILURE_WINDOW_S = 30.0
|
||||
_send_failure_limiter = SlidingWindowLimiter(
|
||||
limit=_SEND_FAILURE_LIMIT, window_s=_SEND_FAILURE_WINDOW_S
|
||||
)
|
||||
# Отдельный экземпляр для IP-ключей — ровно как `_anon_ip_limiter` отдельный от
|
||||
# `_send_limiter`: ключи разных пространств (IP vs thread-key) в одном словаре
|
||||
# смешивать нельзя.
|
||||
_anon_ip_failure_limiter = SlidingWindowLimiter(
|
||||
limit=_SEND_FAILURE_LIMIT, window_s=_SEND_FAILURE_WINDOW_S
|
||||
)
|
||||
|
||||
_SEND_UNAVAILABLE_DETAIL = "Telegram сейчас недоступен. Попробуйте через полминуты."
|
||||
# 30с — легальный суммарный бюджет минуты). Узкий бюджет здесь: 1 повтор, короткий
|
||||
# timeout — интерактивный клиент должен получить ответ (даже если это ошибка)
|
||||
# за секунды, а не висеть до исчерпания воркерных ретраев.
|
||||
_INTERACTIVE_SEND_TIMEOUT_S = 10.0
|
||||
_INTERACTIVE_SEND_MAX_RETRIES = 1
|
||||
|
||||
# #tgsupport-web review M5: без LIMIT каждое монтирование виджета на старом
|
||||
# треде отдавало бы ВЕСЬ лог переписки. См. `web_support_storage.list_messages`.
|
||||
_LIST_MESSAGES_LIMIT = 200
|
||||
|
||||
# Идемпотентность отправки (#3471 retry-storm) — см. `_resolve_idempotency_key`.
|
||||
_IDEMPOTENCY_HEADER = "idempotency-key"
|
||||
# Форма клиентского ключа — как у anon-токена (`_ANON_TOKEN_RE`): произвольная
|
||||
# opaque-строка клиента, без пробелов/спецсимволов, которые попали бы в SQL-параметр
|
||||
# как есть. Не матчится — считаем заголовок отсутствующим и уходим на fallback,
|
||||
# а не пытаемся его "починить" (тот же принцип, что у `_read_anon_token`).
|
||||
_CLIENT_IDEMPOTENCY_KEY_RE = re.compile(r"^[A-Za-z0-9_.-]{8,128}\Z")
|
||||
|
||||
|
||||
def _require_username(request: Request) -> str:
|
||||
"""Достаёт X-Authenticated-User. rbac_guard (app/main.py) уже гарантирует его
|
||||
|
|
@ -218,18 +143,6 @@ class SupportMessageOut(BaseModel):
|
|||
text_body: str
|
||||
operator_tg_id: int | None = None
|
||||
created_at: str
|
||||
# Дошло ли сообщение до БД. `True` по умолчанию — все существующие пути
|
||||
# (`GET /support/messages`, успешный POST) строят модель из storage-строки и
|
||||
# ничего про флаг не знают, контракт для них не меняется.
|
||||
#
|
||||
# `False` ставит ТОЛЬКО `_unpersisted_message_out`: доставлено оператору, но
|
||||
# не записано. Флаг нужен потому, что без него деградация неотличима от
|
||||
# тишины: фронт выбрасывает тело POST и рендерит транскрипт исключительно из
|
||||
# `GET /support/messages` (`useSupportChat.ts`), где этого сообщения нет —
|
||||
# поле ввода очищается, сообщение не появляется, ошибки нет. Пользователь
|
||||
# решает, что не отправилось, и шлёт снова — ровно тот дубль в топике,
|
||||
# против которого вся эта ветка и сделана.
|
||||
persisted: bool = True
|
||||
|
||||
@field_validator("created_at", mode="before")
|
||||
@classmethod
|
||||
|
|
@ -255,150 +168,8 @@ def _format_mirror_text(username: str, message_text: str) -> str:
|
|||
return f"[С САЙТА] {username}:\n{message_text}"
|
||||
|
||||
|
||||
def _too_many_failures_error(retry_after: float) -> HTTPException:
|
||||
"""429 вместо похода в Telegram — канал только что отказал N раз подряд."""
|
||||
return HTTPException(
|
||||
status_code=429,
|
||||
detail=_SEND_UNAVAILABLE_DETAIL,
|
||||
headers={"Retry-After": str(int(retry_after) + 1)},
|
||||
)
|
||||
|
||||
|
||||
def _unpersisted_message_out(text_body: str) -> SupportMessageOut:
|
||||
"""Синтетический ответ для случая «в топик доставлено, а в БД не записано».
|
||||
|
||||
Почему ответ вообще УСПЕШНЫЙ. Сообщение оператору реально доставлено —
|
||||
отдать на это ошибку значит соврать: пользователь повторит, и в топике
|
||||
окажется дубль (плюс второе предупреждение оператору). Успех здесь честнее
|
||||
отказа, но он неполный, и об этом клиенту надо сказать явно.
|
||||
|
||||
Что сообщает `persisted=False`: «доставлено, но ответить тебе через чат не
|
||||
смогут; повторять не надо». Именно флаг — контракт для клиента, а НЕ `id=0`:
|
||||
по идентификатору клиент отличить деградацию не обязан и не будет.
|
||||
|
||||
`id` при этом всё равно нужен модели, и 0 — сознательный сентинел, а не
|
||||
выдумка: реальные id в `web_support_messages` начинаются с 1 (serial),
|
||||
поэтому 0 ни с чем не столкнётся, а `GET /support/messages` принимает
|
||||
`since>=0`. Даже если фронт когда-нибудь начнёт курсорить по возвращённому
|
||||
id (сейчас он перечитывает тред целиком с `since=0`, `useSupportChat.ts`),
|
||||
нулевой курсор не перепрыгнет ни одного реального сообщения: занижение
|
||||
курсора безопасно, завышение — нет.
|
||||
"""
|
||||
return SupportMessageOut(
|
||||
id=0,
|
||||
direction="in",
|
||||
text_body=text_body,
|
||||
operator_tg_id=None,
|
||||
created_at=datetime.now(UTC),
|
||||
persisted=False,
|
||||
)
|
||||
|
||||
|
||||
async def _warn_operator_message_not_recorded(*, label: str, topic_message_id: int | None) -> None:
|
||||
"""Реплаем к только что доставленному зеркалу предупреждает оператора, что
|
||||
ответ на ЭТО сообщение не смаршрутизируется: треда в БД нет, на реплай к
|
||||
осиротевшему зеркалу `bridge._handle_group_reply` напишет только WARNING, а
|
||||
клиент не увидит ничего. Без предупреждения оператор отвечает в пустоту и
|
||||
считает, что помог.
|
||||
|
||||
Текст обращения сюда НЕ дублируется (ПДн) — оператор видит его в сообщении,
|
||||
к которому это реплай.
|
||||
|
||||
Формулировка учитывает, что клиенту ответили успехом (`persisted=False`,
|
||||
«принято, повторять не надо»): рассчитывать на «клиент напишет снова»
|
||||
оператору нельзя, поднимать тред придётся иначе.
|
||||
|
||||
Любой отказ гасится логом: основное сообщение УЖЕ доставлено, превращать
|
||||
неудачу служебного уведомления в 500 поверх успеха нельзя.
|
||||
"""
|
||||
text = (
|
||||
f"ВНИМАНИЕ · {label}: сообщение доставлено в топик, но НЕ записано в базу "
|
||||
"(сбой БД). Треда у этого обращения нет — ответить клиенту через бота "
|
||||
"НЕЛЬЗЯ: реплай на это сообщение никуда не уйдёт. Повтора тоже не ждите, "
|
||||
"клиенту показано, что сообщение принято и отправлять его снова не нужно. "
|
||||
"Если в обращении есть контакт — свяжитесь напрямую; иначе передайте "
|
||||
"дежурному и сообщите об отказе БД."
|
||||
)
|
||||
try:
|
||||
client = get_telegram_client()
|
||||
await client.send_message(
|
||||
chat_id=settings.telegram_support_chat_id,
|
||||
text=text,
|
||||
message_thread_id=settings.telegram_support_topic_id or None,
|
||||
# reply_to может отсутствовать (sendMessage не вернул message_id) —
|
||||
# тогда уведомление уходит отдельным сообщением в топик: хуже, чем
|
||||
# реплай, но несравнимо лучше тишины.
|
||||
reply_to_message_id=topic_message_id,
|
||||
# Тот же узкий интерактивный бюджет (review H1): клиент ждёт ответа
|
||||
# ручки, а не доставки служебного уведомления.
|
||||
timeout=_INTERACTIVE_SEND_TIMEOUT_S,
|
||||
max_retries=_INTERACTIVE_SEND_MAX_RETRIES,
|
||||
max_backoff=_INTERACTIVE_SEND_MAX_BACKOFF_S,
|
||||
)
|
||||
except Exception:
|
||||
# Шире `TelegramError` намеренно: это best-effort хвост уже успешного
|
||||
# запроса, любой отказ здесь обязан остаться в логе, а не у клиента.
|
||||
logger.exception(
|
||||
"web support: не удалось предупредить оператора о несохранённом сообщении (%s)",
|
||||
label,
|
||||
)
|
||||
|
||||
|
||||
def _rollback_quietly(db: Session) -> None:
|
||||
"""Откат после `SQLAlchemyError`. Сам rollback на мёртвом соединении тоже
|
||||
может бросить, а мы уже решили отдать клиенту успех — `get_db` в любом
|
||||
случае закроет сессию в `finally`."""
|
||||
try:
|
||||
db.rollback()
|
||||
except SQLAlchemyError:
|
||||
logger.warning("web support: rollback после сбоя БД тоже не удался", exc_info=True)
|
||||
|
||||
|
||||
def _resolve_idempotency_key(request: Request, *, identity_key: str, text: str) -> str:
|
||||
"""Ключ идемпотентности inbound-отправки (#3471, миграция 301).
|
||||
|
||||
Почему заголовок + fallback, а не что-то одно. Явный `Idempotency-Key` —
|
||||
ЕДИНСТВЕННЫЙ надёжный путь: клиент генерирует ключ ОДИН раз на "намерение
|
||||
отправить" и переиспользует его на любом ретрае (fetch retry / переотправка
|
||||
после таймаута) независимо от того, что именно менялось в UI между
|
||||
попытками (см. `useSendSupportMessage` во фронтенде — реальный трафик
|
||||
обязан идти этим путём). Fallback без заголовка — детерминированный
|
||||
отпечаток sha256(identity, текст, минутное окно) — существует ТОЛЬКО для
|
||||
клиентов, которые заголовок не прислали (п.5 требования — старое поведение
|
||||
не должно сломаться), и у него два честных изъяна, оба снимаются самим
|
||||
фактом использования заголовка:
|
||||
1. два РАЗНЫХ по смыслу сообщения с одинаковым текстом от одного и того
|
||||
же человека в течение одной минуты ("да" и ещё раз "да", "+", "ок")
|
||||
СХЛОПНУТСЯ в одно — второе будет молча проглочено, клиент получит id
|
||||
первого, оператор не увидит второе сообщение вообще;
|
||||
2. окно — не скользящие 60 секунд, а округление `time.time() // 60` вниз:
|
||||
фактический срок дедупликации случаен от 0 до 60с в зависимости от
|
||||
момента внутри минуты, и часть настоящих повторов (ретрай ровно на
|
||||
границе окна) эту защиту не получит.
|
||||
Оба пункта перестают быть важны, когда клиент реально шлёт заголовок
|
||||
(см. `useSendSupportMessage`).
|
||||
|
||||
Хранит и потенциально логирует (см. вызовы в этом файле) только САМ ключ —
|
||||
он либо непрозрачный клиентский токен, либо хэш. Текст сообщения сюда
|
||||
попадает ТОЛЬКО как вход в sha256, в открытом виде не сохраняется и не
|
||||
возвращается — жёсткое правило проекта "текст не в логах" (ПДн) при этом
|
||||
не нарушается, даже если бы этот ключ где-то залогировали.
|
||||
|
||||
Префиксы `client:`/`auto:` разводят два namespace'а ключей (защита от
|
||||
случайного совпадения клиентского токена с fallback-хэшем) — дёшево и не
|
||||
требует отдельной колонки.
|
||||
"""
|
||||
header = (request.headers.get(_IDEMPOTENCY_HEADER) or "").strip()
|
||||
if header and _CLIENT_IDEMPOTENCY_KEY_RE.match(header):
|
||||
return f"client:{header}"
|
||||
window = int(time.time() // 60)
|
||||
fingerprint = f"{identity_key}|{text}|{window}"
|
||||
return "auto:" + hashlib.sha256(fingerprint.encode("utf-8")).hexdigest()
|
||||
|
||||
|
||||
@router.post("/support/messages", response_model=SupportMessageOut)
|
||||
async def send_support_message(
|
||||
request: Request,
|
||||
payload: SupportMessageInput,
|
||||
username: Annotated[str, Depends(_require_username)],
|
||||
db: Annotated[Session, Depends(get_db)],
|
||||
|
|
@ -426,47 +197,7 @@ async def send_support_message(
|
|||
headers={"Retry-After": str(int(retry_after) + 1)},
|
||||
)
|
||||
|
||||
# Cooldown по ОТКАЗАМ (см. `_SEND_FAILURE_LIMIT`): канал только что отказал
|
||||
# N раз подряд — не тратим на этот запрос ещё четыре попытки к Telegram.
|
||||
cooldown = _send_failure_limiter.retry_after(username)
|
||||
if cooldown is not None:
|
||||
raise _too_many_failures_error(cooldown)
|
||||
|
||||
# Идемпотентность (#3471). Что именно закрывает этот pre-check — важно не
|
||||
# переоценить: строка в БД (и её idempotency_key) появляется ТОЛЬКО ПОСЛЕ
|
||||
# успешной доставки в Telegram (H1 ниже), поэтому потерю самого запроса на
|
||||
# плече Selectel -> api.telegram.org этот механизм НЕ дедуплицирует — если
|
||||
# `send_message` не удался, ключ нигде не записан, и повтор клиента после
|
||||
# неудачи это законная первая попытка. Реально закрывается другой, тоже
|
||||
# частый случай: доставка УЖЕ состоялась (Telegram принял, строка
|
||||
# закоммичена), но ответ до клиента не дошёл (обрыв на обратном пути,
|
||||
# клиентский таймаут) или пользователь кликнул "отправить" второй раз по
|
||||
# той же ещё не отрисовавшейся отправке — тогда pre-check находит уже
|
||||
# записанное сообщение по ключу и отдаёт его же, не уходя в Telegram снова.
|
||||
# Тред может ещё не существовать (это первая попытка этого ключа) — тогда
|
||||
# сравнивать не с чем, идём в Telegram как обычно; сам факт "нет треда"
|
||||
# здесь безопасен, т.к. тред создаётся ТОЛЬКО в этой же ручке (см. H1) —
|
||||
# если бы сообщение под этим ключом уже было записано, тред уже был бы.
|
||||
idempotency_key = _resolve_idempotency_key(request, identity_key=username, text=payload.text)
|
||||
existing_thread_id = storage.find_thread_id(db, username)
|
||||
if existing_thread_id is not None:
|
||||
existing = storage.find_inbound_by_idempotency_key(
|
||||
db, thread_id=existing_thread_id, idempotency_key=idempotency_key
|
||||
)
|
||||
if existing is not None:
|
||||
logger.info(
|
||||
"web support: repeat send (idempotency key already recorded) "
|
||||
"username=%s thread_id=%d message_id=%s",
|
||||
username,
|
||||
existing_thread_id,
|
||||
existing["id"],
|
||||
)
|
||||
return SupportMessageOut(**existing)
|
||||
|
||||
# Общий клиент приложения (#tg-connection-resilience): на каждый запрос
|
||||
# свой создавать нельзя — это ноль keep-alive и полный TCP+TLS-хендшейк
|
||||
# до api.telegram.org перед каждой отправкой. Живёт в lifespan.
|
||||
client = get_telegram_client()
|
||||
client = TelegramClient(settings.telegram_bot_token)
|
||||
try:
|
||||
mirrored = await client.send_message(
|
||||
chat_id=settings.telegram_support_chat_id,
|
||||
|
|
@ -475,24 +206,17 @@ async def send_support_message(
|
|||
# review H1: узкий интерактивный бюджет — НЕ воркерные 5 ретраев/минуты.
|
||||
timeout=_INTERACTIVE_SEND_TIMEOUT_S,
|
||||
max_retries=_INTERACTIVE_SEND_MAX_RETRIES,
|
||||
max_backoff=_INTERACTIVE_SEND_MAX_BACKOFF_S,
|
||||
)
|
||||
except TelegramError:
|
||||
except TelegramApiError:
|
||||
# НЕ логируем payload.text (переписка — ПДн) и НЕ логируем токен (его в
|
||||
# TelegramApiError и не бывает — см. client.py docstring про redaction).
|
||||
# Предок, а не `TelegramApiError`: при таймауте до Telegram пользователь
|
||||
# должен увидеть тот же «сервис недоступен», а не 500 (#3456).
|
||||
logger.exception(
|
||||
"web support: не удалось отправить зеркало в топик (username=%s)", username
|
||||
)
|
||||
_send_failure_limiter.record(username)
|
||||
raise HTTPException(status_code=502, detail=SERVICE_UNAVAILABLE_TEXT) from None
|
||||
|
||||
# Отправка удалась — теперь и только теперь расходуем rate-limit бюджет.
|
||||
_send_limiter.record(username)
|
||||
SUPPORT_MESSAGES.labels(channel="web").inc()
|
||||
# Канал жив — счётчик отказов считает именно ПОДРЯД идущие отказы.
|
||||
_send_failure_limiter.reset(username)
|
||||
|
||||
topic_message_id = mirrored.get("message_id") if isinstance(mirrored, dict) else None
|
||||
if topic_message_id is None:
|
||||
|
|
@ -506,35 +230,15 @@ async def send_support_message(
|
|||
)
|
||||
|
||||
# review H1: БД-операция ПОСЛЕ успешной отправки — см. docstring модуля.
|
||||
#
|
||||
# Оборотная сторона этого порядка: отказ БД здесь означает, что сообщение
|
||||
# оператору УЖЕ доставлено. Отдавать на это 500 (как было) — худший из
|
||||
# вариантов: клиент видит ошибку, шлёт повторно, в топике дубль, а на
|
||||
# осиротевшее зеркало оператор отвечает в пустоту. Поэтому отвечаем успехом
|
||||
# (доставка правда состоялась) и отдельным сообщением предупреждаем
|
||||
# оператора, что отвечать на это зеркало бесполезно.
|
||||
try:
|
||||
thread_id = storage.get_or_create_thread(db, username)
|
||||
row = storage.record_inbound(
|
||||
db,
|
||||
thread_id=thread_id,
|
||||
text_body=payload.text,
|
||||
topic_message_id=topic_message_id,
|
||||
support_chat_id=settings.telegram_support_chat_id,
|
||||
idempotency_key=idempotency_key,
|
||||
)
|
||||
db.commit()
|
||||
except SQLAlchemyError:
|
||||
# Ни текста обращения (ПДн), ни токена в логе — только кто и что сломалось.
|
||||
logger.exception(
|
||||
"web support: сообщение доставлено в топик, но не записано в БД (username=%s)",
|
||||
username,
|
||||
)
|
||||
_rollback_quietly(db)
|
||||
await _warn_operator_message_not_recorded(
|
||||
label=f"[С САЙТА] {username}", topic_message_id=topic_message_id
|
||||
)
|
||||
return _unpersisted_message_out(payload.text)
|
||||
thread_id = storage.get_or_create_thread(db, username)
|
||||
row = storage.record_inbound(
|
||||
db,
|
||||
thread_id=thread_id,
|
||||
text_body=payload.text,
|
||||
topic_message_id=topic_message_id,
|
||||
support_chat_id=settings.telegram_support_chat_id,
|
||||
)
|
||||
db.commit()
|
||||
|
||||
logger.info("web support: message sent username=%s thread_id=%d", username, thread_id)
|
||||
return SupportMessageOut(**row)
|
||||
|
|
@ -681,46 +385,8 @@ async def send_anon_support_message(
|
|||
headers={"Retry-After": str(int(retry_after) + 1)},
|
||||
)
|
||||
|
||||
# Cooldown по ОТКАЗАМ (см. `_SEND_FAILURE_LIMIT`) — оба ключа, как и у
|
||||
# бюджетов выше: per-token ловит одну вкладку с авто-ретраем, per-IP — ту же
|
||||
# петлю после сброса куки.
|
||||
for cooldown in (
|
||||
_send_failure_limiter.retry_after(thread_key),
|
||||
_anon_ip_failure_limiter.retry_after(ip),
|
||||
):
|
||||
if cooldown is not None:
|
||||
raise _too_many_failures_error(cooldown)
|
||||
|
||||
display_id = _anon_display_id(token)
|
||||
|
||||
# Идемпотентность (#3471) — см. развёрнутый комментарий в авторизованной
|
||||
# ветке. Ограничение специфично для анонимной ветки: если предыдущая
|
||||
# попытка сама провалилась ДО выдачи куки (`is_new_token=True` тогда и
|
||||
# сейчас), identity_key каждый раз новый (случайный токен) и pre-check
|
||||
# структурно не может найти прошлую попытку — это тот же класс проблемы,
|
||||
# что и потеря куки в сети, вне scope этой правки.
|
||||
idempotency_key = _resolve_idempotency_key(request, identity_key=thread_key, text=payload.text)
|
||||
existing_thread_id = storage.find_thread_id(db, thread_key)
|
||||
if existing_thread_id is not None:
|
||||
existing = storage.find_inbound_by_idempotency_key(
|
||||
db, thread_id=existing_thread_id, idempotency_key=idempotency_key
|
||||
)
|
||||
if existing is not None:
|
||||
logger.info(
|
||||
"web support (anon): repeat send (idempotency key already recorded) "
|
||||
"%s thread_id=%d message_id=%s",
|
||||
display_id,
|
||||
existing_thread_id,
|
||||
existing["id"],
|
||||
)
|
||||
if is_new_token:
|
||||
_set_anon_cookie(response, token)
|
||||
return SupportMessageOut(**existing)
|
||||
|
||||
# Общий клиент приложения (#tg-connection-resilience): на каждый запрос
|
||||
# свой создавать нельзя — это ноль keep-alive и полный TCP+TLS-хендшейк
|
||||
# до api.telegram.org перед каждой отправкой. Живёт в lifespan.
|
||||
client = get_telegram_client()
|
||||
client = TelegramClient(settings.telegram_bot_token)
|
||||
try:
|
||||
mirrored = await client.send_message(
|
||||
chat_id=settings.telegram_support_chat_id,
|
||||
|
|
@ -728,24 +394,16 @@ async def send_anon_support_message(
|
|||
message_thread_id=settings.telegram_support_topic_id or None,
|
||||
timeout=_INTERACTIVE_SEND_TIMEOUT_S,
|
||||
max_retries=_INTERACTIVE_SEND_MAX_RETRIES,
|
||||
max_backoff=_INTERACTIVE_SEND_MAX_BACKOFF_S,
|
||||
)
|
||||
except TelegramError:
|
||||
except TelegramApiError:
|
||||
# Ни текст сообщения (ПДн), ни токен (bearer треда) в лог не попадают.
|
||||
# Про предок вместо `TelegramApiError` — см. комментарий в парной ручке.
|
||||
logger.exception(
|
||||
"web support (anon): не удалось отправить зеркало в топик (%s)", display_id
|
||||
)
|
||||
_send_failure_limiter.record(thread_key)
|
||||
_anon_ip_failure_limiter.record(ip)
|
||||
raise HTTPException(status_code=502, detail=SERVICE_UNAVAILABLE_TEXT) from None
|
||||
|
||||
_send_limiter.record(thread_key)
|
||||
_anon_ip_limiter.record(ip)
|
||||
SUPPORT_MESSAGES.labels(channel="anon").inc()
|
||||
# Канал жив — счётчики отказов считают именно ПОДРЯД идущие отказы.
|
||||
_send_failure_limiter.reset(thread_key)
|
||||
_anon_ip_failure_limiter.reset(ip)
|
||||
|
||||
topic_message_id = mirrored.get("message_id") if isinstance(mirrored, dict) else None
|
||||
if topic_message_id is None:
|
||||
|
|
@ -755,37 +413,15 @@ async def send_anon_support_message(
|
|||
display_id,
|
||||
)
|
||||
|
||||
# Отказ БД после успешной отправки — см. развёрнутый комментарий в парной
|
||||
# (авторизованной) ручке: сообщение оператору уже доставлено, 500 тут создаёт
|
||||
# дубли в топике и «осиротевшее» зеркало, на которое оператор отвечает зря.
|
||||
try:
|
||||
thread_id = storage.get_or_create_thread(db, thread_key)
|
||||
row = storage.record_inbound(
|
||||
db,
|
||||
thread_id=thread_id,
|
||||
text_body=payload.text,
|
||||
topic_message_id=topic_message_id,
|
||||
support_chat_id=settings.telegram_support_chat_id,
|
||||
idempotency_key=idempotency_key,
|
||||
)
|
||||
db.commit()
|
||||
except SQLAlchemyError:
|
||||
# Ни текста обращения (ПДн), ни токена (bearer треда) в логе — только
|
||||
# несекретный ярлык треда.
|
||||
logger.exception(
|
||||
"web support (anon): сообщение доставлено в топик, но не записано в БД (%s)",
|
||||
display_id,
|
||||
)
|
||||
_rollback_quietly(db)
|
||||
await _warn_operator_message_not_recorded(
|
||||
label=f"[С САЙТА · БЕЗ ВХОДА] {display_id}", topic_message_id=topic_message_id
|
||||
)
|
||||
# Куку ставим ВСЁ РАВНО: тред в БД не создан, но идентичность посетителя
|
||||
# обязана пережить этот сбой — иначе следующее сообщение (когда база
|
||||
# поднимется) заведёт ВТОРОЙ тред, и переписка разъедется на два.
|
||||
if is_new_token:
|
||||
_set_anon_cookie(response, token)
|
||||
return _unpersisted_message_out(payload.text)
|
||||
thread_id = storage.get_or_create_thread(db, thread_key)
|
||||
row = storage.record_inbound(
|
||||
db,
|
||||
thread_id=thread_id,
|
||||
text_body=payload.text,
|
||||
topic_message_id=topic_message_id,
|
||||
support_chat_id=settings.telegram_support_chat_id,
|
||||
)
|
||||
db.commit()
|
||||
|
||||
if is_new_token:
|
||||
_set_anon_cookie(response, token)
|
||||
|
|
|
|||
|
|
@ -78,7 +78,7 @@ from sqlalchemy.exc import IntegrityError
|
|||
from sqlalchemy.orm import Session
|
||||
from sqlalchemy.sql.elements import TextClause
|
||||
|
||||
from app.core.auth import get_role, yaml_role
|
||||
from app.core.auth import get_role
|
||||
from app.core.config import settings
|
||||
from app.core.db import get_db
|
||||
from app.core.password import hash_password
|
||||
|
|
@ -288,9 +288,7 @@ def _upsert_quota_override(
|
|||
)
|
||||
|
||||
|
||||
def _batch_quota_status(
|
||||
db: Session, usernames: list[str], known_roles: dict[str, str] | None = None
|
||||
) -> dict[str, dict[str, Any]]:
|
||||
def _batch_quota_status(db: Session, usernames: list[str]) -> dict[str, dict[str, Any]]:
|
||||
"""Батч-версия `account_quota.get_status` для N сотрудников — 2 SQL-запроса
|
||||
вместо 2N (было 2N+3 на GET /employees, HIGH/Medium2 review PR #2563).
|
||||
|
||||
|
|
@ -353,21 +351,13 @@ def _batch_quota_status(
|
|||
result: dict[str, dict[str, Any]] = {}
|
||||
for username in usernames:
|
||||
override = override_by_username.get(username)
|
||||
# #3316: get_role ходит в реестр, а вызывающий уже прочитал роли этих
|
||||
# же строк — иначе батч снова стал бы N+1 (ловит
|
||||
# test_list_employees_query_count_is_not_n_plus_1). Роль реестра —
|
||||
# ровно то, что вернул бы get_role: он спрашивает реестр первым.
|
||||
role: str | None
|
||||
if known_roles is not None and username in known_roles:
|
||||
role = known_roles[username]
|
||||
else:
|
||||
try:
|
||||
role = get_role(username)
|
||||
except KeyError:
|
||||
role = None
|
||||
try:
|
||||
role = get_role(username)
|
||||
except KeyError:
|
||||
role = None
|
||||
if role == "admin":
|
||||
unlimited = True
|
||||
elif yaml_role(username) is not None:
|
||||
elif role is not None:
|
||||
unlimited = bool(override is not None and override["unlimited"])
|
||||
else:
|
||||
# username не в roles.yaml — is_unlimited() короткое замыкание на
|
||||
|
|
@ -442,20 +432,6 @@ async def create_employee(
|
|||
`identity_db` — реестр (строка сотрудника), `db` — продуктовая квота;
|
||||
в дефолтном режиме это одна и та же сессия и одна транзакция.
|
||||
"""
|
||||
# #3316 defense-in-depth: имя, за которым в roles.yaml уже числятся права
|
||||
# (admin/pilot/analyst), занять нельзя. Роль резолвится из реестра первой
|
||||
# (app.core.auth.get_role), так что эскалации не было бы и без этой
|
||||
# проверки — но совпадение имён само по себе означает двух разных людей с
|
||||
# одним логином, и дешевле отказать на входе, чем разбирать это в логах.
|
||||
legacy = yaml_role(body.username)
|
||||
if legacy is not None and legacy != "employee":
|
||||
logger.warning(
|
||||
"create_employee: %r refused — username занят в roles.yaml (role=%s)",
|
||||
body.username,
|
||||
legacy,
|
||||
)
|
||||
raise HTTPException(status_code=409, detail="username reserved in roles config")
|
||||
|
||||
schema = identity_schema()
|
||||
existing = identity_db.execute(
|
||||
text(f"SELECT id FROM {schema.users_table} WHERE username = :u"),
|
||||
|
|
@ -786,11 +762,7 @@ async def list_employees(
|
|||
.all()
|
||||
)
|
||||
|
||||
quota_by_username = _batch_quota_status(
|
||||
db,
|
||||
[row["username"] for row in rows],
|
||||
known_roles={row["username"]: row["role"] for row in rows},
|
||||
)
|
||||
quota_by_username = _batch_quota_status(db, [row["username"] for row in rows])
|
||||
return [_employee_out(row, quota_by_username[row["username"]]) for row in rows]
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -22,7 +22,6 @@ from app.core.anon_session import get_or_create_anon_session_id
|
|||
from app.core.config import settings
|
||||
from app.core.db import get_db
|
||||
from app.core.ratelimit import SlidingWindowLimiter, _client_ip
|
||||
from app.observability.metrics import ESTIMATES, REPORTS_EXPORTED
|
||||
from app.schemas.trade_in import (
|
||||
AggregatedEstimate,
|
||||
AnalogLot,
|
||||
|
|
@ -51,7 +50,6 @@ from app.schemas.trade_in import (
|
|||
TradeInEstimateInput,
|
||||
)
|
||||
from app.services import account_quota
|
||||
from app.services import regions as regions_mod
|
||||
from app.services.exporters.trade_in_pdf import generate_trade_in_pdf
|
||||
from app.services.image_sanitizer import ImageSanitizationError, sanitize_image
|
||||
from app.services.user_events import schedule_event
|
||||
|
|
@ -80,10 +78,8 @@ _estimate_limiter = SlidingWindowLimiter(
|
|||
# внешние тиры; пила одновременных оценок выедает пул и тормозит весь /api/v1/*.
|
||||
# Образец — public/mera.py::_suggest_slots (4 слота на секундное автодополнение).
|
||||
#
|
||||
# 4 слота: вместе с 4 слотами suggest — 8 одновременно удерживаемых соединений.
|
||||
# Пул под это заведомо шире: 5+15=20 на процесс, и потолок пула держится не
|
||||
# меньше СУММЫ объявленных потолков одновременности, включая 8 фоновых догрузок
|
||||
# (core/db.py + tests/test_3408_pool_ceiling.py, #3408). Ожидание слота 5с ≈ две
|
||||
# 4 слота: вместе с 4 слотами suggest — 8 одновременно удерживаемых соединений
|
||||
# из 15 возможных, остаток пула остаётся прочим ручкам. Ожидание слота 5с ≈ две
|
||||
# длительности оценки: если за это время слот не освободился, очередь глубока и
|
||||
# честный ответ — быстрый 429 с Retry-After, а не растущая очередь (очередь под
|
||||
# нагрузкой — те же занятые соединения плюс таймаут у клиента; mera.py:117-127).
|
||||
|
|
@ -561,13 +557,6 @@ async def estimate(
|
|||
# #3082: слот возвращаем сразу после дорогой части — инкремент квоты и
|
||||
# сериализация ответа ниже дёшевы и слот держать не должны.
|
||||
_estimate_slots.release()
|
||||
|
||||
# #3471: считаем оценку "успешно посчитанной" здесь — до квоты и до 429
|
||||
# ниже, потому что расчёт (дорогая часть) уже прошёл. insufficient_data —
|
||||
# тоже успех расчёта: медиана не нашлась не потому что что-то сломалось, а
|
||||
# потому что аналогов не было, это отдельный, а не ошибочный исход.
|
||||
ESTIMATES.labels(outcome="insufficient_data" if result.insufficient_data else "ok").inc()
|
||||
|
||||
# #747: атомарно-условный инкремент — источник истины по лимиту. check_and_raise
|
||||
# выше остаётся быстрым pre-check (429 до дорогой оценки), но финальное решение
|
||||
# тут: при гонке двух /estimate на used=lim-1 второй получит False.
|
||||
|
|
@ -774,22 +763,8 @@ def load_estimate(
|
|||
# когда raw payload.address начнёт персиститься — follow-up). Для ЕКБ ок; reorder
|
||||
# ниже безвреден (оба source city-stripped для не-ЕКБ, оба екб для ЕКБ).
|
||||
target_city = _resolve_target_city(row.address) or _resolve_target_city(row.canonical_address)
|
||||
# #3051 PR-A: тот же region_code-скоуп, что и POST /estimate — гарантирует
|
||||
# «регион не резолвится → DEFAULT_REGION_CODE (66)», не NULL (NULL в SQL
|
||||
# обнулил бы фильтр). row.lat/row.lon персистятся с estimate-time.
|
||||
target_region = (
|
||||
regions_mod.region_for_point(row.lat, row.lon)
|
||||
if row.lat is not None and row.lon is not None
|
||||
else None
|
||||
)
|
||||
target_region_code = target_region.code if target_region else regions_mod.DEFAULT_REGION_CODE
|
||||
dkp_raw = _fetch_dkp_corridor(
|
||||
db,
|
||||
address=row.address,
|
||||
rooms=row.rooms,
|
||||
area=area_f,
|
||||
city=target_city,
|
||||
region_code=target_region_code,
|
||||
db, address=row.address, rooms=row.rooms, area=area_f, city=target_city
|
||||
)
|
||||
dkp_corridor = DkpCorridor(**dkp_raw) if dkp_raw else None
|
||||
|
||||
|
|
@ -801,16 +776,7 @@ def load_estimate(
|
|||
recommended_price=int(imv_raw["recommended_price"]),
|
||||
lower_price=int(imv_raw["lower_price"]) if imv_raw.get("lower_price") else None,
|
||||
higher_price=int(imv_raw["higher_price"]) if imv_raw.get("higher_price") else None,
|
||||
# #3323: `is not None` (0 — самый тонкий рынок, не «неизвестно») + thin_market
|
||||
# считаем тем же порогом, что POST-путь в estimator, иначе одна и та же
|
||||
# оценка при переоткрытии по ссылке / в PDF теряла флаг тонкого рынка.
|
||||
market_count=(
|
||||
int(imv_raw["market_count"]) if imv_raw.get("market_count") is not None else None
|
||||
),
|
||||
thin_market=(
|
||||
imv_raw.get("market_count") is not None
|
||||
and int(imv_raw["market_count"]) < settings.avito_imv_thin_market_threshold
|
||||
),
|
||||
market_count=int(imv_raw["market_count"]) if imv_raw.get("market_count") else None,
|
||||
)
|
||||
if imv_raw is not None and imv_raw.get("recommended_price")
|
||||
else None
|
||||
|
|
@ -1021,7 +987,6 @@ def estimate_pdf(
|
|||
brand_obj = _resolve_brand(owner_brand_slug, db)
|
||||
pdf_bytes = generate_trade_in_pdf(estimate, input_snapshot, brand=brand_obj)
|
||||
filename = f"trade-in-{brand_obj.slug}-{estimate_id}.pdf"
|
||||
REPORTS_EXPORTED.inc()
|
||||
logger.info(
|
||||
"PDF generated estimate_id=%s brand=%s size=%d",
|
||||
estimate_id,
|
||||
|
|
@ -2196,11 +2161,8 @@ def get_street_deals(
|
|||
"""ДКП-сделки Росреестра по улице целевого адреса.
|
||||
|
||||
Open dataset Росреестра агрегирует адреса до улицы (без номера дома).
|
||||
Поэтому это per-street view, не per-house. До квартир-аналогов выборку
|
||||
сужает полоса площади ±area_tolerance; комнатность клиента в фильтр НЕ
|
||||
входит — `deals.rooms` не комнатность, а синтетика из той же площади
|
||||
(#3256, см. estimator._fetch_dkp_corridor). `rooms` остаётся параметром
|
||||
ручки: он описывает запрос и попадает в лог, но не в WHERE.
|
||||
Поэтому это per-street view, не per-house. Фильтр по rooms + area
|
||||
сужает выборку до квартир-аналогов.
|
||||
|
||||
После PR-A (#549) таблица deals содержит только ДКП (ДДУ-первичка отфильтрована
|
||||
в import-rosreestr.sh).
|
||||
|
|
@ -2210,7 +2172,6 @@ def get_street_deals(
|
|||
_percentile,
|
||||
_resolve_target_city,
|
||||
extract_street_name,
|
||||
region_code_for_address,
|
||||
)
|
||||
|
||||
now = datetime.now(tz=UTC)
|
||||
|
|
@ -2254,17 +2215,6 @@ def get_street_deals(
|
|||
target_city = _resolve_target_city(address)
|
||||
city_filter = "AND LOWER(city) = CAST(:target_city AS text)" if target_city else ""
|
||||
|
||||
# #dkp-corridor-scope (2026-09-12): region_code — обязательный фильтр, в отличие
|
||||
# от city_filter выше (который применяется, только если _resolve_target_city
|
||||
# узнал город обл.66). extract_street_name после фикса московского порядка
|
||||
# ("Название улица") стал возвращать имя улицы и для Москвы, а
|
||||
# _resolve_target_city знает ТОЛЬКО города обл.66 → для Москвы target_city=None,
|
||||
# city_filter пуст, и без region_code одноимённая улица другого региона
|
||||
# подмешалась бы в выборку (прод-замер: "Ясная" — 168 сделок в 66 и 80 в 77,
|
||||
# "Советская" — 1202 и 17). region_code заполнен у всех deals (66→108 623,
|
||||
# 77→212 937, NULL нет) — фильтр не отрезает ни одной существующей строки.
|
||||
region_code = region_code_for_address(address)
|
||||
|
||||
rows = (
|
||||
db.execute(
|
||||
text(
|
||||
|
|
@ -2276,11 +2226,7 @@ def get_street_deals(
|
|||
AND address ILIKE :street_pattern
|
||||
AND address ~* :street_regex
|
||||
{city_filter}
|
||||
AND region_code = CAST(:region_code AS integer)
|
||||
-- #3256: фильтра по rooms нет — deals.rooms синтезирована из площади
|
||||
-- (тот же CASE 30/44/62/85, что area_bucket), т.е. это был второй
|
||||
-- ступенчатый фильтр по площади поверх полосы ±15% ниже. Развёрнуто —
|
||||
-- в комментарии estimator._fetch_dkp_corridor.
|
||||
AND rooms = CAST(:rooms AS integer)
|
||||
AND area_m2 BETWEEN :area_min AND :area_max
|
||||
AND deal_date > NOW() - (CAST(:period_months AS integer) || ' months')::interval
|
||||
AND price_rub > 0
|
||||
|
|
@ -2291,7 +2237,7 @@ def get_street_deals(
|
|||
"street_pattern": "%" + street_name + "%",
|
||||
"street_regex": r"\m" + street_name + r"\M",
|
||||
"target_city": target_city.lower() if target_city else None,
|
||||
"region_code": region_code,
|
||||
"rooms": rooms,
|
||||
"area_min": area_min,
|
||||
"area_max": area_max,
|
||||
"period_months": period_months,
|
||||
|
|
@ -2302,16 +2248,12 @@ def get_street_deals(
|
|||
)
|
||||
|
||||
if not rows:
|
||||
# #3256: лог называет ТОТ ключ, которым искали. Комнатность клиента в
|
||||
# выборку не входит (deals.rooms — синтетика из площади), поэтому она
|
||||
# печатается как контекст запроса, а не как параметр фильтра.
|
||||
logger.info(
|
||||
"street-deals: no rows found street=%r area=%.1f±%.0f%% "
|
||||
"(ключ по комнатам не применяется, #3256; комнатность клиента=%d)",
|
||||
"street-deals: no rows found street=%r rooms=%d area=%.1f±%.0f%%",
|
||||
street_name,
|
||||
rooms,
|
||||
area_m2,
|
||||
area_tolerance * 100,
|
||||
rooms,
|
||||
)
|
||||
return StreetDealsResponse(
|
||||
street=street_name,
|
||||
|
|
@ -2339,14 +2281,12 @@ def get_street_deals(
|
|||
top10 = [_deal_to_analog(dict(r)) for r in rows[:10]]
|
||||
|
||||
logger.info(
|
||||
"street-deals: street=%r area=%.1f±%.0f%% count=%d median_ppm2=%.0f "
|
||||
"(ключ по комнатам не применяется, #3256; комнатность клиента=%d)",
|
||||
"street-deals: street=%r rooms=%d area=%.1f count=%d median_ppm2=%.0f",
|
||||
street_name,
|
||||
rooms,
|
||||
area_m2,
|
||||
area_tolerance * 100,
|
||||
count,
|
||||
median_ppm2,
|
||||
rooms,
|
||||
)
|
||||
|
||||
return StreetDealsResponse(
|
||||
|
|
@ -2511,12 +2451,8 @@ def get_sales_vs_listings(
|
|||
"""Pairs (ДКП-сделка, listing) для улицы целевого адреса (PR K / #564).
|
||||
|
||||
Для каждой ДКП-сделки Росреестра в окне `period_months` пытаемся найти
|
||||
matching listing на той же улице с близкой area_m2 / listing_date в окне
|
||||
[deal_date - window_days, deal_date + 30d grace]. Комнатность в ключе стоит
|
||||
ТОЛЬКО на стороне объявлений (`l.rooms = p_rooms`, комнатность клиента): у
|
||||
сделок Росреестра `rooms` — синтетика из площади, предикат по ней снят
|
||||
миграцией 300 (#3451/#3256). Поэтому `deal_rooms` в паре может не совпадать
|
||||
с запрошенным `rooms`.
|
||||
matching listing на той же улице с такими же rooms / близкой area_m2 /
|
||||
listing_date в окне [deal_date - window_days, deal_date + 30d grace].
|
||||
|
||||
Возвращаем LEFT JOIN: сделки без listing match сохраняются (listing_* = None),
|
||||
чтобы вычислить linkage_rate.
|
||||
|
|
@ -2526,12 +2462,7 @@ def get_sales_vs_listings(
|
|||
|
||||
Per-street view: Росреестр open dataset агрегирует адреса до улицы.
|
||||
"""
|
||||
from app.services.estimator import (
|
||||
_percentile,
|
||||
_resolve_target_city,
|
||||
extract_street_name,
|
||||
region_code_for_address,
|
||||
)
|
||||
from app.services.estimator import _percentile, _resolve_target_city, extract_street_name
|
||||
|
||||
def _empty(reason_street: str | None = None) -> SalesVsListingsResponse:
|
||||
return SalesVsListingsResponse(
|
||||
|
|
@ -2561,36 +2492,16 @@ def get_sales_vs_listings(
|
|||
# известная H1) → фильтр не применяется на TVF-стороне (см. миграцию 205).
|
||||
target_city = _resolve_target_city(address)
|
||||
|
||||
# #dkp-corridor-scope (2026-09-12): region_code — фильтр ДОПОЛНИТЕЛЬНО к
|
||||
# target_city выше, нужен по той же причине, что и в /street-deals: для
|
||||
# Москвы _resolve_target_city (словарь городов ТОЛЬКО обл.66) возвращает
|
||||
# None → target_city-фильтр внутри TVF (миграция 205) не срабатывает ни
|
||||
# для deals, ни для listings, и одноимённая улица другого региона
|
||||
# подмешивается в пары (см. estimator.region_code_for_address).
|
||||
#
|
||||
# TVF street_sales_vs_listings() (миграция 205) параметра региона не
|
||||
# знает — сама TVF не трогается (это отдельная миграция, вне текущего
|
||||
# фикса), фильтр применён СНАРУЖИ: оборачиваем вызов в JOIN на deals по
|
||||
# deal_id и фильтруем region_code ТОЛЬКО на стороне сделок. Сторона
|
||||
# listings внутри TVF остаётся НЕ отфильтрованной по региону — это
|
||||
# известный узкий компромисс, не побочный эффект: у listings нет
|
||||
# общего для всех источников поля региона (city заполнен частично, см.
|
||||
# комментарий 205 выше), а сам JOIN внутри TVF уже требует совпадения
|
||||
# street_pattern + rooms + area + date proximity, что резко сужает шанс
|
||||
# чужого региона на listing-стороне. Полный фикс (передать region_code
|
||||
# внутрь TVF седьмым/восьмым параметром) — отдельная миграция.
|
||||
region_code = region_code_for_address(address)
|
||||
|
||||
rows = (
|
||||
db.execute(
|
||||
text(
|
||||
"""
|
||||
SELECT
|
||||
sv.deal_id, sv.deal_date, sv.deal_price_rub, sv.deal_price_per_m2,
|
||||
sv.deal_area_m2, sv.deal_rooms, sv.deal_floor, sv.deal_address,
|
||||
sv.listing_id, sv.listing_source, sv.listing_source_url,
|
||||
sv.listing_date, sv.listing_price_rub, sv.listing_price_per_m2,
|
||||
sv.listing_area_m2, sv.days_listing_to_deal, sv.discount_pct
|
||||
deal_id, deal_date, deal_price_rub, deal_price_per_m2,
|
||||
deal_area_m2, deal_rooms, deal_floor, deal_address,
|
||||
listing_id, listing_source, listing_source_url,
|
||||
listing_date, listing_price_rub, listing_price_per_m2,
|
||||
listing_area_m2, days_listing_to_deal, discount_pct
|
||||
FROM street_sales_vs_listings(
|
||||
CAST(:street_pattern AS text),
|
||||
CAST(:area_m2 AS numeric),
|
||||
|
|
@ -2599,9 +2510,7 @@ def get_sales_vs_listings(
|
|||
CAST(:area_tolerance AS numeric),
|
||||
CAST(:period_months AS integer),
|
||||
CAST(:target_city AS text)
|
||||
) sv
|
||||
JOIN deals d ON d.id = sv.deal_id
|
||||
WHERE d.region_code = CAST(:region_code AS integer)
|
||||
)
|
||||
"""
|
||||
),
|
||||
{
|
||||
|
|
@ -2612,7 +2521,6 @@ def get_sales_vs_listings(
|
|||
"area_tolerance": area_tolerance,
|
||||
"period_months": period_months,
|
||||
"target_city": target_city,
|
||||
"region_code": region_code,
|
||||
},
|
||||
)
|
||||
.mappings()
|
||||
|
|
@ -2844,206 +2752,15 @@ COVERAGE_YELLOW_CITIES = ("Нижний Тагил", "Каменск-Ураль
|
|||
COVERAGE_GREEN_MIN_N = 8
|
||||
COVERAGE_YELLOW_MIN_N = 12
|
||||
|
||||
# Москва добавлена 10.09.2026 — ОТДЕЛЬНОЙ константой, а не в
|
||||
# COVERAGE_YELLOW_CITIES. Причина структурная: пара GREEN/YELLOW_CITIES выше —
|
||||
# это контракт со свердловским дропдауном на сайте (city-registry.ts, сверяется
|
||||
# тестом test_offered_cities_match_coverage_cities), а Москвы в том дропдауне
|
||||
# нет и быть не должно — там выбирают город Свердловской области. Порог при
|
||||
# этом нужен, и живёт он здесь, в том же _COVERAGE_CITY_THRESHOLDS.
|
||||
#
|
||||
# Тир — ЖЁЛТЫЙ (12), не зелёный. Замер на проде 10.09.2026: 200 случайных
|
||||
# московских объявлений, когорта считалась тем же предикатом, что сама проба
|
||||
# (см. SQL в coverage_probe ниже) — медиана когорты 14, p25 = 8, доля точек с
|
||||
# когортой >= 12 равна 0.57, с когортой >= 8 равна 0.77. Контроли той же
|
||||
# метрикой: Екатеринбург (зелёный, порог 8) — медиана 37, доля >= 12 равна
|
||||
# 0.865; Нижний Тагил (жёлтый, порог 12) — медиана 11, доля >= 12 равна 0.473.
|
||||
# То есть по плотности когорты Москва втрое реже зелёного эталона и стоит
|
||||
# вплотную к жёлтому: с порогом 8 «ok» получали бы 77% адресов, но за этим «ok»
|
||||
# стояла бы заметно менее надёжная оценка. Плюс модельная сторона для Москвы
|
||||
# ещё не откалибрована (время правится свердловским рядом СберИндекса, полоса
|
||||
# цен одна на весь город), так что 43% адресов честнее показать как thin.
|
||||
COVERAGE_MOSCOW_MIN_N = COVERAGE_YELLOW_MIN_N
|
||||
|
||||
# Ключ центроида и display-имя города — РАЗНЫЕ вещи, и здесь это видно яснее
|
||||
# всего: у Москвы 67 центроидов (сетка, см. `_MOSCOW_GRID_DEG` ниже), а наружу,
|
||||
# в поле `city` ответа, обязано уходить одно имя «Москва» и один порог. Иначе
|
||||
# повторится ровно тот баг, что был с Берёзовским: человек получает в ответе
|
||||
# название района вместо своего города.
|
||||
COVERAGE_MOSCOW_DISPLAY = "Москва"
|
||||
|
||||
# СЕТКА МОСКОВСКИХ ЦЕНТРОИДОВ (11.09.2026).
|
||||
#
|
||||
# Откуда координаты. Это не справочник районов и не ручной подбор: точки
|
||||
# получены кластеризацией НАШЕГО ЖЕ корпуса объявлений средствами PostGIS —
|
||||
# `ST_ClusterKMeans(ST_Transform(geom, 32637), K) OVER ()` по 35 552 активным
|
||||
# вторичным объявлениям region_code=77 (geom заполнена у 100%), центроид
|
||||
# кластера = `ST_Centroid(ST_Collect(...))` в UTM 37N, округление до 4 знаков.
|
||||
# Поэтому точки стоят там, где реально живут объявления, а не там, где на карте
|
||||
# нарисован центр района. Подписи в ключах — человеческие ярлыки для читаемости
|
||||
# (ближайший район/поселение), на резолв они не влияют никак.
|
||||
#
|
||||
# Почему точек 67. Кластеризация дала K=56: порог качества был «меньше 2%
|
||||
# московских объявлений уходит к подмосковному центроиду», свип по K на тех же
|
||||
# данных — 24 → 6.06%, 30 → 4.02%, 36 → 3.67%, 42 → 3.46%, 48 → 2.23%,
|
||||
# 54 → 2.12%, 56 → 1.79%, 60 → 1.64%, 75 → 0.84%, 90 → 0.45%, и K=56 — первое
|
||||
# значение, берущее 2%. Из этих 56 один кластер выброшен как артефакт геокода,
|
||||
# и 12 точек добавлены вручную по замеру 11.09.2026 (жилые районы, целиком
|
||||
# проигрывавшие конкурс подмосковной точке): 56 − 1 + 12 = 67.
|
||||
#
|
||||
# Выброшенный призрак. «Москва (Восточный, эксклав)» 56.0087/37.7960: n=1,
|
||||
# отрыв от остальной сетки 17.9 км. Адрес объявления — «ВАО, р-н Восточный, 4»,
|
||||
# а настоящий район Восточный лежит на 55.81/37.85: геокодер промахнулся
|
||||
# на 22 км. Точка стояла в 3.06 км от Пушкино и раздавала ему имя «Москва».
|
||||
# Взамен добавлена «Москва (Восточный)» по фактическому центру девяти
|
||||
# объявлений района. Проверены ВСЕ кластеры с n<60 либо изоляцией >12 км
|
||||
# (9 штук, адреса подняты с прода) — артефакт ровно один. Второй кандидат,
|
||||
# «Москва (юг ТАО)» 55.2643/37.1033 (n=1, адрес без улицы и дома =
|
||||
# settlement-fallback геокодера), ОСТАВЛЕН намеренно: точка стоит внутри ТАО,
|
||||
# при радиусе 8 км не достаёт ни до одного города области, а снос стоил бы
|
||||
# покрытия анклава.
|
||||
#
|
||||
# Где проходит граница с областью. Двумя механизмами сразу, и нужны оба.
|
||||
# (1) Конкурс ближайшего центроида: 32 подмосковные точки
|
||||
# (`_COVERAGE_NEGATIVE_CENTROIDS_DEG` ниже) участвуют в поиске ближайшего, но
|
||||
# порога не имеют, поэтому адрес, для которого выиграл подмосковный центр,
|
||||
# получает «город не определён». (2) Радиус, который теперь СВОЙСТВО ЦЕНТРОИДА
|
||||
# (`_CENTROID_RADIUS_KM` ниже), а не одна константа на всю страну: у московских
|
||||
# точек он 8 км, у свердловских остались прежние 25.
|
||||
#
|
||||
# Почему радиус пришлось сделать свойством точки. 25 км были рассчитаны на ОДИН
|
||||
# центроид в центре города — круг вокруг Кремля. У плотной сетки круги
|
||||
# СКЛАДЫВАЮТСЯ, и объединение 67 кругов по 25 км — это уже не «Москва с
|
||||
# запасом», а пятно, накрывающее половину области. Наро-Фоминск, Кубинка и Чехов
|
||||
# резолвились как «Москва» именно так: до ближайшей точки сетки им 9.83, 17.18
|
||||
# и 22.25 км (расстояния посчитаны _haversine_km этого же модуля, сфера
|
||||
# R=6371 — замер на эллипсоиде PostGIS даёт на 0.1-0.5 км больше), то есть
|
||||
# внутрь общего круга они попадали, а собственной
|
||||
# отрицательной точки у них нет. Прежнее утверждение в этом месте — будто
|
||||
# радиус 25 км «больше не ограничение, запас четырёхкратный» — было ложным:
|
||||
# ограничение не исчезло, оно поменяло знак. Раньше радиус резал покрытие
|
||||
# изнутри (адрес дальше 25 км от Кремля терял город), теперь протекал наружу.
|
||||
#
|
||||
# Откуда 8 км. Свип по радиусу на итоговой сетке, тот же корпус (35 552
|
||||
# активных вторичных объявления, region_code=77): R = 5, 6, 7 и 8 дают
|
||||
# ОДИНАКОВЫЙ результат — 0.00% объявлений вне радиуса, 29/29 московских
|
||||
# контрольных адресов резолвятся в «Москву», 32/32 областных дают «не
|
||||
# определён». Верхний край плато жёсткий: при R=10 внутрь входит Наро-Фоминск
|
||||
# (9.83 км — город БЕЗ отрицательной точки), при R=12 — ещё Голицыно и
|
||||
# Лыткарино. Берём верхний край: 8 км — это 3.5 км запаса на адреса вне
|
||||
# корпуса (худший московский контроль — Рублёво, 4.44 км до сетки) и всё ещё
|
||||
# на 1.83 км ниже потолка 9.83. Брать меньше нечем оправдать: по корпусу
|
||||
# выигрыша нет, а запас на дырки в сетке тает.
|
||||
#
|
||||
# Остаточная цена. 48 московских объявлений из 35 552 = 0.14% (на прежней
|
||||
# конфигурации — 636 = 1.79%) всё ещё выигрываются подмосковным центром:
|
||||
# Молжаниновский 15, Реутов 8, Подольск 7, Долгопрудный 7, Мытищи 7,
|
||||
# Красногорск 3, Королёв 1. Крупнейший кусок снимается 13-й точкой
|
||||
# «Молжаниновский» 55.9480/37.3478 (0.14% → 0.09%) — она в замере посчитана,
|
||||
# но в список не внесена, чтобы конфигурация здесь совпадала с той, на которой
|
||||
# прогнаны оба контрольных набора. Одно объявление не берётся ничем:
|
||||
# 56.0087/37.7960, тот самый кривой геокод, — лечится перегеокодированием
|
||||
# строки адреса, а не сеткой.
|
||||
#
|
||||
# Не перегенерируйте кластеризацию перед правкой: ST_ClusterKMeans без сида
|
||||
# недетерминирован, разброс между прогонами ±0.2 п.п. Список ниже перепроверен
|
||||
# отдельным прогоном именно в том виде, в каком он здесь записан.
|
||||
_MOSCOW_GRID_DEG: dict[str, tuple[float, float]] = {
|
||||
"Москва (Рогово, ТАО)": (55.2146, 37.0695),
|
||||
"Москва (юг ТАО)": (55.2643, 37.1033),
|
||||
"Москва (Вороновское, ТАО)": (55.3159, 37.1759),
|
||||
"Москва (Кленовское, ТАО)": (55.3343, 37.3299),
|
||||
"Москва (ТАО у Подольска)": (55.3569, 37.4010),
|
||||
"Москва (Шишкин Лес, ТАО)": (55.4202, 37.1687),
|
||||
"Москва (Щапово, ТАО)": (55.4212, 37.3979),
|
||||
"Москва (Новофёдоровское, ТАО)": (55.4307, 36.8675),
|
||||
"Москва (Троицк, юг)": (55.4568, 37.2867),
|
||||
"Москва (Остафьево, НАО)": (55.4760, 37.5249),
|
||||
"Москва (Киевский, ТАО)": (55.4884, 36.9199),
|
||||
"Москва (Троицк)": (55.4953, 37.3150),
|
||||
"Москва (Щербинка, НАО)": (55.5046, 37.5578),
|
||||
"Москва (Ватутинки, НАО)": (55.5187, 37.3605),
|
||||
"Москва (Первомайское, ТАО)": (55.5405, 37.1599),
|
||||
"Москва (Коммунарка, НАО)": (55.5474, 37.4927),
|
||||
"Москва (Филимонковское, НАО)": (55.5568, 37.3188),
|
||||
"Москва (Северное Бутово)": (55.5615, 37.5697),
|
||||
"Москва (Саларьево, НАО)": (55.5862, 37.4568),
|
||||
"Москва (Марушкино, НАО)": (55.5933, 37.1658),
|
||||
"Москва (Бирюлёво Западное)": (55.5945, 37.6447),
|
||||
"Москва (Внуковское, НАО)": (55.6030, 37.3796),
|
||||
"Москва (Ясенево)": (55.6138, 37.5535),
|
||||
"Москва (Зябликово)": (55.6225, 37.7303),
|
||||
"Москва (Ново-Переделкино)": (55.6317, 37.3215),
|
||||
"Москва (Нагорный)": (55.6425, 37.6245),
|
||||
"Москва (Солнцево)": (55.6455, 37.3966),
|
||||
"Москва (Тропарёво-Никулино)": (55.6576, 37.4684),
|
||||
"Москва (Люблино)": (55.6696, 37.7461),
|
||||
"Москва (Обручевский)": (55.6711, 37.5432),
|
||||
"Москва (Даниловский)": (55.6921, 37.6397),
|
||||
"Москва (Некрасовка)": (55.7033, 37.9093),
|
||||
"Москва (Раменки)": (55.7048, 37.4870),
|
||||
"Москва (Кузьминки)": (55.7143, 37.7723),
|
||||
"Москва (Кунцево)": (55.7281, 37.4239),
|
||||
"Москва (Якиманка)": (55.7290, 37.6055),
|
||||
"Москва (Таганский)": (55.7370, 37.6845),
|
||||
"Москва (Пресненский)": (55.7486, 37.5282),
|
||||
"Москва (Новогиреево)": (55.7545, 37.8107),
|
||||
"Москва (Тверской)": (55.7655, 37.6038),
|
||||
"Москва (Хорошёво-Мнёвники)": (55.7657, 37.4668),
|
||||
"Москва (Преображенское)": (55.7886, 37.7045),
|
||||
"Москва (Хорошёвский)": (55.7951, 37.5373),
|
||||
"Москва (Строгино)": (55.7982, 37.3859),
|
||||
"Москва (Северное Измайлово)": (55.8071, 37.7881),
|
||||
"Москва (Останкинский)": (55.8086, 37.6174),
|
||||
"Москва (Покровское-Стрешнево)": (55.8203, 37.4470),
|
||||
"Москва (Митино)": (55.8467, 37.3877),
|
||||
"Москва (Отрадное)": (55.8558, 37.5796),
|
||||
"Москва (Ховрино)": (55.8581, 37.4924),
|
||||
"Москва (Бабушкинский)": (55.8633, 37.6740),
|
||||
"Москва (Лианозово)": (55.8944, 37.5622),
|
||||
"Москва (Куркино — Молжаниново)": (55.9169, 37.3837),
|
||||
"Москва (Зеленоград, юг)": (55.9793, 37.1620),
|
||||
"Москва (Зеленоград, север)": (55.9958, 37.2147),
|
||||
# Кластер «Москва (Восточный, эксклав)» (56.0087, 37.7960) ВЫБРОШЕН
|
||||
# 11.09.2026 как артефакт геокода — см. «Выброшенный призрак» выше.
|
||||
#
|
||||
# Ниже — 12 точек, добавленных тем же замером вручную: жилые районы
|
||||
# Москвы, которые целиком проигрывали конкурс ближайшего подмосковной
|
||||
# точке. В комментарии — сколько объявлений возвращает точка и кому они
|
||||
# уходили (прод-корпус, is_active AND region_code=77).
|
||||
"Москва (Восточный)": (55.8194, 37.8740), # +9, уходили к Балашихе
|
||||
"Москва (Левобережный)": (55.8713, 37.4592), # +91, к Химкам
|
||||
"Москва (Орехово-Борисово Южное)": (55.5986, 37.7233), # +80, к Развилке
|
||||
"Москва (Северный)": (55.9278, 37.5411), # +79, к Долгопрудному
|
||||
"Москва (Митино-запад)": (55.8410, 37.3507), # +78, к Красногорску
|
||||
"Москва (Ивановское)": (55.7717, 37.8326), # +65, к Реутову
|
||||
"Москва (Жулебино)": (55.6885, 37.8521), # +62, к Люберцам
|
||||
"Москва (Можайский-запад)": (55.7008, 37.3936), # +50, к Немчиновке
|
||||
"Москва (Новокосино)": (55.7385, 37.8576), # +44, к Реутову
|
||||
"Москва (Капотня)": (55.6341, 37.7981), # +29, к Дзержинскому
|
||||
"Москва (Куркино)": (55.8895, 37.3980), # +20, к Химкам
|
||||
"Москва (Некрасовка-восток)": (55.6838, 37.9216), # +13, к Люберцам
|
||||
}
|
||||
|
||||
# Все ключи сетки — один display «Москва» и один порог. Кортеж выводится из
|
||||
# самого словаря, чтобы список ключей физически не мог разойтись с сеткой.
|
||||
COVERAGE_MOSCOW_CENTROID_KEYS = tuple(_MOSCOW_GRID_DEG)
|
||||
|
||||
|
||||
def _fold_city(name: str) -> str:
|
||||
"""ёЁ→еЕ + casefold — та же normalization-идиома, что для адресов (см. #1774)."""
|
||||
return name.strip().translate(str.maketrans("ёЁ", "ее")).casefold()
|
||||
|
||||
|
||||
# Ключ — folded ИМЯ ЦЕНТРОИДА, значение — (display-имя города, порог). Для
|
||||
# свердловских городов ключ и display совпадают, для московских центроидов —
|
||||
# нет (все 67 ключей сетки дают «Москва»).
|
||||
_COVERAGE_CITY_THRESHOLDS: dict[str, tuple[str, int]] = {
|
||||
**{_fold_city(c): (c, COVERAGE_GREEN_MIN_N) for c in COVERAGE_GREEN_CITIES},
|
||||
**{_fold_city(c): (c, COVERAGE_YELLOW_MIN_N) for c in COVERAGE_YELLOW_CITIES},
|
||||
**{
|
||||
_fold_city(k): (COVERAGE_MOSCOW_DISPLAY, COVERAGE_MOSCOW_MIN_N)
|
||||
for k in COVERAGE_MOSCOW_CENTROID_KEYS
|
||||
},
|
||||
}
|
||||
|
||||
# Повторная проверка ручки #2894 (2026-08): город раньше резолвился модой
|
||||
|
|
@ -3066,15 +2783,7 @@ _COVERAGE_CITY_THRESHOLDS: dict[str, tuple[str, int]] = {
|
|||
# статичного справочника из 8 географических центров населённых пунктов —
|
||||
# оверинжиниринг; координаты (WGS84, общедоступные центры НП) живут здесь же,
|
||||
# рядом с порогами, которые они резолвят.
|
||||
# Радиусы матчинга. Радиус — СВОЙСТВО ЦЕНТРОИДА (таблица `_CENTROID_RADIUS_KM`
|
||||
# ниже, применяется в `_resolve_coverage_city`), потому что 25 км осмысленны
|
||||
# ровно для конфигурации «один центроид на город», а у Москвы центроидов 67 и
|
||||
# их круги складываются — разбор в комментарии над `_MOSCOW_GRID_DEG`.
|
||||
# Свердловские точки радиуса не меняли: у каждой из них один центр на город,
|
||||
# складываться нечему, а замер, которым выбраны эти 25 км, к сетке отношения
|
||||
# не имеет.
|
||||
COVERAGE_CITY_MATCH_RADIUS_KM = 25.0 # дефолт: один центроид на город, дальше — not_covered
|
||||
COVERAGE_MOSCOW_MATCH_RADIUS_KM = 8.0 # сетка из 67 точек; верхний край плато 5..8, потолок 9.83
|
||||
COVERAGE_CITY_MATCH_RADIUS_KM = 25.0 # дальше — город не определён (not_covered)
|
||||
|
||||
_CITY_CENTROIDS_DEG: dict[str, tuple[float, float]] = {
|
||||
"Екатеринбург": (56.8389, 60.6057),
|
||||
|
|
@ -3086,99 +2795,8 @@ _CITY_CENTROIDS_DEG: dict[str, tuple[float, float]] = {
|
|||
"Первоуральск": (56.9083, 59.9483),
|
||||
"Ревда": (56.7986, 59.9298),
|
||||
"Серов": (59.6047, 60.5772),
|
||||
# Москва — сетка из 67 центроидов, одно display-имя и один порог на все.
|
||||
# Как сетка получена, почему точек именно столько, где проходит граница
|
||||
# с областью и какова остаточная цена — см. большой комментарий над
|
||||
# `_MOSCOW_GRID_DEG`. Здесь только подстановка: координаты и ключи живут
|
||||
# в одном месте, чтобы их нельзя было рассинхронизировать.
|
||||
**_MOSCOW_GRID_DEG,
|
||||
}
|
||||
|
||||
# ОТРИЦАТЕЛЬНЫЕ центроиды: подмосковные города и посёлки, попадающие внутрь
|
||||
# радиуса московских точек. Список 11.09.2026 перепроверен на итоговой
|
||||
# конфигурации (67 точек сетки, радиус 8 км): все 32 точки живы — ни одну
|
||||
# не перехватывает московский центроид, в самой точке выигрывает она сама,
|
||||
# и ответ остаётся «город не определён». Внутрь 8 км от какой-нибудь точки
|
||||
# сетки попадают 13 из них (Химки, Реутов, Люберцы, Котельники, Дзержинский,
|
||||
# Красногорск, Долгопрудный, Мытищи, Видное, Одинцово, Подольск, Апрелевка,
|
||||
# Селятино) — каждая выигрывает собственным центром. Ближайшая пара после
|
||||
# добавления новых точек: «Митино-запад» в 1.6 км от Красногорска. Участвуют
|
||||
# в конкурсе ближайшего центроида наравне с городами из
|
||||
# `_CITY_CENTROIDS_DEG`, но НАМЕРЕННО отсутствуют в `_COVERAGE_CITY_THRESHOLDS`:
|
||||
# центроид без порога = «город не определён», тот же ответ, что для точки
|
||||
# в чистом поле. Обоснование и цена — в комментарии «ГРАНИЦА С ОБЛАСТЬЮ» выше.
|
||||
#
|
||||
# Координаты — WGS84, общедоступные центры НП; список закрытый и расширяется
|
||||
# только по замеру (точка вне радиуса всех московских бесполезна, точка внутри
|
||||
# Москвы сожгла бы ещё часть покрытия). Ключи здесь и в `_CITY_CENTROIDS_DEG`
|
||||
# не должны пересекаться — это проверяется тестом.
|
||||
#
|
||||
# Города области, которые НЕ попадают ни в один московский радиус, здесь и не
|
||||
# нужны: Наро-Фоминск (9.83 км до сетки), Кубинка (17.18), Чехов (22.25) отдают
|
||||
# «город не определён» просто потому, что вне 8 км. При прежних 25 км все трое
|
||||
# резолвились как «Москва» — это и был дефект, ради которого радиус переехал
|
||||
# в свойство центроида.
|
||||
_COVERAGE_NEGATIVE_CENTROIDS_DEG: dict[str, tuple[float, float]] = {
|
||||
"Андреевка": (55.9772, 37.1100),
|
||||
"Менделеево": (56.0333, 37.2333),
|
||||
"Сходня": (55.9500, 37.3000),
|
||||
"Чёрная Грязь": (55.9667, 37.3167),
|
||||
"Лунёво": (56.0000, 37.3500),
|
||||
"Поварово": (56.0667, 37.0667),
|
||||
"Дедовск": (55.8672, 37.1200),
|
||||
"Нахабино": (55.8500, 37.1833),
|
||||
"Реутов": (55.7614, 37.8564),
|
||||
"Подольск": (55.4312, 37.5450),
|
||||
"Апрелевка": (55.5500, 37.0700),
|
||||
"Немчиновка": (55.7050, 37.3450),
|
||||
"Химки": (55.8894, 37.4450),
|
||||
"Одинцово": (55.6789, 37.2639),
|
||||
"Лобня": (56.0100, 37.4750),
|
||||
"Мытищи": (55.9116, 37.7308),
|
||||
"Котельники": (55.6553, 37.8619),
|
||||
"Красногорск": (55.8317, 37.3300),
|
||||
"Люберцы": (55.6767, 37.8931),
|
||||
"Дзержинский": (55.6294, 37.8500),
|
||||
"Развилка": (55.5842, 37.7392),
|
||||
"Климовск": (55.3667, 37.5333),
|
||||
"Балашиха": (55.7969, 37.9386),
|
||||
"Истра": (55.9167, 36.8667),
|
||||
"Долгопрудный": (55.9386, 37.5100),
|
||||
"Королёв": (55.9142, 37.8256),
|
||||
"Видное": (55.5519, 37.7133),
|
||||
"Селятино": (55.5081, 36.9825),
|
||||
"Томилино": (55.6528, 37.9472),
|
||||
"Некрасовский": (56.0500, 37.5500),
|
||||
"Барвиха": (55.7333, 37.2333),
|
||||
"Железнодорожный": (55.7444, 38.0128),
|
||||
}
|
||||
|
||||
|
||||
# Радиус матчинга по центроиду: ключ — folded имя центроида, значение — км.
|
||||
# Чего здесь нет — берёт `COVERAGE_CITY_MATCH_RADIUS_KM` (25 км), то есть все
|
||||
# свердловские точки. Таблица выводится из самих словарей координат, чтобы
|
||||
# радиус физически не мог разойтись со списком точек.
|
||||
#
|
||||
# Почему у отрицательных точек радиус бесконечный. Отрицательный центроид
|
||||
# ничего не «накрывает»: он влияет на ответ только там, где он ближе всех
|
||||
# (в своей ячейке Вороного), а выигравший центроид без порога даёт «город не
|
||||
# определён» на ЛЮБОМ расстоянии — обе ветки `_resolve_coverage_city` (вышли
|
||||
# за радиус / нет порога) возвращают один и тот же ответ. Поэтому конечное
|
||||
# число здесь было бы декорацией: поведение оно не меняет, но читалось бы как
|
||||
# «дальше отрицательная точка перестаёт действовать», чего не происходит.
|
||||
# math.inf говорит правду — границу отрицательной точки задаёт геометрия
|
||||
# соседей, а не радиус, и попытка «подрезать» её числом ничего не вернёт
|
||||
# Москве, зато спрячет этот факт от следующего читателя.
|
||||
_CENTROID_RADIUS_KM: dict[str, float] = {
|
||||
**{_fold_city(k): COVERAGE_MOSCOW_MATCH_RADIUS_KM for k in COVERAGE_MOSCOW_CENTROID_KEYS},
|
||||
**{_fold_city(k): math.inf for k in _COVERAGE_NEGATIVE_CENTROIDS_DEG},
|
||||
}
|
||||
|
||||
|
||||
def _centroid_radius_km(centroid_key: str) -> float:
|
||||
"""Радиус матчинга КОНКРЕТНОГО центроида в км (см. `_CENTROID_RADIUS_KM`)."""
|
||||
return _CENTROID_RADIUS_KM.get(_fold_city(centroid_key), COVERAGE_CITY_MATCH_RADIUS_KM)
|
||||
|
||||
|
||||
def _haversine_km(lat1: float, lon1: float, lat2: float, lon2: float) -> float:
|
||||
"""Расстояние по большому кругу (км), радиус Земли 6371 км."""
|
||||
|
|
@ -3194,49 +2812,23 @@ def _resolve_coverage_city(lat: float, lon: float) -> tuple[str, int, bool]:
|
|||
"""Резолвит (display_city, threshold, is_supported) для пробы покрытия — ПО КООРДИНАТАМ.
|
||||
|
||||
Город = ближайший центроид из `_CITY_CENTROIDS_DEG`, если расстояние до него
|
||||
в пределах СОБСТВЕННОГО радиуса этого центроида (`_centroid_radius_km`:
|
||||
25 км у свердловских городов, 8 км у точек московской сетки — почему так,
|
||||
см. комментарий над `_MOSCOW_GRID_DEG`); иначе город не определён.
|
||||
Детерминированно
|
||||
< `COVERAGE_CITY_MATCH_RADIUS_KM`; иначе город не определён. Детерминированно
|
||||
и без участия клиента — см. комментарий над `_CITY_CENTROIDS_DEG` про то,
|
||||
почему `listings.city` (мода когорты) и `city_hint` (клиентский вход) сюда
|
||||
больше НЕ допускаются в качестве источника истины.
|
||||
|
||||
В конкурсе ближайшего участвуют И отрицательные центроиды
|
||||
(`_COVERAGE_NEGATIVE_CENTROIDS_DEG`) — подмосковные точки без порога.
|
||||
Выигравший центроид без порога означает «город не определён»: так граница
|
||||
Москвы и области проходит по конкурсу центров, а не по кругу радиуса
|
||||
(см. «ГРАНИЦА С ОБЛАСТЬЮ» над `_CITY_CENTROIDS_DEG`).
|
||||
|
||||
Возвращается display-имя из `_COVERAGE_CITY_THRESHOLDS`, а НЕ ключ
|
||||
центроида: у Москвы 67 центроидов на один город, и наружу все они обязаны
|
||||
отдавать «Москва» с одним порогом (см. `COVERAGE_MOSCOW_CENTROID_KEYS`).
|
||||
"""
|
||||
nearest_city: str | None = None
|
||||
nearest_km = math.inf
|
||||
for city, (clat, clon) in (
|
||||
*_CITY_CENTROIDS_DEG.items(),
|
||||
*_COVERAGE_NEGATIVE_CENTROIDS_DEG.items(),
|
||||
):
|
||||
for city, (clat, clon) in _CITY_CENTROIDS_DEG.items():
|
||||
distance_km = _haversine_km(lat, lon, clat, clon)
|
||||
if distance_km < nearest_km:
|
||||
nearest_km = distance_km
|
||||
nearest_city = city
|
||||
|
||||
# Радиус берётся у ПОБЕДИТЕЛЯ конкурса, а не общий: круги плотной сетки
|
||||
# складываются, и один глобальный радиус либо режет Свердловскую область,
|
||||
# либо протекает из Москвы в область (см. `_CENTROID_RADIUS_KM`).
|
||||
if nearest_city is None or nearest_km > _centroid_radius_km(nearest_city):
|
||||
if nearest_city is None or nearest_km > COVERAGE_CITY_MATCH_RADIUS_KM:
|
||||
return "", 0, False
|
||||
|
||||
# .get(), а не индексирование: ближайшим мог оказаться отрицательный
|
||||
# центроид (или новый центроид, для которого забыли завести порог) — это
|
||||
# «город не определён», а не KeyError и 500 на живом адресе.
|
||||
entry = _COVERAGE_CITY_THRESHOLDS.get(_fold_city(nearest_city))
|
||||
if entry is None:
|
||||
return "", 0, False
|
||||
|
||||
display, threshold = entry
|
||||
display, threshold = _COVERAGE_CITY_THRESHOLDS[_fold_city(nearest_city)]
|
||||
return display, threshold, True
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -8,11 +8,6 @@ from repo root. We deliberately do NOT share code between repos via
|
|||
|
||||
When updating one copy, update the other.
|
||||
|
||||
⚠️ РАСХОЖДЕНИЕ С ЗЕРКАЛОМ (#3316, намеренное — не «синхронизировать» обратно):
|
||||
здесь `get_role` резолвит роль СНАЧАЛА из реестра людей (`tradein_users.role` /
|
||||
`auth.users.role`), и только потом из YAML. У основного бэкенда реестра нет,
|
||||
там копия остаётся YAML-only.
|
||||
|
||||
Caddy gates the whole site with basic_auth (см. `caddy/users.caddy.snippet`)
|
||||
и пропускает в backend заголовок `X-Authenticated-User: <username>` через
|
||||
`header_up X-Authenticated-User {http.auth.user.id}` в каждом reverse_proxy.
|
||||
|
|
@ -30,15 +25,13 @@ import logging
|
|||
import re
|
||||
from functools import lru_cache
|
||||
from pathlib import Path
|
||||
from typing import Literal, TypedDict, cast
|
||||
from typing import Literal, TypedDict
|
||||
|
||||
import yaml
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# legacy roles.yaml-роли + роли реестра ('admin'|'manager'|'employee', CHECK
|
||||
# tradein м.192 / auth м.004). Оба набора приходят из одного `get_role` (#3316).
|
||||
Role = Literal["admin", "pilot", "analyst", "expired", "manager", "employee"]
|
||||
Role = Literal["admin", "pilot", "analyst", "expired"]
|
||||
|
||||
|
||||
class UserScope(TypedDict):
|
||||
|
|
@ -162,74 +155,8 @@ def _load_roles_config() -> dict:
|
|||
# ---------------------------------------------------------------------------
|
||||
|
||||
|
||||
def yaml_role(username: str) -> Role | None:
|
||||
"""Роль из roles.yaml (без похода в реестр) или None, если юзера там нет.
|
||||
|
||||
Нужна там, где спрашивают именно про legacy-файл, а не про эффективную роль:
|
||||
`team.create_employee` (#3316) не даёт занять имя, за которым в YAML уже
|
||||
числятся права.
|
||||
"""
|
||||
users: dict[str, Role] = _load_roles_config()["users"]
|
||||
return users.get(username)
|
||||
|
||||
|
||||
def _registry_role(username: str) -> str | None:
|
||||
"""Роль из реестра людей (`tradein_users.role` / `auth.users.role`) или None.
|
||||
|
||||
None означает «реестр про этого юзера ничего не сказал»: строки нет, роль
|
||||
пустая, либо реестр вообще недоступен. Во всех трёх случаях решение
|
||||
остаётся за roles.yaml — падение БД не имеет права выключить legacy-вход.
|
||||
|
||||
⚠️ Осознанный компромисс (#3316 review): последняя ветка — недоступный
|
||||
реестр — на время сбоя ВОЗВРАЩАЕТ авторитетность roles.yaml, то есть ровно
|
||||
то состояние, которое этот фикс и лечит. Сегодня это безопасно: коллизий
|
||||
имён между реестром и YAML на проде нет, а новые закрыты 409-гвардом в
|
||||
`team.create_employee`. Если коллизия всё же появится (ручной INSERT в
|
||||
реестр, расширение roles.yaml) — сбой БД станет окном эскалации, и тогда
|
||||
эту ветку надо менять на fail-closed (отказ вместо YAML-роли), а не
|
||||
дописывать проверки у вызывающих.
|
||||
|
||||
Имя таблицы берётся из фиксированного словаря `identity_schema()`, значение
|
||||
едет bind-параметром: снаружи в SQL не попадает ничего.
|
||||
"""
|
||||
try:
|
||||
from sqlalchemy import text
|
||||
|
||||
from app.services.identity_store import identity_schema, identity_session
|
||||
|
||||
schema = identity_schema()
|
||||
with identity_session() as db:
|
||||
row = db.execute(
|
||||
text(f"SELECT role FROM {schema.users_table} WHERE username = :username"),
|
||||
{"username": username},
|
||||
).fetchone()
|
||||
except Exception:
|
||||
logger.exception(
|
||||
"registry role lookup failed for %r — fallback to roles.yaml",
|
||||
username,
|
||||
)
|
||||
return None
|
||||
if row is None or not row.role:
|
||||
return None
|
||||
return str(row.role)
|
||||
|
||||
|
||||
def get_role(username: str) -> Role:
|
||||
"""Эффективная роль *username*: реестр (БД) первый, roles.yaml — fallback.
|
||||
|
||||
Raises KeyError, если юзера нет ни там, ни там.
|
||||
|
||||
#3316: раньше роль резолвилась ТОЛЬКО из roles.yaml, при том что люди
|
||||
заводятся в БД (`tradein_users`) — два дефекта разом. Вверх: сотрудник,
|
||||
чьё имя совпало с YAML-админом, получал admin (IDOR по чужим оценкам +
|
||||
безлимит квоты). Вниз: сотрудник, которого в YAML нет, получал KeyError →
|
||||
403 на СОБСТВЕННУЮ оценку. Единственный источник истины теперь один, и он
|
||||
здесь — вызывающие (rbac, trade_in, team, account_quota) не меняются.
|
||||
"""
|
||||
db_role = _registry_role(username)
|
||||
if db_role is not None:
|
||||
return cast(Role, db_role)
|
||||
|
||||
"""Return the role for *username* or raise KeyError if unknown."""
|
||||
config = _load_roles_config()
|
||||
users: dict[str, Role] = config["users"]
|
||||
if username not in users:
|
||||
|
|
@ -290,22 +217,13 @@ def get_user_scope(username: str) -> UserScope:
|
|||
"""
|
||||
config = _load_roles_config()
|
||||
role = get_role(username)
|
||||
role_def = config["roles"].get(role)
|
||||
if role_def is None:
|
||||
# Роль реестра (employee/manager) — её scope живёт в DB_ROLE_PATHS, а не
|
||||
# в roles.yaml (#3316: get_role теперь может вернуть и такую роль).
|
||||
from app.services.auth_session import get_db_role_scope
|
||||
|
||||
allowed_paths, deny_paths = get_db_role_scope(role)
|
||||
else:
|
||||
allowed_paths = list(role_def.get("paths", []) or [])
|
||||
deny_paths = list(role_def.get("deny", []) or [])
|
||||
role_def = config["roles"][role]
|
||||
display_name, org, email = get_profile_for_user(username)
|
||||
return UserScope(
|
||||
username=username,
|
||||
role=role,
|
||||
allowed_paths=allowed_paths,
|
||||
deny_paths=deny_paths,
|
||||
allowed_paths=list(role_def.get("paths", []) or []),
|
||||
deny_paths=list(role_def.get("deny", []) or []),
|
||||
brand=get_brand_for_user(username),
|
||||
display_name=display_name,
|
||||
org=org,
|
||||
|
|
|
|||
|
|
@ -47,7 +47,6 @@ from sqlalchemy.exc import ArgumentError
|
|||
from sqlalchemy.orm import Session, sessionmaker
|
||||
|
||||
from app.core.config import settings
|
||||
from app.core.db import DB_CONNECT_ARGS
|
||||
|
||||
|
||||
class AuthDatabaseNotConfiguredError(RuntimeError):
|
||||
|
|
@ -91,30 +90,7 @@ def _build() -> tuple[Engine, sessionmaker[Session]]:
|
|||
if not dsn:
|
||||
raise AuthDatabaseNotConfiguredError(_NOT_CONFIGURED_MSG)
|
||||
try:
|
||||
engine = create_engine(
|
||||
dsn,
|
||||
pool_pre_ping=True,
|
||||
future=True,
|
||||
# #3194: SQLAlchemy печатает ВСЕ bind-параметры в тексте StatementError —
|
||||
# через них в GlitchTip уезжали ключ шифрования кук и сами куки
|
||||
# (pgp_sym_encrypt(:cookies_json, :key)). Флаг на УРОВНЕ ДВИЖКА кроет все
|
||||
# сайты вызова разом, включая будущие.
|
||||
# НЕ закрывает: текст ошибки самого драйвера (Postgres DETAIL со значением)
|
||||
# и сырые psycopg-подключения мимо движков — это отдельный класс.
|
||||
hide_parameters=True,
|
||||
# #3463. Те же потолки, что у продуктового движка, — ОДНОЙ константой на оба:
|
||||
# потолок на одном движке и мина на втором это не починка, а половина.
|
||||
# Этот движок живёт на ГОРЯЧЕМ пути: `core/rbac.py` резолвит session-cookie
|
||||
# в middleware, синхронно на event loop'е, на КАЖДОМ запросе с cookie
|
||||
# (на проде IDENTITY_STORE=auth во всех трёх сервисах образа — сверено 12.09,
|
||||
# `printenv` в контейнерах). Без потолка `ACCESS EXCLUSIVE` на `auth.sessions`
|
||||
# вешает не четыре слота `/estimate`, а весь uvicorn-воркер (он один, без
|
||||
# --workers) — включая `/health`.
|
||||
# Срабатывание потолка безопасно: вызов в rbac.py уже под `except Exception`
|
||||
# с фолбэком на заголовочную аутентификацию, то есть отмена запроса даёт тот
|
||||
# же путь, что и любой другой сбой реестра, а не 500.
|
||||
connect_args=DB_CONNECT_ARGS,
|
||||
)
|
||||
engine = create_engine(dsn, pool_pre_ping=True, future=True)
|
||||
except (ArgumentError, ValueError):
|
||||
# ValueError — не паранойя: на «почти URL» разбор SQLAlchemy доходит до
|
||||
# `int(port)` и падает с `invalid literal for int() with base 10: 'w'`,
|
||||
|
|
|
|||
|
|
@ -431,37 +431,10 @@ class Settings(BaseSettings):
|
|||
# После фактора заново применяется le_asking-кламп (expected_sold ≤ asking).
|
||||
# OFF ⇒ точно старое поведение expected_sold.
|
||||
estimate_hedonic_correction_enabled: bool = True
|
||||
# #3248 (перефит 2026-08-30, n=1269 из свежей прод-фикстуры ЕКБ 1600 сделок).
|
||||
#
|
||||
# Прежние значения (b0=0.6146, year=0.1220, larea=-0.1603, first=-0.1248) зафичены
|
||||
# 2026-06-27 (#2002), когда asking→sold ratio ключевался ПО КОМНАТАМ. 2026-08-05
|
||||
# (#2620) ratio переключили на area-бакеты — то есть под хедонику подставили ДРУГУЮ
|
||||
# базу, а её саму не пересчитали. Хедоника по определению чинит ОСТАТОК
|
||||
# log(actual_sold / expected_sold), поэтому её коэффициенты верны только для той
|
||||
# базы, на которой фитились. Итог: площадь штрафовалась дважды, крупные лоты
|
||||
# занижались на 21% (bias 4+ комнат = -21.4%).
|
||||
#
|
||||
# larea = 0.0 ВЫСТАВЛЕН НАМЕРЕННО, это не «не задан». После #2620 площадь несёт
|
||||
# area-бакетный ratio, и его форма — перевёрнутая U (факт sold/ask по бакетам:
|
||||
# 0.786 / 0.829 / 0.899 / 0.954 / 0.864), которую монотонный ln(area) выразить не
|
||||
# может в принципе: он тянет крупное жильё вниз ровно там, где рынок его не
|
||||
# дисконтирует. Член стал избыточным и вредным — обнуляем, оставляя код-путь.
|
||||
#
|
||||
# Замер вариантов на той же фикстуре (bias по комнатам, median):
|
||||
# текущие MAPE 13.90 | студия +7.6 1к -0.5 2к -2.8 3к -5.3 4+ -21.4
|
||||
# OLS все 4 члена MAPE 14.11 | студия -0.9 1к -1.6 2к -0.7 3к -4.0 4+ -14.1
|
||||
# БЕЗ larea (тут) MAPE 14.28 | студия -3.1 1к -2.3 2к -0.4 3к -1.9 4+ -10.4
|
||||
# хедоника OFF MAPE 15.88 | студия -1.5 1к +4.4 2к +4.2 3к -2.3 4+ -5.0
|
||||
# Берём «без larea»: худший перекос вдвое меньше, все прочие классы в пределах
|
||||
# ±3.1%, цена — +0.38 п.п. общего MAPE (хедоника сжимает разброс за счёт year).
|
||||
#
|
||||
# ОСТАТОК -10.4% по 4+ конфигом НЕ закрывается: ratio бакета 4 = 0.8211 при
|
||||
# фактических sold/ask = 0.8640, т.е. занижен на ~5% ДО всякой хедоники. Это
|
||||
# пересчёт самой таблицы (app/tasks/asking_to_sold_ratio.py), см. follow-up.
|
||||
estimate_hedonic_b0: float = -0.0140 # #3248 перефит поверх area-бакетного ratio
|
||||
estimate_hedonic_year_coef: float = 0.0769 # per (year-2000)/20
|
||||
estimate_hedonic_larea_coef: float = 0.0 # НАМЕРЕННО 0 — площадь несёт ratio (#2620)
|
||||
estimate_hedonic_first_floor_coef: float = -0.0745 # floor==1 ground-floor ≈ -7%
|
||||
estimate_hedonic_b0: float = 0.6146 # fit log(sold/es) ~ year + ln(area), n=2366 (#2002)
|
||||
estimate_hedonic_year_coef: float = 0.1220 # per (year-2000)/20
|
||||
estimate_hedonic_larea_coef: float = -0.1603 # per ln(area_m2)
|
||||
estimate_hedonic_first_floor_coef: float = -0.1248 # floor==1 ground-floor ≈ -12%; #2002 n=2366
|
||||
estimate_hedonic_factor_min: float = 0.75
|
||||
estimate_hedonic_factor_max: float = 1.30
|
||||
# ── #1795: premium headline anti-inflation (4 фикса, каждый за флагом) ──────
|
||||
|
|
@ -745,32 +718,6 @@ class Settings(BaseSettings):
|
|||
estimate_quarter_from_coords_enabled: bool = False
|
||||
|
||||
# ── Сегментная поправка эстиматора по ценовому бэнду (#2255) ──────────────
|
||||
#
|
||||
# ⚠ НЕ ВКЛЮЧАТЬ БЕЗ ПЕРЕЗАМЕРА. Посылка, на которой откалиброваны множители
|
||||
# ниже («движок занижает верхние сегменты»), 2026-08-29 признана АРТЕФАКТОМ
|
||||
# измерения, а не свойством движка.
|
||||
#
|
||||
# Причина: `scripts/backtest_estimator.py::_segment_metrics` группирует ошибки
|
||||
# ПО SOLD ₽/м² — по той самой величине, которую движок предсказывает. Группировка
|
||||
# по исходу даёт регрессию к среднему: в дешёвых корзинах любой предиктор выглядит
|
||||
# завышающим, в дорогих — занижающим, даже при нулевом перекосе.
|
||||
#
|
||||
# Контрольный опыт (13 074 сделки ЕКБ с 2025-06): предиктор БЕЗ сегментного
|
||||
# перекоса по построению — медиана окружения 1 км ÷ общий уровень — даёт в тех же
|
||||
# корзинах эконом +22.28%, бизнес −17.04%, элит −30.06%. Это БОЛЬШЕ наблюдавшегося
|
||||
# перекоса движка (бизнес −9.74%, элит −18.45% на n=1191), т.е. движок «занижает»
|
||||
# ровно настолько, насколько этого требует способ замера, и даже меньше.
|
||||
#
|
||||
# Перекрёстная проверка: те же сделки, но бэнд задан НЕЗАВИСИМЫМ прокси (медиана
|
||||
# активных объявлений собственного дома, own_n>=3) — градиент исчезает, остаётся
|
||||
# ровный уровень +20…+27% (это разрыв asking↔sold, его чинит asking_to_sold_ratio).
|
||||
#
|
||||
# Следствие: включение флага подняло бы бизнес/элит на 6-8% БЕЗ ОСНОВАНИЯ.
|
||||
# Прежде чем трогать — перевести `_segment_metrics` на независимый бэнд и
|
||||
# перемерить. Абзац «band-mismatch» ниже описывает симптом того же артефакта.
|
||||
# Разбор: vault `segment-bias-is-regression-to-the-mean-artifact`.
|
||||
#
|
||||
# ИСТОРИЧЕСКАЯ ПОСЫЛКА (сохранена как есть, НЕ опирайся на неё):
|
||||
# Эстиматор систематически занижает верхние сегменты (live-бэктест n=561,
|
||||
# 2026-07-03): эконом +3.2%, комфорт −4.5%, бизнес −16.3% (n=76),
|
||||
# элит −25.7% (n=16). Множитель применяется к median_price/median_ppm2 и
|
||||
|
|
@ -793,9 +740,6 @@ class Settings(BaseSettings):
|
|||
# бизнес bias −10.4→−3.2, элит −30→−24.6, эконом почти intact (MAPE 18.0).
|
||||
# Дальнейшее сжатие bias без роста MAPE — только с confidence-гейтом
|
||||
# (не применять множитель на low-confidence предсказаниях) → follow-up issue.
|
||||
# NB (2026-08-29): «bias −10.4→−3.2» выше меряет схлопывание АРТЕФАКТА, а не
|
||||
# исправление ошибки — см. предупреждение в начале блока. Рост общего MAPE
|
||||
# +1.87pp при этом настоящий: множитель двигает реальные цены.
|
||||
# Пересчёт биасов — см. scripts/backtest_estimator.py --calibrate-segments.
|
||||
estimate_segment_multipliers: dict[str, float] = {
|
||||
"эконом": 1.00,
|
||||
|
|
@ -1007,14 +951,6 @@ class Settings(BaseSettings):
|
|||
# ENV: YANDEX_PROXY_MAX_ROTATIONS.
|
||||
yandex_proxy_max_rotations: int = 4
|
||||
|
||||
# ── Порог полноты detail-страницы Яндекса (#3191) ────────────────────────
|
||||
# Полная карточка оффера — 3-5 МБ; недорендеренная приходит с HTTP 200, валидным
|
||||
# HTML и БЕЗ блока контактов (наблюдалось 1,8 МБ). Размер — второй признак к
|
||||
# структурному (scraper_kit...yandex.detail.DETAIL_CONTACTS_MARKERS); любой из двух
|
||||
# даёт отказ, объявление остаётся в очереди (detail_enriched_at не проставляется).
|
||||
# ENV: YANDEX_DETAIL_MIN_HTML_BYTES.
|
||||
yandex_detail_min_html_bytes: int = 1_000_000
|
||||
|
||||
@property
|
||||
def yandex_proxy_url(self) -> str | None:
|
||||
"""Прокси для Yandex-скраперов (#2616 шаг 2: = scraper_proxy_url)."""
|
||||
|
|
@ -1174,38 +1110,6 @@ class Settings(BaseSettings):
|
|||
default=90.0, validation_alias="AVITO_DETAIL_FETCH_TIMEOUT_S"
|
||||
)
|
||||
|
||||
# Ротация exit-IP по счётчику попыток на арендованном прокси (задача поверх #3298
|
||||
# app.services.proxy_rotation.rotate_proxy). Замер вживую: билайновский порт держит
|
||||
# ~15 карточек до полного обвала (13/39, последняя четверть 0%), настоящий
|
||||
# мобильный оператор — ~30 (27/39, без обвала). Порог зависит от оператора порта,
|
||||
# поэтому настройка, а не константа — подстройка под конкретный IP без релиза.
|
||||
# Считаются ПОПЫТКИ (успех ИЛИ отказ), не только успехи: неудачная карточка тратит
|
||||
# бюджет IP так же, как удачная. ENV: AVITO_DETAIL_BACKFILL_ROTATE_AFTER_ATTEMPTS.
|
||||
avito_detail_backfill_rotate_after_attempts: int = Field(
|
||||
default=15, ge=1, validation_alias="AVITO_DETAIL_BACKFILL_ROTATE_AFTER_ATTEMPTS"
|
||||
)
|
||||
|
||||
# #3283g: ротация exit-IP НА САМ БАН площадки, а не только по счётчику попыток.
|
||||
# Бан привязан к IP (замерено вживую: rotate_proxy() лечит забаненный узел за
|
||||
# секунды, clear_source_bans гасит бан в scrape_proxy_source_bans — строка живёт
|
||||
# до purge, #3404), но
|
||||
# #3251/#3212 запрещают сбрасывать browser-context на КАЖДЫЙ блок -- сброс без
|
||||
# смены IP выбрасывает пройденный QRATOR-PoW и запускает самоподдерживающийся
|
||||
# каскад блоков на том же адресе. rotate_on_ban МЕНЯЕТ IP вместе со сбросом,
|
||||
# поэтому не подвержена этому каскаду и может срабатывать больше одного раза за
|
||||
# прогон -- но всё равно ограничена бюджетом, чтобы не выжигать прокси-пул на
|
||||
# длинной серии блоков. 0 = выключено, полный no-op (никаких доп. ротаций/логов).
|
||||
# ENV: AVITO_DETAIL_BACKFILL_ROTATE_ON_BAN_MAX.
|
||||
avito_detail_backfill_rotate_on_ban_max: int = Field(
|
||||
default=2, ge=0, validation_alias="AVITO_DETAIL_BACKFILL_ROTATE_ON_BAN_MAX"
|
||||
)
|
||||
# Минимум попыток между ЛЮБЫМИ двумя ротациями (по счётчику ИЛИ по бану) --
|
||||
# не даёт двум сбросам контекста идти подряд, даже если оба бюджета формально
|
||||
# ещё не исчерпаны. ENV: AVITO_DETAIL_BACKFILL_ROTATE_ON_BAN_MIN_GAP.
|
||||
avito_detail_backfill_rotate_on_ban_min_gap: int = Field(
|
||||
default=10, ge=0, validation_alias="AVITO_DETAIL_BACKFILL_ROTATE_ON_BAN_MIN_GAP"
|
||||
)
|
||||
|
||||
# #3184: доля блоков в скользящем окне последних N попыток -- критерий обрыва
|
||||
# avito_detail_backfill (app.services.backfill_block_breaker.BlockRatioBreaker),
|
||||
# взамен голого "N блоков подряд". ТОЛЬКО avito -- изначальный план распространить
|
||||
|
|
@ -1287,69 +1191,6 @@ class Settings(BaseSettings):
|
|||
telegram_alerts_chat_id: int = Field(default=0, validation_alias="TELEGRAM_ALERTS_CHAT_ID")
|
||||
telegram_alerts_topic_id: int = Field(default=0, validation_alias="TELEGRAM_ALERTS_TOPIC_ID")
|
||||
|
||||
# Общий (не per-тему) лимит частоты отправки в ОДНУ группу — Telegram
|
||||
# считает ~20 сообщений/минуту на группу суммарно по всем её темам (#3471:
|
||||
# всплеск GlitchTip-алертов + поток поддержки в ту же группу давали 429 и
|
||||
# потерю сообщений). `TELEGRAM_SUPPORT_CHAT_ID`/`TELEGRAM_ALERTS_CHAT_ID` на
|
||||
# проде равны (одна группа, темы разные) — обе половины делят один
|
||||
# площадочный бюджет.
|
||||
#
|
||||
# РАЗДЕЛЕНО ПО РОЛЯМ (review H2, #3471), а не одна общая константа: лимитер
|
||||
# живёт in-memory В ЭКЗЕМПЛЯРЕ `TelegramClient`, а в эту группу пишут ДВА
|
||||
# независимых процесса — API под uvicorn (`app/services/tgbot/shared.py`,
|
||||
# интерактивные ручки + GlitchTip-вебхук) и контейнер бота (`app/tgbot_main.py`,
|
||||
# long-polling воркер). У них НЕТ общего счётчика (это отдельная задача —
|
||||
# Redis-based распределённый лимитер), поэтому если каждому дать по 18,
|
||||
# сумма (2×18=36) УДВОИТ площадочный лимit и 429 вернётся ровно там же.
|
||||
# Бюджет делится статически так, чтобы СУММА была заметно НИЖЕ ~20: у API
|
||||
# больше — там же интерактивные ответы клиентам, у бота меньше — там же
|
||||
# обычно только зеркалирование/уведомления, которые могут подождать дольше
|
||||
# (см. `TelegramGroupRateLimiter.acquire` про `max_wait=None` для фона).
|
||||
# 0/отрицательное значение выключает лимитер для соответствующего процесса.
|
||||
#
|
||||
# ЧЕСТНО ПРО ОГРАНИЧЕНИЕ ЭТОГО ДИЗАЙНА (review, #3471):
|
||||
# `telegram_group_rate_limit_api_per_minute` — ОДИН общий бюджет на ВСЕ
|
||||
# отправки процесса API в эту группу, а туда
|
||||
# пишут И зеркала веб-чата поддержки (`app/api/v1/support.py`), И
|
||||
# GlitchTip-алерты (`app/api/v1/glitchtip.py`) — обе ручки идут через один
|
||||
# и тот же `get_telegram_client()` (см. `app/services/tgbot/shared.py`).
|
||||
# Приоритета между ними НЕТ: кто первый встал в очередь `TelegramGroupRateLimiter`,
|
||||
# тот и получил слот. Оба пути передают узкий `timeout` (5с у support, 8с у
|
||||
# glitchtip) — он же становится потолком ожидания слота (см.
|
||||
# `TelegramClient._request`, review H1). Значит при всплеске алертов (пачка
|
||||
# ошибок прода бьёт в вебхук залпом) реально возможен сценарий: бюджет
|
||||
# 12/мин исчерпан алертами → следующая отправка живого клиента в веб-чате
|
||||
# ждёт до 5с и получает `TelegramRateLimitedError` → 502 клиенту поддержки.
|
||||
# То есть при достаточно большом всплеске алертов веб-чат ДЕЙСТВИТЕЛЬНО
|
||||
# может временно вставать. Разделить бюджет по ИСТОЧНИКУ (не по процессу) —
|
||||
# отдельная задача: нужен свой `TelegramGroupRateLimiter` на алерты с явно
|
||||
# малой квотой и/или приоритет для support-трафика; здесь НЕ сделано
|
||||
# (вне бюджета этой правки).
|
||||
telegram_group_rate_limit_api_per_minute: int = Field(
|
||||
default=12, validation_alias="TELEGRAM_GROUP_RATE_LIMIT_API_PER_MINUTE"
|
||||
)
|
||||
telegram_group_rate_limit_bot_per_minute: int = Field(
|
||||
default=6, validation_alias="TELEGRAM_GROUP_RATE_LIMIT_BOT_PER_MINUTE"
|
||||
)
|
||||
|
||||
# ── Ретранслятор Bot API через Beget (#3471) ─────────────────────────────
|
||||
# Замер 12.09.2026, оба хоста в одни и те же минуты: `getMe` с Selectel — 9
|
||||
# успешных из 12 (три ConnectTimeout), TCP-443 до адреса Selectel — 5/6, TCP-443
|
||||
# до адреса Beget — 8/8; за сутки 508 строк `network error` в логе бота, за 30
|
||||
# дней 92 обрыва итерации poll loop. Путь до Telegram с Selectel лоссовый, с
|
||||
# Beget чистый (Alertmanager там же шлёт без проблем) — поэтому продуктовый
|
||||
# трафик Bot API идёт через маленький HTTP-ретранслятор на Beget
|
||||
# (`ops/metrics/tg-relay`), а не напрямую.
|
||||
#
|
||||
# Пусто (дефолт) = прежнее поведение, прямой путь к api.telegram.org — это и
|
||||
# есть механизм отката, если ретранслятор сам подведёт. При заданном адресе
|
||||
# клиент (`app/services/tgbot/client.py`) всё равно делает одну попытку
|
||||
# напрямую при транспортном отказе похода на ретранслятор — хуже прямого
|
||||
# пути быть не должно ни при каких условиях.
|
||||
# ENV: TELEGRAM_RELAY_BASE_URL, TELEGRAM_RELAY_SECRET.
|
||||
telegram_relay_base_url: str = Field(default="", validation_alias="TELEGRAM_RELAY_BASE_URL")
|
||||
telegram_relay_secret: str = Field(default="", validation_alias="TELEGRAM_RELAY_SECRET")
|
||||
|
||||
# ── Платёжный контур МЕРЫ (Т-Банк эквайринг) — схема-only PR-B ──────────
|
||||
# См. `mera-tbank-acquiring-recon.md` в корне репо. Этот PR НЕ содержит
|
||||
# роутеров/httpx-клиента/подписи Token — только поля конфига и kill-switch.
|
||||
|
|
|
|||
|
|
@ -1,111 +1,11 @@
|
|||
import asyncio
|
||||
import logging
|
||||
from collections.abc import Callable, Generator
|
||||
from typing import Any
|
||||
from collections.abc import Generator
|
||||
|
||||
from sqlalchemy import create_engine
|
||||
from sqlalchemy.orm import DeclarativeBase, Session, sessionmaker
|
||||
|
||||
from app.core.config import settings
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# #3463. Потолок ОДНОГО statement'а, секунды·1000. Ставится на КОННЕКТЕ (libpq
|
||||
# `options`), а не в питоновской обёртке: обёртка (`run_db_thread` ниже) при
|
||||
# отмене обязана ДОЖДАТЬСЯ потока, иначе поток остаётся сиротой в общей
|
||||
# `Session` — ровно то, ради чего писался #3449. Значит верхняя граница ожидания
|
||||
# = длительность самого запроса, и задать её может только сервер.
|
||||
#
|
||||
# 30 с выбраны так, чтобы потолок НИКОГДА не стал биндящим ограничением для
|
||||
# честной работы, но остался конечным:
|
||||
# * самый длинный ОБЪЯВЛЕННЫЙ бюджет на `/estimate` — 20 с (`estimate_avito_imv_timeout_s`,
|
||||
# config.py:852); дальше 12 с геокод, 8 с Yandex/Cian/house_meta. 30 с = 1.5× от максимума;
|
||||
# * ОСНОВНАЯ опора по планировщику — `scrape_runs` (длительности целых прогонов, они
|
||||
# не вытесняются): самая долгая ЧИСТО-БД задача за 14 суток — listing_source_snapshot,
|
||||
# 9.7 с ЦЕЛИКОМ (и у неё сверх того свой `SET LOCAL statement_timeout = 900000`,
|
||||
# который перекрывает это значение — гейт tests/test_3463_db_timeouts.py);
|
||||
# * самый длинный set-based statement ЧЕРЕЗ движок из замеренных — матч ГАР→houses
|
||||
# (`services/gar_flats_loader._MATCH_SQL`): 2.07 с с городским фильтром и 6.46 с без
|
||||
# него (`city_filter=None`, флаг CLI). Запас ~3×, и это СЧИТАЮЩИЙ запрос, а не ждущий.
|
||||
#
|
||||
# `pg_stat_statements` опорой по планировщику НЕ является: при `max = 5000` он вытесняет
|
||||
# редкие записи (проверено 12.09 — `dealloc` вырос на единицу за десять минут, и из топа
|
||||
# пропали ВСЕ записи с `calls = 1`, включая `REFRESH MATERIALIZED VIEW` 30.85 с и KNN
|
||||
# `cadastral_geo_match` 2.45 с). Суточная задача до следующих суток там не доживает, так
|
||||
# что «самый долгий запрос 4.27 с» верно только для ВЫСОКОЧАСТОТНЫХ запросов.
|
||||
_STATEMENT_TIMEOUT_MS = 30_000
|
||||
|
||||
# Ожидание БЛОКИРОВКИ — заведомо меньше: ждать лок дольше секунд смысла нет, лучше
|
||||
# деградировать. 5 с — та же величина, что у миграций проекта
|
||||
# (`SET LOCAL lock_timeout = '5s'` в data/sql/250,251,260,272,277…), снизу ограничена
|
||||
# deadlock_timeout (на проде 1 с — сверено 12.09). Именно этот потолок закрывает
|
||||
# сценарий #3463: под `ACCESS EXCLUSIVE` на `geocode_cache` запрос ЖДЁТ лок, а не
|
||||
# считает, — statement_timeout тут только страховка от «считает вечно».
|
||||
_LOCK_TIMEOUT_MS = 5_000
|
||||
|
||||
# idle_in_transaction_session_timeout НАМЕРЕННО не трогаем: тем же движком живёт tgbot,
|
||||
# и `services/tgbot/bridge.py` держит транзакцию открытой ПОВЕРХ long-poll Telegram
|
||||
# (замер на проде 12.09, 3 пробы с шагом 7 с: одна и та же сессия, запрос
|
||||
# `SELECT value FROM tg_support_state …`, возраст транзакции циклически растёт до ~29 с).
|
||||
# Сессионный потолок на простой в транзакции ронял бы long-poll КАЖДЫЙ цикл —
|
||||
# гарантированно, а не в редком случае.
|
||||
DB_CONNECT_ARGS = {
|
||||
"options": f"-c statement_timeout={_STATEMENT_TIMEOUT_MS} -c lock_timeout={_LOCK_TIMEOUT_MS}"
|
||||
}
|
||||
|
||||
engine = create_engine(
|
||||
settings.database_url,
|
||||
pool_pre_ping=True,
|
||||
future=True,
|
||||
# #3463. Накрывает ВСЕ три сервиса образа (backend / scraper / tgbot — один и тот
|
||||
# же `app.core.db`, см. docker-compose.prod.yml) и обе стороны: продуктовый путь
|
||||
# `/estimate` и задачи планировщика. Миграции идут мимо (psql из
|
||||
# .forgejo/workflows/deploy-tradein.yml, не этот движок) — их DDL под своим
|
||||
# `SET LOCAL lock_timeout` и потолком не ограничен.
|
||||
connect_args=DB_CONNECT_ARGS,
|
||||
# #3194: SQLAlchemy печатает ВСЕ bind-параметры в тексте StatementError —
|
||||
# через них в GlitchTip уезжали ключ шифрования кук и сами куки
|
||||
# (pgp_sym_encrypt(:cookies_json, :key)). Флаг на УРОВНЕ ДВИЖКА кроет все
|
||||
# сайты вызова разом, включая будущие.
|
||||
# НЕ закрывает: текст ошибки самого драйвера (Postgres DETAIL со значением)
|
||||
# и сырые psycopg-подключения мимо движков — это отдельный класс.
|
||||
hide_parameters=True,
|
||||
# #3408 п.1. Потолок пула обязан быть НЕ МЕНЬШЕ суммы потолков одновременности,
|
||||
# которые сам же процесс и объявляет: 4 оценки (`api/v1/trade_in`
|
||||
# `_ESTIMATE_CONCURRENCY`) + 4 подсказки (`api/public/mera` `_SUGGEST_CONCURRENCY`)
|
||||
# + 8 фоновых догрузок (`services/estimator` `_MAX_DEFERRED_REFRESH_TASKS`) = 16.
|
||||
# Дефолт SQLAlchemy 5+10=15 меньше этой суммы, то есть исчерпать пул можно
|
||||
# штатной работой, не абузом. Гейт — tests/test_3408_pool_ceiling.py.
|
||||
#
|
||||
# Инвариант «пул >= суммы объявленных потолков» — это ПОЛ, а не гарантия:
|
||||
# сумма считает по одному коннекту на объявленную единицу работы, а коннект
|
||||
# держит и всё остальное — любая ручка с `Depends(get_db)` тоже. Глобального
|
||||
# обработчика `sqlalchemy.exc.TimeoutError` в app/main.py нет, поэтому на
|
||||
# исчерпанном пуле соседние ручки отдают 500 (после ожидания `pool_timeout`),
|
||||
# а не медленный 200.
|
||||
#
|
||||
# pool_size оставлен дефолтным (5): это ПОСТОЯННО открытые коннекты, а в покое
|
||||
# прод держит 5-6 (замер 11.09). Растёт только overflow — коннекты пика,
|
||||
# которые пул закрывает сам. Потолок процесса: 5 + 15 = 20; воркер один
|
||||
# (docker-compose.prod.yml, uvicorn без --workers), Postgres max_connections=100.
|
||||
max_overflow=15,
|
||||
# #3408 п.2. Дефолтные 30 с ожидания коннекта длиннее ЛЮБОГО бюджета внешнего
|
||||
# источника в эстиматоре: 8 с (Yandex / Cian / house_meta), 12 с (geocode),
|
||||
# 20 с (Avito IMV — `estimate_avito_imv_timeout_s`, config.py:852). Сам чекаут
|
||||
# прервать `asyncio.wait_for` не может: он занимает поток `asyncio.to_thread`
|
||||
# целиком, а пул потоков конечен (min(32, cpu+4)) — исчерпанный пул коннектов
|
||||
# так превращается в исчерпанный пул потоков. 5 с короче самого КОРОТКОГО
|
||||
# бюджета: занятый пул деградирует ОДИН источник, а не весь запрос.
|
||||
#
|
||||
# Отдельный коммит в конце ветки намеренно (ревью PR #3444): это единственная
|
||||
# правка, которая меняет режим отказа с «медленно» на «быстро с ошибкой», и
|
||||
# едет она во ВСЕ сервисы образа — backend, scraper, tgbot
|
||||
# (tradein-mvp/docker-compose.prod.yml). За 29 ч логов исчерпания пула не было
|
||||
# ни разу, то есть новое значение на проде пока не на чем проверить.
|
||||
# ТРИГГЕР ОТКАТА на 30 с: любое `QueuePool limit ... timed out` в логах
|
||||
# бэкенда ЛИБО рост failed+zombie в `scrape_runs` после деплоя.
|
||||
pool_timeout=5,
|
||||
)
|
||||
engine = create_engine(settings.database_url, pool_pre_ping=True, future=True)
|
||||
SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine, expire_on_commit=False)
|
||||
|
||||
|
||||
|
|
@ -119,39 +19,3 @@ def get_db() -> Generator[Session, None, None]:
|
|||
yield db
|
||||
finally:
|
||||
db.close()
|
||||
|
||||
|
||||
async def run_db_thread[T](fn: Callable[..., T], *args: Any, **kwargs: Any) -> T:
|
||||
"""`asyncio.to_thread(fn, ...)`, который при отмене ДОЖИДАЕТСЯ своего потока (#3449).
|
||||
|
||||
Для синхронной работы по сессии, которая шагу НЕ принадлежит — она общая со
|
||||
всем остальным запросом (`Depends(get_db)`). Поток отменить нельзя: у
|
||||
`asyncio.to_thread` отменяется только ожидание со стороны loop'а. Корутина
|
||||
умирает по бюджету источника (`estimator._with_budget` = `asyncio.wait_for`,
|
||||
геокодер — 12 с), а поток продолжает работать с ТОЙ ЖЕ `Session`, пока
|
||||
вызывающий уже идёт дальше по коду — следующий источник,
|
||||
`_fetch_anchor_comps`, `_persist_estimate_and_commit`. Два потока в одной
|
||||
`Session` дают «another operation is in progress» / `InvalidRequestError` на
|
||||
СЛЕДУЮЩЕМ шаге: у источников такую ошибку глушит `except` вокруг вызова, у
|
||||
персиста оценки не глушит ничего — 500 и потерянная оценка клиента.
|
||||
|
||||
Поэтому отмена пробрасывается ПОСЛЕ того, как поток отпустил сессию. Цена —
|
||||
бюджет источника переезжает на длину ОДНОГО шага БД (чекаут ≤ `pool_timeout`
|
||||
плюс сам запрос), а не на длину фетча, ради которой бюджет и заведён.
|
||||
|
||||
Только защита от сироты: транзакцию шаг НЕ завершает (в середине геокодинга
|
||||
commit зафиксировал бы частичное состояние оценки). Кому нужен ещё и возврат
|
||||
коннекта в пул перед внешним HTTP — `estimator._db_step`, он поверх этого.
|
||||
|
||||
Гейт — tests/test_3449_geocoder_cancel_orphan.py.
|
||||
"""
|
||||
step = asyncio.ensure_future(asyncio.to_thread(fn, *args, **kwargs))
|
||||
try:
|
||||
return await asyncio.shield(step)
|
||||
except asyncio.CancelledError:
|
||||
await asyncio.wait([step])
|
||||
if not step.cancelled() and step.exception() is not None:
|
||||
# Результата уже никто не ждёт: без явного чтения asyncio напечатает
|
||||
# «Task exception was never retrieved» вообще без контекста.
|
||||
logger.warning("шаг БД упал уже после отмены: %s", step.exception())
|
||||
raise
|
||||
|
|
|
|||
|
|
@ -1,59 +0,0 @@
|
|||
"""Ответ об ошибке валидации, который собирается при ЛЮБОМ входе.
|
||||
|
||||
ЧТО СЛОМАЛОСЬ
|
||||
-------------
|
||||
Аудит живого сайта 30.08.2026: публичная проба покрытия отвечала 500 на входе,
|
||||
который обязан отсеиваться валидацией::
|
||||
|
||||
POST /trade-in/api/public/mera/coverage
|
||||
{"lat":56.8,"lon":1e400,"rooms":2,"area_m2":50} → 500
|
||||
|
||||
Разбор. `json.loads` принимает то, чего нет в стандарте JSON: литералы
|
||||
`Infinity`, `-Infinity`, `NaN`, а `1e400` даёт `inf` переполнением. Pydantic
|
||||
такое поле честно отбивает по границам (`lon: le=180`) и кладёт значение в
|
||||
`input` ошибки. Дальше штатный обработчик FastAPI отдаёт перечень ошибок через
|
||||
`JSONResponse`, а тот сериализует `json.dumps(..., allow_nan=False)` — и падает
|
||||
уже ПОСЛЕ входа в ответ. Наружу это 500, то есть отказ сервера там, где
|
||||
корректный ответ — 422.
|
||||
|
||||
ПОЧЕМУ ОДИН ОБРАБОТЧИК, А НЕ ВАЛИДАТОР НА ПОЛЕ
|
||||
----------------------------------------------
|
||||
Чинить по одному полю значит починить `lon` и оставить `lat`, `area_m2`,
|
||||
`limit` и каждое число каждой будущей схемы. Ломается не поле: ломается
|
||||
сборка ОТВЕТА об ошибке, одна на всё приложение. Здесь она и чинится.
|
||||
|
||||
Отдельным модулем (а не строкой в `app/main.py`) ровно затем, чтобы тест мог
|
||||
поставить ТОТ ЖЕ обработчик на своё маленькое приложение, не втягивая весь
|
||||
граф роутеров: иначе тестовое приложение отвечало бы иначе, чем прод, и
|
||||
проверка «422, а не 500» была бы зелёной по построению.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import math
|
||||
|
||||
from fastapi import FastAPI, Request
|
||||
from fastapi.encoders import jsonable_encoder
|
||||
from fastapi.exceptions import RequestValidationError
|
||||
from fastapi.responses import JSONResponse
|
||||
|
||||
|
||||
def _json_safe_float(value: float) -> float | str:
|
||||
"""inf/nan → строка. JSON их не умеет, а на ВХОД они приходят законно."""
|
||||
return value if math.isfinite(value) else str(value)
|
||||
|
||||
|
||||
async def validation_error_handler(request: Request, exc: RequestValidationError) -> JSONResponse:
|
||||
"""Тот же стандартный `{"detail": [...]}`, но нефинитное число в `input`
|
||||
едет строкой ("inf"/"nan") вместо того, чтобы ронять ответ."""
|
||||
return JSONResponse(
|
||||
status_code=422,
|
||||
content=jsonable_encoder(
|
||||
{"detail": exc.errors()},
|
||||
custom_encoder={float: _json_safe_float},
|
||||
),
|
||||
)
|
||||
|
||||
|
||||
def install_validation_error_handler(app: FastAPI) -> None:
|
||||
app.add_exception_handler(RequestValidationError, validation_error_handler)
|
||||
|
|
@ -1,139 +0,0 @@
|
|||
"""Секреты из query-строки не попадают в лог процесса (#3154).
|
||||
|
||||
Прод-факт: uvicorn пишет в access-log ПОЛНЫЙ путь вместе с query, а лог уезжает
|
||||
в Loki (ретенция 30 суток, доступ по входу в Grafana):
|
||||
|
||||
INFO: 172.18.0.3:60322 - "POST /api/v1/trade-in/ops/glitchtip-webhook
|
||||
?secret=<64 hex> HTTP/1.1" 200 OK
|
||||
|
||||
Скруббер в Alloy (#3115) это не ловит: там одно выражение под форму
|
||||
``scheme://user:pass@host`` (DSN postgres_exporter, #3114). Чиним в СВОЁМ
|
||||
процессе — тогда секрета нет и в `docker logs`, до отправки куда-либо.
|
||||
|
||||
Фильтр вешается на логгер (`logging.Filter`), а не на форматтер: uvicorn.access
|
||||
кладёт путь в ``record.args``, до форматирования он уже там. Поэтому берём
|
||||
``record.getMessage()`` и, если что-то замаскировали, подменяем msg/args.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import re
|
||||
|
||||
# Имена параметров, значение которых маскируем: имя ОКАНЧИВАЕТСЯ на чувствительное
|
||||
# слово, поэтому перед альтернацией допускаем префикс (`client_secret`,
|
||||
# `refresh_token`, `webhook_secret`). Значение — до следующего `&`, пробела или
|
||||
# кавычки (access-строка uvicorn обрамляет запрос кавычками).
|
||||
_SENSITIVE_QUERY = re.compile(
|
||||
r"([?&][\w.-]*(?:secret|token|api[-_]?key|apikey|access[-_]?token|password|signature|sig)=)"
|
||||
r"[^&\s\"'<>]+",
|
||||
re.IGNORECASE,
|
||||
)
|
||||
|
||||
|
||||
def scrub_query_secrets(text: str) -> str:
|
||||
"""Заменяет значения чувствительных query-параметров на ``***``.
|
||||
|
||||
Имя параметра и остальная строка сохраняются — иначе access-лог перестал бы
|
||||
годиться для диагностики.
|
||||
"""
|
||||
return _SENSITIVE_QUERY.sub(r"\1***", text)
|
||||
|
||||
|
||||
class QuerySecretFilter(logging.Filter):
|
||||
"""Маскирует секреты в query-строке ЛЮБОЙ записи логгера, к которому привязан.
|
||||
|
||||
Скрабит `record.msg` и КАЖДЫЙ элемент `record.args` по отдельности — НЕ схлопывает
|
||||
их в единую строку через `record.getMessage()` с последующим `args = ()`.
|
||||
|
||||
Прод-баг (#3471): схлопывание ломало `uvicorn.access` — там `record.args` это
|
||||
структурный 5-tuple `(client_addr, method, full_path, http_version, status_code)`,
|
||||
который `uvicorn.logging.AccessFormatter.formatMessage()` распаковывает напрямую
|
||||
(`a, b, c, d, e = record.args`), в обход `record.getMessage()`. Как только фильтр
|
||||
находил секрет (например `?secret=` в webhook-пути) и обнулял `args`, форматтер падал
|
||||
с `ValueError: not enough values to unpack (expected 5, got 0)` — сама попытка
|
||||
заскрабить секрет ломала запись лога целиком (`--- Logging error ---` в докер-логах).
|
||||
"""
|
||||
|
||||
def filter(self, record: logging.LogRecord) -> bool:
|
||||
args = record.args
|
||||
if isinstance(args, tuple) and args:
|
||||
# Есть позиционные args — скрабим КАЖДЫЙ элемент отдельно, arity не трогаем.
|
||||
# `record.msg` (шаблон вида `"%s ..."`) не трогаем вовсе: в реальных вызовах
|
||||
# этого кодбейза секрет+query-контекст лежат САМОДОСТАТОЧНО внутри одного
|
||||
# аргумента (например body_preview в app/services/dadata.py), а не расщеплены
|
||||
# между текстом шаблона и голым значением — трогать msg тут не нужно и опасно
|
||||
# (шаблонный `%s` сам по себе мог бы ложно совпасть с чувствительным именем
|
||||
# параметра прямо перед ним).
|
||||
scrubbed_args = tuple(
|
||||
scrub_query_secrets(a) if isinstance(a, str) else a for a in args
|
||||
)
|
||||
if scrubbed_args != args:
|
||||
record.args = scrubbed_args
|
||||
elif isinstance(record.msg, str):
|
||||
# Args нет — вся запись уже готовым текстом в msg (f-string и т.п.).
|
||||
scrubbed_msg = scrub_query_secrets(record.msg)
|
||||
if scrubbed_msg != record.msg:
|
||||
record.msg = scrubbed_msg
|
||||
|
||||
return True
|
||||
|
||||
|
||||
# ── Секреты в произвольном тексте (тело ответа внешнего API) — #3471 ──────────
|
||||
#
|
||||
# DaData на HTTP 403 возвращает диагностику вида:
|
||||
# "Feature 'CLEAN' disabled for token '<действующий 40-символьный токен>'. See ..."
|
||||
# body_preview из этого текста уходит в WARNING/ERROR лог (app/services/dadata.py) →
|
||||
# docker logs → потенциально breadcrumb к любой последующей ошибке в GlitchTip.
|
||||
# Маскируем ДО логирования. Не завязываемся на конкретную формулировку вендора —
|
||||
# она может измениться (см. generic-слой ниже).
|
||||
|
||||
_TOKEN_QUOTED = re.compile(r"(\btoken\s*['\"])([^'\"]+)(['\"])", re.IGNORECASE)
|
||||
# Любая hex/base64-подобная последовательность 24+ символов — ловит секрет независимо
|
||||
# от контекста (Authorization/X-Secret значения, если когда-нибудь попадут в текст как есть).
|
||||
_LONG_SECRET_LIKE = re.compile(r"[A-Za-z0-9+/_-]{24,}")
|
||||
|
||||
|
||||
def _mask_value(value: str) -> str:
|
||||
"""`8d4e…(40)` — первые 4 символа + длина в скобках, остальное скрыто."""
|
||||
if len(value) <= 4:
|
||||
return "***"
|
||||
return f"{value[:4]}…({len(value)})"
|
||||
|
||||
|
||||
def scrub_body_secrets(text: str | None) -> str:
|
||||
"""Маскирует токены/секреты в произвольном тексте (тело ответа внешнего API и т.п.).
|
||||
|
||||
Двухслойно: 1) явный ``token '<value>'`` (текущая формулировка DaData на 403),
|
||||
2) generic — любая hex/base64-подобная последовательность 24+ символов, чтобы защита
|
||||
не зависела от того, как вендор сформулирует сообщение завтра.
|
||||
"""
|
||||
if not text:
|
||||
return text or ""
|
||||
|
||||
def _replace_quoted(m: re.Match[str]) -> str:
|
||||
return f"{m.group(1)}{_mask_value(m.group(2))}{m.group(3)}"
|
||||
|
||||
scrubbed = _TOKEN_QUOTED.sub(_replace_quoted, text)
|
||||
scrubbed = _LONG_SECRET_LIKE.sub(lambda m: _mask_value(m.group(0)), scrubbed)
|
||||
return scrubbed
|
||||
|
||||
|
||||
def install_query_secret_filter(*logger_names: str) -> None:
|
||||
"""Вешает фильтр на access-лог uvicorn И на обработчики корневого логгера.
|
||||
|
||||
Двумя местами, потому что uvicorn в своём log-config ставит `uvicorn.access`
|
||||
собственный handler с ``propagate = False`` — до корневого его записи не
|
||||
доходят. А фильтр на handler'ах корня закрывает всё остальное приложение
|
||||
(записи дочерних логгеров фильтры родителя не проходят, фильтры handler'а —
|
||||
проходят).
|
||||
|
||||
Идемпотентно: повторный вызов не наплодит дублей.
|
||||
"""
|
||||
targets: list[logging.Logger | logging.Handler] = [
|
||||
logging.getLogger(name) for name in logger_names or ("uvicorn.access",)
|
||||
]
|
||||
targets.extend(logging.getLogger().handlers)
|
||||
for target in targets:
|
||||
if not any(isinstance(f, QuerySecretFilter) for f in target.filters):
|
||||
target.addFilter(QuerySecretFilter())
|
||||
|
|
@ -161,18 +161,6 @@ class SlidingWindowLimiter:
|
|||
del self._hits[k]
|
||||
return len(bucket)
|
||||
|
||||
def reset(self, key: str) -> None:
|
||||
"""Обнуляет окно под *key*.
|
||||
|
||||
Нужен вызывающим, которые считают не «сколько сделано», а «сколько ПОДРЯД»
|
||||
— например счётчик отказов отправки (`support.py:_send_failure_limiter`):
|
||||
успешная отправка означает, что канал жив, и предыдущие отказы больше не
|
||||
должны приближать cooldown. Для лимитеров-бюджетов (`_send_limiter`,
|
||||
`_anon_ip_limiter`, `_notify_limiter`) не используется — там обнуление
|
||||
по запросу было бы дырой в самом лимите.
|
||||
"""
|
||||
self._hits.pop(key, None)
|
||||
|
||||
def check(self, key: str) -> float | None:
|
||||
"""Комбинированная проверка+регистрация (peek+record за один вызов) —
|
||||
для вызывающих, которым не нужно различать "попытка"/"успех" (см.
|
||||
|
|
|
|||
|
|
@ -35,11 +35,10 @@ from typing import Any
|
|||
|
||||
from fastapi import Request
|
||||
from fastapi.responses import JSONResponse, Response
|
||||
from starlette.routing import Match
|
||||
|
||||
from app.core.auth import get_role, is_path_allowed
|
||||
from app.core.config import settings
|
||||
from app.services.auth_session import DB_ROLE_PATHS, get_db_role_scope, get_session_user
|
||||
from app.services.auth_session import get_db_role_scope, get_session_user
|
||||
from app.services.identity_store import identity_session
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
|
@ -182,90 +181,6 @@ def _db_role_path_allowed(role: str, path: str) -> bool:
|
|||
return any(_db_glob_match(p, path) for p in paths)
|
||||
|
||||
|
||||
def _path_is_routed(request: Request) -> bool:
|
||||
"""Есть ли у пути хоть один маршрут в роутере приложения.
|
||||
|
||||
#3324: guard — HTTP-middleware, он отрабатывает ДО роутинга, поэтому раньше
|
||||
отвечал 401 и на пути, которых в приложении нет вовсе. Анониму этого хватало,
|
||||
чтобы бесплатно разведать периметр: мусор под «интересным» префиксом
|
||||
(``/api/public/whatever``) давал 401 с rbac-текстом, а мусор под публичным
|
||||
префиксом — 404 роутера. Выключенная/закрытая ручка отличалась от
|
||||
несуществующей. Несуществующий путь обязан отвечать одинаково независимо от
|
||||
префикса, поэтому такие запросы пропускаются дальше — 404 отдаёт роутер, тот
|
||||
же самый, что и на любой другой мусор.
|
||||
|
||||
ЧТО ИМЕННО РАЗМЕНЯНО (это НЕ «ослабления нет»). Раньше аноним получал 401 на
|
||||
ЛЮБОЙ non-public путь — то есть оракул был ПРЕФИКСНЫЙ: он говорил «префикс
|
||||
закрыт», но перечислить по нему таблицу маршрутов было нельзя. Теперь 401 =
|
||||
«такой маршрут есть», 404 = «нет», и это уже оракул СУЩЕСТВОВАНИЯ маршрута:
|
||||
перебором аноним восстанавливает список всех ручек приложения, включая имена
|
||||
под ``/api/v1/admin/*``. Доступа это не даёт (закрытая ручка по-прежнему
|
||||
отвечает 401/403), но карту периметра — даёт.
|
||||
|
||||
Почему размен принят. Точечно: 404 на несуществующее — норма HTTP, а
|
||||
подобранное ИМЯ ручки без креденшелов бесполезно; исчезает же реальный
|
||||
признак «этот префикс что-то охраняет». Это защита в глубину, и её глубина
|
||||
здесь честно меньше, чем была.
|
||||
|
||||
⚠️ Периметр admin-путей снаружи НЕ срезан — проверено по конфигу, а не по
|
||||
предположению: ``caddy/sites/apps.caddy`` → блок ``handle /trade-in/api/*``
|
||||
делает ``uri strip_prefix /trade-in`` + ``reverse_proxy tradein-backend:8000``
|
||||
и стоит ЦЕЛИКОМ ВЫШЕ ``import caddy/users.caddy.snippet`` (basic_auth), т.е.
|
||||
у trade-in своя авторизация и внешнего barrier'а нет. Значит внешний
|
||||
``https://gendsgn.ru/trade-in/api/v1/admin/...`` доходит до этого guard'а
|
||||
анонимно, и перебор имён admin-ручек выполним снаружи, не только изнутри
|
||||
docker-сети. Хочется убрать — резать надо в Caddy (отдельный issue), guard
|
||||
этого не сделает: он про роли, а не про сетевой периметр.
|
||||
|
||||
``Match.NONE`` по ВСЕМ маршрутам значит, что выполнять нечего — хендлера, до
|
||||
которого можно было бы дотянуться, не существует. ``Match.PARTIAL`` (путь
|
||||
есть, метод другой) считается маршрутом и идёт в guard как раньше — там путь
|
||||
реально существует, скрывать нечего.
|
||||
|
||||
Трейлинг-слэш был вторым каналом того же оракула в обход guard'а:
|
||||
``/api/v1/me/`` не матчит ни один маршрут (``Match.NONE``) → guard пропускает
|
||||
→ Starlette-роутер отвечал 307 на ``/api/v1/me``, то есть «маршрут есть»
|
||||
сообщал редирект, а не 401. Закрыто в ``app/main.py``:
|
||||
``FastAPI(redirect_slashes=False)`` — теперь такой путь даёт тот же 404, что
|
||||
и любой другой мусор.
|
||||
|
||||
Неизвестное приложение (``scope["app"]`` не выставлен) — ведём себя как
|
||||
раньше, то есть отдаём запрос в guard.
|
||||
"""
|
||||
router = getattr(request.scope.get("app"), "router", None)
|
||||
if router is None:
|
||||
return True
|
||||
return any(route.matches(request.scope)[0] != Match.NONE for route in router.routes)
|
||||
|
||||
|
||||
def _unauthenticated(path: str, detail: str) -> JSONResponse:
|
||||
"""Отказ анониму: 401 везде, но на admin-префиксе — 404 роутера.
|
||||
|
||||
#3360: периметр admin-путей снаружи НЕ срезан (``caddy/sites/apps.caddy``,
|
||||
блок ``handle /trade-in/api/*`` стоит выше ``import
|
||||
caddy/users.caddy.snippet``), и срезать его нельзя — admin-UI кабинета зовёт
|
||||
``/api/v1/admin/*`` ИЗ БРАУЗЕРА (tradein-mvp/frontend/src/app/scrapers/**,
|
||||
components/scrapers/**, lib/admin-audit-api.ts). Значит внешний аноним
|
||||
доходит сюда, а после #3324 (несуществующий путь → 404 роутера) 401 на
|
||||
существующей ручке работал оракулом: перебором имён восстанавливался список
|
||||
admin-API. Отвечаем ТЕМ ЖЕ, что роутер отдаёт на несуществующий путь, —
|
||||
существующая и несуществующая admin-ручки анониму неразличимы.
|
||||
|
||||
Скрываем ровно от НЕаутентифицированного. Аутентифицированный не-admin
|
||||
по-прежнему получает 403 «admin only»: он уже прошёл идентификацию, прятать
|
||||
от него наличие ручки незачем, а 404 вместо 403 маскировал бы отладку.
|
||||
|
||||
Тело — литерал ``{"detail": "Not Found"}``: это ответ дефолтного
|
||||
http_exception_handler FastAPI, тот же, что придёт из роутера. Тест
|
||||
сравнивает два ЖИВЫХ ответа между собой, а не с этой константой, — если
|
||||
фреймворк сменит формулировку, покраснеет он, а не прод.
|
||||
"""
|
||||
if _ADMIN_API_RE.match(path):
|
||||
logger.info("RBAC: anonymous probe of admin path %s — cloaked as 404", path)
|
||||
return JSONResponse(status_code=404, content={"detail": "Not Found"})
|
||||
return JSONResponse(status_code=401, content={"detail": detail})
|
||||
|
||||
|
||||
def _propagate_authenticated_user(request: Request, username: str) -> None:
|
||||
"""Инжектит ``X-Authenticated-User`` в ASGI scope — ПЕРЕЗАПИСЫВАЯ, а не
|
||||
только добавляя при отсутствии, — чтобы ``RateLimitMiddleware``/
|
||||
|
|
@ -324,11 +239,6 @@ async def rbac_guard(
|
|||
if path in _PUBLIC_PATHS or path.startswith(_PUBLIC_PATH_PREFIXES):
|
||||
return await call_next(request)
|
||||
|
||||
# #3324: путь, которого нет в роутере, отвечает как любой несуществующий
|
||||
# путь (404 роутера) — иначе 401 работает оракулом существования ручки.
|
||||
if not _path_is_routed(request):
|
||||
return await call_next(request)
|
||||
|
||||
username: str | None = None
|
||||
role: str | None = None
|
||||
from_session = False
|
||||
|
|
@ -368,12 +278,18 @@ async def rbac_guard(
|
|||
# auth_mode == "db_only" — легаси trusted-header путь ПОЛНОСТЬЮ
|
||||
# отключён, даже если валидный X-Authenticated-User присутствует.
|
||||
if settings.auth_mode != "dual":
|
||||
return _unauthenticated(path, "valid session required")
|
||||
return JSONResponse(
|
||||
status_code=401,
|
||||
content={"detail": "valid session required"},
|
||||
)
|
||||
|
||||
# ---- legacy trusted-header path — BIT-FOR-BIT как было до #2552 ----
|
||||
username = request.headers.get("X-Authenticated-User")
|
||||
if not username:
|
||||
return _unauthenticated(path, "no authenticated user (valid session required)")
|
||||
return JSONResponse(
|
||||
status_code=401,
|
||||
content={"detail": "no authenticated user (valid session required)"},
|
||||
)
|
||||
|
||||
# #2213 defense-in-depth: если общий секрет задан — запрос с X-Authenticated-User
|
||||
# ОБЯЗАН нести валидный X-Internal-Auth-Secret (его добавляет Caddy из env).
|
||||
|
|
@ -389,7 +305,10 @@ async def rbac_guard(
|
|||
username,
|
||||
path,
|
||||
)
|
||||
return _unauthenticated(path, "invalid or missing internal auth secret")
|
||||
return JSONResponse(
|
||||
status_code=401,
|
||||
content={"detail": "invalid or missing internal auth secret"},
|
||||
)
|
||||
|
||||
try:
|
||||
role = get_role(username)
|
||||
|
|
@ -415,11 +334,7 @@ async def rbac_guard(
|
|||
# scope-narrowed юзер не смог бы получить свою роль вовсе.
|
||||
if not path.startswith(_RBAC_BOOTSTRAP_EXEMPT):
|
||||
external_path = _EXTERNAL_PREFIX + path
|
||||
# Матчер выбирается по РОДУ роли, а не только по источнику (#3316):
|
||||
# с DB-first резолвом legacy trusted-header путь тоже может отдать роль
|
||||
# реестра (employee/manager), а её паттернов в roles.yaml нет — сверка
|
||||
# с `is_path_allowed` дала бы 403 на всё.
|
||||
if from_session or role in DB_ROLE_PATHS:
|
||||
if from_session:
|
||||
allowed = _db_role_path_allowed(role, external_path)
|
||||
else:
|
||||
try:
|
||||
|
|
|
|||
|
|
@ -19,7 +19,6 @@ from sentry_sdk.integrations.httpx import HttpxIntegration
|
|||
from sentry_sdk.integrations.logging import LoggingIntegration
|
||||
from sentry_sdk.integrations.sqlalchemy import SqlalchemyIntegration
|
||||
from sentry_sdk.integrations.starlette import StarletteIntegration
|
||||
from sentry_sdk.types import Event, Hint
|
||||
|
||||
from app.api.public import mera as public_mera
|
||||
from app.api.v1 import (
|
||||
|
|
@ -44,14 +43,11 @@ from app.core.auth_db import get_auth_engine
|
|||
from app.core.config import settings
|
||||
from app.core.db import SessionLocal
|
||||
from app.core.fdw import ensure_fdw_user_mapping
|
||||
from app.core.http_errors import install_validation_error_handler
|
||||
from app.core.log_scrub import install_query_secret_filter
|
||||
from app.core.ratelimit import RateLimitMiddleware
|
||||
from app.core.rbac import rbac_guard
|
||||
from app.core.request_audit import RequestAuditMiddleware
|
||||
from app.observability import metrics as app_metrics
|
||||
from app.observability.sentry_scrub import scrub_pii_event
|
||||
from app.services.tgbot.shared import close_telegram_client, init_telegram_client
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
|
@ -67,11 +63,6 @@ logging.basicConfig(
|
|||
# закрытие, что уже стоит в tgbot_main.py (см. его комментарий), нужно и здесь.
|
||||
logging.getLogger("httpx").setLevel(logging.WARNING)
|
||||
|
||||
# #3154: uvicorn access-log печатает полный путь С QUERY, а лог уезжает в Loki —
|
||||
# так секрет вебхука GlitchTip (`?secret=…`) оказался в хранилище открытым.
|
||||
# Маскируем значения чувствительных query-параметров ДО записи строки.
|
||||
install_query_secret_filter()
|
||||
|
||||
# Мониторинг ошибок — GlitchTip (Sentry-совместимый, #396).
|
||||
# DSN из env GLITCHTIP_DSN; пусто (dev/текущий prod) → init не вызывается, NO-OP.
|
||||
# Integrations: Starlette/FastAPI (request errors), SQLAlchemy/Httpx (breadcrumbs),
|
||||
|
|
@ -80,43 +71,31 @@ install_query_secret_filter()
|
|||
# frontend), отдельного broker нет → мониторить нечего.
|
||||
if settings.glitchtip_dsn:
|
||||
from app.observability.sentry_scrub import (
|
||||
drop_payments_disabled_event,
|
||||
redact_telegram_bot_token,
|
||||
scrub_payment_request_body,
|
||||
scrub_public_address,
|
||||
stabilize_retry_error_fingerprint,
|
||||
)
|
||||
|
||||
def _before_send(event: Event, hint: Hint) -> Event | None:
|
||||
"""Композиция payments-disabled drop + платёжный body-wipe + PII-scrub +
|
||||
Telegram bot-токен redaction + RetryError fingerprint-стабилизация
|
||||
(#tgsupport-web, PR-D2, glitchtip-noise, #3471) — см.
|
||||
app/tgbot_main.py._before_send (идентичная композиция без последнего
|
||||
шага, тот бот geocoder не зовёт). Тот же риск: теперь этот процесс тоже
|
||||
держит TelegramClient в стек-фреймах при ошибке sendMessage, а
|
||||
def _before_send(event: dict[str, object], hint: dict[str, object]) -> dict[str, object] | None:
|
||||
"""Композиция платёжный body-wipe + PII-scrub + Telegram bot-токен redaction +
|
||||
RetryError fingerprint-стабилизация (#tgsupport-web, PR-D2, glitchtip-noise) —
|
||||
см. app/tgbot_main.py._before_send (идентичная композиция без последнего шага,
|
||||
тот бот geocoder не зовёт). Тот же риск: теперь этот процесс тоже держит
|
||||
TelegramClient в стек-фреймах при ошибке sendMessage, а
|
||||
include_local_variables=False ниже — первый рубеж защиты.
|
||||
|
||||
#3471: payments-disabled drop идёт ПЕРВЫМ шагом — это единственный
|
||||
процесс из трёх entrypoint'ов, который реально держит ASGI-роут
|
||||
`/api/v1/payments/*`, поэтому именно здесь события возникают; ранний
|
||||
return None экономит остальную композицию на заведомо отбрасываемом
|
||||
событии.
|
||||
|
||||
PR-D2: платёжный body-wipe идёт следующим шагом, а не заменяет
|
||||
остальные — режет `request.data` целиком только для `/payments/*`,
|
||||
остальные пути (extra/contexts/traceback) по-прежнему проходят
|
||||
ключ-based scrub и token-redaction. Тот же обработчик передан ОБОИМ
|
||||
каналам ниже (before_send и before_send_transaction) — вчерашний баг в
|
||||
Птице закрыл только error-канал, transaction-канал остался вообще без
|
||||
обработчика.
|
||||
PR-D2: платёжный body-wipe идёт ПЕРВЫМ шагом, а не заменяет остальные —
|
||||
режет `request.data` целиком только для `/payments/*`, остальные пути
|
||||
(extra/contexts/traceback) по-прежнему проходят ключ-based scrub и
|
||||
token-redaction. Тот же обработчик передан ОБОИМ каналам ниже
|
||||
(before_send и before_send_transaction) — вчерашний баг в Птице закрыл
|
||||
только error-канал, transaction-канал остался вообще без обработчика.
|
||||
|
||||
RetryError-стабилизация — этот процесс обслуживает /api/v1/geocode/*
|
||||
(suggest/lookup/reverse), которые ретраят Nominatim через tenacity; см.
|
||||
sentry_scrub.stabilize_retry_error_fingerprint."""
|
||||
dropped = drop_payments_disabled_event(event, hint) # type: ignore[arg-type]
|
||||
if dropped is None:
|
||||
return None
|
||||
scrubbed = scrub_payment_request_body(dropped, hint) # type: ignore[arg-type]
|
||||
scrubbed = scrub_payment_request_body(event, hint) # type: ignore[arg-type]
|
||||
if scrubbed is None:
|
||||
return None
|
||||
# Публичный периметр МЕРЫ: тело запроса — это ровно введённый адрес, а
|
||||
|
|
@ -230,19 +209,7 @@ async def lifespan(app: FastAPI) -> AsyncGenerator[None, None]:
|
|||
# in the tradein-scraper container (`python -m app.scheduler_main`, kit scheduler).
|
||||
# Prod backend has always run with SCHEDULER_ENABLE=false (see docker-compose.prod.yml);
|
||||
# this API process never actually launched scheduler_loop() in production.
|
||||
|
||||
# Общий на приложение Telegram-клиент (#tg-connection-resilience): ручки
|
||||
# support/glitchtip раньше создавали его на КАЖДЫЙ запрос, то есть каждое
|
||||
# зеркалирование сообщения начиналось с полного TCP+TLS-хендшейка до
|
||||
# api.telegram.org. Один пул keep-alive на процесс, закрываем на shutdown.
|
||||
# Без токена не создаём: ручки в этом случае и так отвечают 503.
|
||||
if settings.telegram_bot_token:
|
||||
init_telegram_client()
|
||||
|
||||
try:
|
||||
yield
|
||||
finally:
|
||||
await close_telegram_client()
|
||||
yield
|
||||
|
||||
|
||||
app = FastAPI(
|
||||
|
|
@ -250,22 +217,8 @@ app = FastAPI(
|
|||
description="Оценка вторичного жилья (выкупная стоимость) — копия trade-in feature из gendesign", # noqa: E501
|
||||
version="0.1.0",
|
||||
lifespan=lifespan,
|
||||
# #3324: трейлинг-слэш обходил rbac_guard как канал разведки периметра.
|
||||
# `/api/v1/me/` не матчит ни один маршрут → guard пропускает (см.
|
||||
# rbac._path_is_routed) → роутер отвечал 307 на `/api/v1/me`, т.е. «маршрут
|
||||
# существует» сообщал редирект вместо 401. Выключение проверено на предмет
|
||||
# поломок: ни один route не объявлен с трейлинг-слэшем (нет `@router.get("/")`
|
||||
# и пустых путей), ни один из 173 вызовов `api/v1` во фронте
|
||||
# (tradein-mvp/frontend/src) не заканчивается слэшем, mount/StaticFiles нет.
|
||||
# Deny-правила на слэш тоже не зависят от редиректа — они переведены на
|
||||
# глоб-форму специально ради этого (см. auth_session.DB_ROLE_PATHS).
|
||||
redirect_slashes=False,
|
||||
)
|
||||
|
||||
|
||||
# 422 вместо 500 на Infinity/NaN во входе — разбор в app/core/http_errors.py.
|
||||
install_validation_error_handler(app)
|
||||
|
||||
# RBAC: defense-in-depth поверх Caddy basic_auth + X-Authenticated-User
|
||||
# (см. app/core/auth.py + auth/roles.yaml). Правила:
|
||||
# 1) Любой non-public path требует X-Authenticated-User — иначе 401.
|
||||
|
|
|
|||
|
|
@ -99,47 +99,6 @@ BUILD_INFO = Gauge(
|
|||
# смысл метки в том, чтобы «что было задеплоено в 03:14» отвечалось однозначно.
|
||||
BUILD_INFO.labels(app="mera", release=f"{APP_VERSION}+{BUILD_SHA}").set(1)
|
||||
|
||||
# ═══ ПРОДУКТОВЫЕ СЧЁТЧИКИ (#3471) ═══════════════════════════════════════════
|
||||
#
|
||||
# Источник списка — реальные `event_type` из `user_events` (миграция 184) плюс
|
||||
# ручки, которые сами в этот аудит-лог не пишут (suggest, PDF-экспорт). Метки
|
||||
# везде — фиксированный литерал из кода вызова (outcome/found/channel/result),
|
||||
# НЕ значение из запроса: username, адрес, estimate_id в метку не идут —
|
||||
# это ровно то, что взрывает кардинальность ряда у Prometheus.
|
||||
ESTIMATES = Counter(
|
||||
"mera_estimates_total",
|
||||
"Запрошенных оценок trade-in, по исходу расчёта",
|
||||
labelnames=("outcome",), # ok | insufficient_data
|
||||
)
|
||||
|
||||
ADDRESS_SUGGESTIONS = Counter(
|
||||
"mera_address_suggestions_total",
|
||||
"Запросов автокомплита адреса (/geocode/suggest), нашёлся ли результат",
|
||||
labelnames=("found",), # yes | no
|
||||
)
|
||||
|
||||
REPORTS_EXPORTED = Counter(
|
||||
"mera_reports_exported_total",
|
||||
"Скачанных PDF-отчётов по оценке trade-in",
|
||||
)
|
||||
|
||||
LEADS = Counter(
|
||||
"mera_leads_total",
|
||||
"Сохранённых контактных заявок (телефон + согласие) с результата оценки",
|
||||
)
|
||||
|
||||
SUPPORT_MESSAGES = Counter(
|
||||
"mera_support_messages_total",
|
||||
"Сообщений в поддержку, дошедших до Telegram-топика, по каналу",
|
||||
labelnames=("channel",), # web | anon
|
||||
)
|
||||
|
||||
LOGINS = Counter(
|
||||
"mera_logins_total",
|
||||
"Попыток входа в личный кабинет, по исходу",
|
||||
labelnames=("result",), # success | failed
|
||||
)
|
||||
|
||||
|
||||
def route_label(scope: Scope) -> str:
|
||||
"""Шаблон маршрута из ASGI-scope, либо ``__unmatched__``.
|
||||
|
|
|
|||
|
|
@ -25,7 +25,6 @@ import re
|
|||
from typing import Any
|
||||
|
||||
from sentry_sdk.types import Event
|
||||
from starlette.exceptions import HTTPException as _StarletteHTTPException
|
||||
from tenacity import RetryError
|
||||
|
||||
_REDACTED = "[REDACTED]"
|
||||
|
|
@ -257,41 +256,6 @@ def scrub_payment_request_body(event: Event, _hint: dict[str, Any]) -> Event | N
|
|||
return event
|
||||
|
||||
|
||||
_PAYMENTS_DISABLED_DETAIL = "payments are disabled"
|
||||
|
||||
|
||||
def drop_payments_disabled_event(event: Event, hint: dict[str, Any]) -> Event | None:
|
||||
"""before_send-хук: роняет 503 "payments are disabled" из
|
||||
`payments.py._require_enabled` (issue #3471, GlitchTip-группа TRADE-IN-3GG).
|
||||
|
||||
Источник — внутренний IP смоук-проверки: кнопки оплаты во фронте нет,
|
||||
клиентского трафика на эти пути нет вообще, а выключенный платёжный контур
|
||||
(`settings.payments_enabled=False`) штатно отвечает 503 на каждый такой
|
||||
запрос — 167 событий за 29.08-12.09 размывали ленту, на этом фоне терялась
|
||||
настоящая ошибка. Само поведение ручки НЕ меняется (503 остаётся) —
|
||||
фильтруется только репортинг в трекер: sentry_sdk `StarletteIntegration`
|
||||
репортит любой `HTTPException` с кодом из `failed_request_status_codes`
|
||||
(по умолчанию весь диапазон 5xx) как error-событие, даже когда исключение
|
||||
штатно обработано FastAPI и превращено в корректный HTTP-ответ.
|
||||
|
||||
Матчим `isinstance` реального объекта исключения из `hint["exc_info"]` (тот
|
||||
же контракт, что `stabilize_retry_error_fingerprint` ниже) + точный текст
|
||||
`detail` — НЕ код 503 сам по себе, чтобы не проглотить другие 503 (напр.
|
||||
будущий maintenance-режим другого роутера).
|
||||
"""
|
||||
if not isinstance(event, dict):
|
||||
return event
|
||||
exc_info = hint.get("exc_info") if isinstance(hint, dict) else None
|
||||
exc_value = exc_info[1] if exc_info and len(exc_info) > 1 else None
|
||||
if (
|
||||
isinstance(exc_value, _StarletteHTTPException)
|
||||
and exc_value.status_code == 503
|
||||
and exc_value.detail == _PAYMENTS_DISABLED_DETAIL
|
||||
):
|
||||
return None
|
||||
return event
|
||||
|
||||
|
||||
_PUBLIC_API_URL_SEGMENT = "/api/public/"
|
||||
|
||||
#: Хосты геокодеров: их URL несёт введённый адрес прямо в query.
|
||||
|
|
|
|||
|
|
@ -43,16 +43,14 @@ if settings.glitchtip_dsn:
|
|||
from sentry_sdk.integrations.httpx import HttpxIntegration
|
||||
from sentry_sdk.integrations.logging import LoggingIntegration
|
||||
from sentry_sdk.integrations.sqlalchemy import SqlalchemyIntegration
|
||||
from sentry_sdk.types import Event, Hint
|
||||
|
||||
from app.observability.sentry_scrub import (
|
||||
drop_payments_disabled_event,
|
||||
scrub_payment_request_body,
|
||||
scrub_pii_event,
|
||||
stabilize_retry_error_fingerprint,
|
||||
)
|
||||
|
||||
def _before_send(event: Event, hint: Hint) -> Event | None:
|
||||
def _before_send(event: dict, hint: dict) -> dict | None: # type: ignore[type-arg]
|
||||
"""PR-D2: этот процесс не держит ASGI-приложения (нет `request` в event
|
||||
сегодня), но payments_confirm/payments_reconcile (PR-E, тот же
|
||||
`tradein-scraper` контейнер) будут звать Т-Банк API отсюда — belt-and-
|
||||
|
|
@ -60,13 +58,6 @@ if settings.glitchtip_dsn:
|
|||
`request`/`extra`. Тот же обработчик на оба канала ниже — см.
|
||||
app/main.py._before_send (идентичный мотив, не дублировать без причины).
|
||||
|
||||
#3471: payments-disabled drop — тот же belt-and-suspenders мотив, что и
|
||||
payment body-wipe выше по докстрингу: этот процесс сегодня не отвечает
|
||||
503 из `_require_enabled` (нет ASGI/роутов), реальный источник шума —
|
||||
`app/main.py`, но фильтр держим одинаковым во всех трёх entrypoint'ах,
|
||||
чтобы поведение не разошлось, если payments-код когда-нибудь переедет
|
||||
сюда же.
|
||||
|
||||
PII-scrub + RetryError fingerprint-стабилизация (glitchtip-noise) идут
|
||||
следом за платёжным body-wipe: этот процесс гоняет
|
||||
`geocode_missing_listings` (ночной batch, сотни адресов за прогон) —
|
||||
|
|
@ -75,16 +66,13 @@ if settings.glitchtip_dsn:
|
|||
на КАЖДЫЙ адрес (RetryError.__str__() тащит нестабильный repr() Future).
|
||||
См. sentry_scrub docstring.
|
||||
"""
|
||||
dropped = drop_payments_disabled_event(event, hint) # type: ignore[arg-type]
|
||||
if dropped is None:
|
||||
return None
|
||||
scrubbed = scrub_payment_request_body(dropped, hint) # type: ignore[arg-type]
|
||||
scrubbed = scrub_payment_request_body(event, hint) # type: ignore[arg-type]
|
||||
if scrubbed is None:
|
||||
return None
|
||||
scrubbed = scrub_pii_event(scrubbed, hint) # type: ignore[arg-type]
|
||||
scrubbed = scrub_pii_event(scrubbed, hint)
|
||||
if scrubbed is None:
|
||||
return None
|
||||
return stabilize_retry_error_fingerprint(scrubbed, hint) # type: ignore[arg-type,return-value]
|
||||
return stabilize_retry_error_fingerprint(scrubbed, hint)
|
||||
|
||||
sentry_sdk.init(
|
||||
dsn=settings.glitchtip_dsn,
|
||||
|
|
@ -92,11 +80,6 @@ if settings.glitchtip_dsn:
|
|||
release=os.getenv("GIT_SHA") or os.getenv("SENTRY_RELEASE") or "unknown",
|
||||
traces_sample_rate=0.0,
|
||||
send_default_pii=False,
|
||||
# #3194: процесс скрейпера — в локальных переменных кадров лежат
|
||||
# прокси-креды вида user:pass, default sentry_sdk (True) приложил бы их
|
||||
# к traceback открытым текстом. Так же выставлено у соседей (main.py,
|
||||
# tgbot). НЕ закрывает значения в самом тексте исключения и в логах.
|
||||
include_local_variables=False,
|
||||
before_send=_before_send,
|
||||
before_send_transaction=_before_send,
|
||||
integrations=[
|
||||
|
|
@ -113,23 +96,15 @@ def _should_run() -> bool:
|
|||
return settings.scheduler_enable
|
||||
|
||||
|
||||
async def _await_scheduler(task: asyncio.Task[None]) -> bool:
|
||||
async def _await_scheduler(task: asyncio.Task[None]) -> None:
|
||||
"""Дождаться завершения scheduler-задачи с кооперативным SIGTERM-drain'ом.
|
||||
|
||||
Возвращает True, если задачу пришлось хард-кансельнуть (grace истёк), False — если
|
||||
она вышла сама. Вызывающий обязан различать эти исходы в логах (#3391): строка
|
||||
«drained cleanly» после hard-cancel'а — ложь, а именно она печаталась на проде
|
||||
07.09 сразу за WARNING'ом о превышении grace.
|
||||
|
||||
- Нет shutdown: scheduler_loop бесконечен → задача никогда не завершается, ждём её
|
||||
как есть (процесс просто работает).
|
||||
- shutdown запрошен, задача ещё бежит: bounded `wait_for(_DRAIN_TIMEOUT_S)` —
|
||||
кооперативная задача докоммитит текущий unit на ближайшем checkpoint'е и выйдет
|
||||
сама. Если превысила grace → hard-cancel + suppress CancelledError, чтобы
|
||||
некооперативная задача не подвесила процесс за пределами docker stop_grace_period.
|
||||
Пометку `interrupted` своим in-flight прогонам kit-scheduler успевает поставить в
|
||||
обработчике CancelledError (SchedulerContext.mark_inflight_interrupted): между
|
||||
hard-cancel'ом и SIGKILL'ом остаётся 20 с docker-grace (120s − 100s).
|
||||
"""
|
||||
# Гонка «задача завершилась сама» против «пришёл SIGTERM»: отсчёт safety-net'а
|
||||
# должен стартовать от МОМЕНТА запроса drain'а, а не от старта процесса.
|
||||
|
|
@ -147,7 +122,7 @@ async def _await_scheduler(task: asyncio.Task[None]) -> bool:
|
|||
# упал (сохраняем прежнюю loud-crash семантику `await task`), а не глушит его.
|
||||
task.result()
|
||||
logger.info("scheduler_main: scheduler task exited cleanly")
|
||||
return False
|
||||
return
|
||||
|
||||
logger.info(
|
||||
"scheduler_main: SIGTERM-drain — waiting up to %.0fs for in-flight unit to commit",
|
||||
|
|
@ -156,7 +131,6 @@ async def _await_scheduler(task: asyncio.Task[None]) -> bool:
|
|||
try:
|
||||
await asyncio.wait_for(task, timeout=_DRAIN_TIMEOUT_S)
|
||||
logger.info("scheduler_main: scheduler drained and exited cleanly")
|
||||
return False
|
||||
except TimeoutError:
|
||||
logger.warning(
|
||||
"scheduler_main: drain exceeded %.0fs grace — hard-cancelling scheduler task",
|
||||
|
|
@ -165,7 +139,6 @@ async def _await_scheduler(task: asyncio.Task[None]) -> bool:
|
|||
task.cancel()
|
||||
with suppress(asyncio.CancelledError):
|
||||
await task
|
||||
return True
|
||||
|
||||
|
||||
async def _run_kit_scheduler() -> None:
|
||||
|
|
@ -246,12 +219,8 @@ async def _run() -> None:
|
|||
# Windows dev: signal handlers через loop не поддерживаются
|
||||
logger.warning("scheduler_main: loop.add_signal_handler not supported (Windows dev)")
|
||||
|
||||
hard_cancelled = await _await_scheduler(task)
|
||||
await _await_scheduler(task)
|
||||
|
||||
if hard_cancelled:
|
||||
# Дрейн НЕ был чистым: задача не вышла сама, её сняли. WARNING об этом уже
|
||||
# напечатан в _await_scheduler — второй строкой её не «переобъявляем».
|
||||
return
|
||||
if shutdown_requested():
|
||||
logger.info("scheduler_main: scheduler drained cleanly (SIGTERM)")
|
||||
else:
|
||||
|
|
|
|||
|
|
@ -9,7 +9,7 @@ from datetime import date, datetime
|
|||
from typing import Any, Literal
|
||||
from uuid import UUID
|
||||
|
||||
from pydantic import BaseModel, Field, computed_field, model_validator
|
||||
from pydantic import BaseModel, Field, computed_field
|
||||
|
||||
|
||||
class TradeInEstimateInput(BaseModel):
|
||||
|
|
@ -57,21 +57,6 @@ class TradeInEstimateInput(BaseModel):
|
|||
# закрыто договором, а не UI-чекбоксом, и их фронт НЕ шлёт это поле вовсе.
|
||||
consent: bool | None = None
|
||||
|
||||
@model_validator(mode="after")
|
||||
def _check_floor_within_total_floors(self) -> TradeInEstimateInput:
|
||||
"""#3257: этаж не может быть выше этажности дома.
|
||||
|
||||
Частичный ввод легален (пользователь ещё печатает форму) — гейт срабатывает
|
||||
только когда ОБА поля заданы одновременно.
|
||||
"""
|
||||
if self.floor is not None and self.total_floors is not None:
|
||||
if self.floor > self.total_floors:
|
||||
raise ValueError(
|
||||
f"Этаж {self.floor} больше этажности дома {self.total_floors} — "
|
||||
"проверьте данные"
|
||||
)
|
||||
return self
|
||||
|
||||
|
||||
class AnalogLot(BaseModel):
|
||||
address: str
|
||||
|
|
@ -158,14 +143,10 @@ class DkpCorridor(BaseModel):
|
|||
"""Коридор реальных ДКП-сделок Росреестра для target (#652).
|
||||
|
||||
Источник: `deals` (source='rosreestr', ДКП-only), агрегированные по улице +
|
||||
rooms + площади ±15% за период. Показывается как тонкая референсная линия
|
||||
«коридор реальных сделок: X–Y млн»; если итоговая медиана ₽/м² выходит за
|
||||
[low,high]×slack — добавляется текстовая пометка.
|
||||
rooms + площади ±15% за период. ADVISORY: показывается как тонкая референсная
|
||||
линия «коридор реальных сделок: X–Y млн»; если итоговая медиана ₽/м² выходит
|
||||
за [low,high]×slack — добавляется текстовая пометка. НЕ хард-клампит оценку.
|
||||
None / count=0 если по улице нет сопоставимых сделок.
|
||||
|
||||
#3452: «advisory» здесь НЕ безусловно. При count >= estimate_corridor_clamp_min_n
|
||||
коридор участвует в цене (soft-кламп headline + radius-floor, estimator.py), ниже
|
||||
порога — не участвует. Что именно случилось с ЭТОЙ выборкой, говорит advisory_only.
|
||||
"""
|
||||
|
||||
count: int # число ДКП-сделок в выборке
|
||||
|
|
@ -187,30 +168,6 @@ class DkpCorridor(BaseModel):
|
|||
# None = сделки без даты (в проде не встречается) — потребитель молчит.
|
||||
latest_deal_date: date | None = None
|
||||
|
||||
@computed_field # type: ignore[prop-decorator]
|
||||
@property
|
||||
def advisory_only(self) -> bool:
|
||||
"""#3452: True = сделок меньше порога, ценовые страховки коридора выключены.
|
||||
|
||||
Порог один и тот же (`estimate_corridor_clamp_min_n`) у обоих СТРАХОВОЧНЫХ
|
||||
путей коридора: soft-кламп headline сверху и radius-floor снизу
|
||||
(estimator.py). Ниже него коридор всё ещё виден клиенту, но не держит
|
||||
цену — зона n=3..9 на экране была неотличима от работающей.
|
||||
|
||||
ВНИМАНИЕ, поле НЕ значит «коридор в цену не вошёл»: гейт Tier C
|
||||
(#1795 шаг 3) сравнивает якорь с потолком коридора БЕЗ порога вообще, и
|
||||
deals-headline-fallback берёт медиану коридора начиная с трёх сделок.
|
||||
Потребителю (витрине) поэтому корректно говорить про РАЗМЕР ВЫБОРКИ, а
|
||||
не про то, что цену коридор не трогал.
|
||||
|
||||
Производное от count, поэтому верно во ВСЕХ конструкторах DkpCorridor
|
||||
автоматически (POST /estimate и GET-rehydrate) и не дублирует порог
|
||||
вторым числом.
|
||||
"""
|
||||
from app.core.config import settings # локально: schemas остаётся import-light
|
||||
|
||||
return self.count < settings.estimate_corridor_clamp_min_n
|
||||
|
||||
|
||||
class PriceTrendPoint(BaseModel):
|
||||
"""Одна точка месячного ₽/м² тренда для целевого дома / района (web TREND chart).
|
||||
|
|
|
|||
|
|
@ -46,7 +46,7 @@ from fastapi import HTTPException
|
|||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from app.core.auth import get_role, yaml_role
|
||||
from app.core.auth import get_role
|
||||
from app.core.config import settings
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
|
@ -61,7 +61,8 @@ def limit_exhausted_message(limit: int) -> str:
|
|||
отличаться от глобального MONTHLY_LIMIT для персонального override ИЛИ
|
||||
anon default_limit, см. #b2c-antiabuse-2)."""
|
||||
return (
|
||||
f"Лимит из {limit} оценок в этом месяце исчерпан. За полной версией обращайтесь к Копылову."
|
||||
f"Лимит из {limit} оценок в этом месяце исчерпан. "
|
||||
"За полной версией обращайтесь к Копылову."
|
||||
)
|
||||
|
||||
|
||||
|
|
@ -96,14 +97,6 @@ def is_unlimited(db: Session, username: str) -> bool:
|
|||
return False
|
||||
if role == "admin":
|
||||
return True
|
||||
# #3316: get_role резолвит роль из реестра (БД) первой, поэтому сотрудник
|
||||
# team-API больше не даёт KeyError. Право на ПЕРСОНАЛЬНЫЙ безлимит при этом
|
||||
# осталось там же, где было — за roles.yaml: фикс убирает эскалацию, а не
|
||||
# раздаёт новую. Иначе руками проставленный `unlimited` начал бы работать
|
||||
# для аккаунтов, которым он раньше молча игнорировался (и разъехался бы с
|
||||
# `_batch_quota_status` в списке «Команды»).
|
||||
if yaml_role(username) is None:
|
||||
return False
|
||||
row = db.execute(
|
||||
text(
|
||||
"""
|
||||
|
|
|
|||
|
|
@ -56,8 +56,6 @@ from __future__ import annotations
|
|||
from collections import Counter, deque
|
||||
from dataclasses import dataclass, field
|
||||
|
||||
from scraper_kit.orchestration.runs import BAN_KIND_PLATFORM
|
||||
|
||||
|
||||
@dataclass
|
||||
class BlockRatioBreaker:
|
||||
|
|
@ -90,26 +88,7 @@ class BlockRatioBreaker:
|
|||
"""Знаменатель ratio-критерия: сколько попыток уже влезло в окно."""
|
||||
return len(self._window)
|
||||
|
||||
def record_block(self, kind: str = BAN_KIND_PLATFORM) -> None:
|
||||
"""Блок в числитель ratio-критерия — ТОЛЬКО отказ площадки (#3288).
|
||||
|
||||
`kind` — диагноз того же исключения, что уходит в counters.ban_kinds
|
||||
(ban_kind_of_exception). Всё, что не 'platform' (в первую очередь
|
||||
BAN_KIND_INFRA: отказ нашего сайдкара, пустой пул), — отказ НАШЕЙ стороны:
|
||||
площадка его не показывала, и рвать по нему прогон значит объявить бан там,
|
||||
где площадка молчала. Прогон 5425 оборвался по доле на 41 infra из 48
|
||||
«блоков» при 41 успешно обогащённой карточке.
|
||||
|
||||
Такой отказ идёт ровно туда же, куда record_failure(): в ЗНАМЕНАТЕЛЬ окна
|
||||
(доля платформенных блоков от него честно падает), мимо серии и safety-net.
|
||||
Отдельно важно, что серию он не двигает: иначе safety-net на снапшоте
|
||||
короче окна рвал бы прогон по тем же infra-отказам, только другим
|
||||
критерием. Дефолт 'platform' сохраняет поведение вызывающих, которые вид
|
||||
не считают.
|
||||
"""
|
||||
if kind != BAN_KIND_PLATFORM:
|
||||
self.record_failure()
|
||||
return
|
||||
def record_block(self) -> None:
|
||||
self._consecutive_blocks += 1
|
||||
self._window.append(True)
|
||||
|
||||
|
|
|
|||
|
|
@ -1,464 +0,0 @@
|
|||
"""Макро-ряды ЦБ РФ: ипотека по субъектам (XLSX) + ключевая ставка (SOAP).
|
||||
|
||||
CONTEXT: продукту нужен региональный макро-контекст ипотечного рынка (динамика ставок,
|
||||
объёмов выдач и задолженности по субъектам РФ) и дневная ключевая ставка. Этот модуль
|
||||
только собирает данные в cbr_mortgage_series / cbr_key_rate (292_cbr_macro_series.sql) —
|
||||
подключение к estimator вынесено в отдельное продуктовое решение (out of scope).
|
||||
|
||||
ИСТОЧНИК (ипотека): три XLSX-дашборда cbr.ru, wide-формат (территория × месяц),
|
||||
строка 1 пустая, строка 2 — заголовок-описание, строка 3 — шапка периодов
|
||||
(«Январь 2019», «Февраль 2019», …), строки 4+ — территории в колонке A
|
||||
(РФ целиком → федеральные округа → субъекты). Unpivot в длинный ряд
|
||||
(region, period_month, series, value).
|
||||
|
||||
ИСТОЧНИК (ключевая ставка): POST https://www.cbr.ru/DailyInfoWebServ/DailyInfo.asmx,
|
||||
SOAP 1.1 (Content-Type: text/xml; charset=utf-8, SOAPAction: http://web.cbr.ru/KeyRate),
|
||||
метод KeyRate(fromDate, ToDate). Ответ — DataSet-XML со строками
|
||||
<KR><DT>дата</DT><Rate>значение</Rate></KR> (namespace-агностичный парсинг: берём по
|
||||
локальному имени тега, т.к. .NET DataSet оборачивает их в diffgram/reset-default-ns).
|
||||
|
||||
TLS: cbr.ru отдаёт RU-сертификат → verify=False (open data, без auth/PII).
|
||||
psycopg v3: CAST(:x AS type), НИКОГДА :x::type.
|
||||
|
||||
Дизайн-инвариант (как domrf_kapremont_loader): сервис-функции НЕ коммитят — коммитит
|
||||
caller (app/tasks/cbr_macro_pull.py). Изоляция сбоев — try/except на серию,
|
||||
db.rollback() в except (иначе аборченная транзакция каскадит на следующие серии).
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import io
|
||||
import logging
|
||||
import xml.etree.ElementTree as ET
|
||||
from dataclasses import dataclass
|
||||
from datetime import date, datetime
|
||||
|
||||
import httpx
|
||||
import openpyxl
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
DOWNLOAD_TIMEOUT_SEC = 60.0
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Ипотека по субъектам — конфиг серий
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
_MORTGAGE_BASE_URL = "https://www.cbr.ru/vfs/statistics/BankSector/Mortgage"
|
||||
NEW_LOANS_URL = f"{_MORTGAGE_BASE_URL}/02_11_New_loans_mortgage.xlsx"
|
||||
RATES_URL = f"{_MORTGAGE_BASE_URL}/02_13_Rates_mortgage.xlsx"
|
||||
DEBT_URL = f"{_MORTGAGE_BASE_URL}/02_14_Debt_mortgage.xlsx"
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class CbrMortgageSeries:
|
||||
slug: str
|
||||
url: str
|
||||
sheet: str
|
||||
|
||||
|
||||
# По одной серии на файл (лист «в рублях» — основной ряд каждого дашборда).
|
||||
CBR_MORTGAGE_SERIES: list[CbrMortgageSeries] = [
|
||||
CbrMortgageSeries("new_loans_rub", NEW_LOANS_URL, "в рублях"),
|
||||
CbrMortgageSeries("rate_rub", RATES_URL, "ставка в рублях"),
|
||||
CbrMortgageSeries("debt_rub", DEBT_URL, "в рублях"),
|
||||
]
|
||||
|
||||
|
||||
@dataclass(slots=True, frozen=True)
|
||||
class CbrMortgageRow:
|
||||
region: str
|
||||
period_month: date
|
||||
series: str
|
||||
value: float
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Период: русские имена месяцев → date(y, m, 1)
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
RU_MONTHS: dict[str, int] = {
|
||||
"Январь": 1,
|
||||
"Февраль": 2,
|
||||
"Март": 3,
|
||||
"Апрель": 4,
|
||||
"Май": 5,
|
||||
"Июнь": 6,
|
||||
"Июль": 7,
|
||||
"Август": 8,
|
||||
"Сентябрь": 9,
|
||||
"Октябрь": 10,
|
||||
"Ноябрь": 11,
|
||||
"Декабрь": 12,
|
||||
}
|
||||
|
||||
|
||||
def parse_ru_period(period_str: str) -> date:
|
||||
"""Разобрать шапку периода «Январь 2019» → date(2019, 1, 1)."""
|
||||
parts = str(period_str).strip().split()
|
||||
if len(parts) != 2:
|
||||
raise ValueError(f"cbr_macro: не удалось разобрать период {period_str!r}")
|
||||
month_name, year_str = parts
|
||||
month = RU_MONTHS.get(month_name)
|
||||
if month is None:
|
||||
raise ValueError(f"cbr_macro: неизвестное имя месяца {month_name!r} в {period_str!r}")
|
||||
try:
|
||||
year = int(year_str)
|
||||
except ValueError as exc:
|
||||
raise ValueError(f"cbr_macro: неверный год в периоде {period_str!r}") from exc
|
||||
return date(year, month, 1)
|
||||
|
||||
|
||||
def parse_period_cell(cell: object) -> date:
|
||||
"""Разобрать ячейку шапки периода в первое число месяца.
|
||||
|
||||
ЦБ отдаёт шапку в двух формах, зависящих от файла:
|
||||
* текст «Январь 2019» — 02_11_New_loans_mortgage, 02_13_Rates_mortgage;
|
||||
* настоящий datetime/date — 02_14_Debt_mortgage.
|
||||
Обе приводятся к date(y, m, 1).
|
||||
"""
|
||||
if isinstance(cell, datetime):
|
||||
return date(cell.year, cell.month, 1)
|
||||
if isinstance(cell, date):
|
||||
return date(cell.year, cell.month, 1)
|
||||
return parse_ru_period(str(cell))
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Unpivot листа (чистая функция — тестируется без сети/файла)
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
HEADER_SCAN_ROWS = 6
|
||||
"""Сколько первых строк просматривать в поисках шапки периодов."""
|
||||
|
||||
MIN_HEADER_PERIODS = 6
|
||||
"""Минимум распознанных периодов, чтобы считать строку шапкой (а не данными)."""
|
||||
|
||||
|
||||
def _locate_header_row(rows: list[tuple[object, ...]]) -> tuple[int, dict[int, date]]:
|
||||
"""Найти строку шапки периодов и колонки-периоды в ней.
|
||||
|
||||
Раскладка у файлов ЦБ РАЗНАЯ и жёстко фиксировать индекс строки нельзя:
|
||||
* 02_11 / 02_13 — строка 1 пустая, строка 2 — описание, шапка в строке 3 (idx 2);
|
||||
* 02_14 (задолженность) — строка 1 описание, шапка уже в строке 2 (idx 1),
|
||||
и периоды там datetime, а не «Январь 2019».
|
||||
Ранее индекс был захардкожен на idx 2, из-за чего серия задолженности молча
|
||||
давала ноль строк. Поэтому шапку ищем: берём строку с наибольшим числом
|
||||
распознанных периодов среди первых HEADER_SCAN_ROWS.
|
||||
"""
|
||||
best_idx = -1
|
||||
best_periods: dict[int, date] = {}
|
||||
for row_idx, row in enumerate(rows[:HEADER_SCAN_ROWS]):
|
||||
periods: dict[int, date] = {}
|
||||
for col_idx, cell in enumerate(row):
|
||||
if col_idx == 0 or cell is None or str(cell).strip() == "":
|
||||
continue
|
||||
try:
|
||||
periods[col_idx] = parse_period_cell(cell)
|
||||
except ValueError:
|
||||
continue
|
||||
if len(periods) > len(best_periods):
|
||||
best_idx, best_periods = row_idx, periods
|
||||
if len(best_periods) < MIN_HEADER_PERIODS:
|
||||
return -1, {}
|
||||
return best_idx, best_periods
|
||||
|
||||
|
||||
def parse_mortgage_sheet(
|
||||
rows: list[tuple[object, ...]], *, series_slug: str
|
||||
) -> list[CbrMortgageRow]:
|
||||
"""Unpivot wide-листа ЦБ (территория × месяц) в длинный ряд.
|
||||
|
||||
rows — результат ws.iter_rows(values_only=True). Строка шапки периодов ищется
|
||||
динамически (`_locate_header_row`), территории идут сразу после неё.
|
||||
"""
|
||||
if len(rows) < 3:
|
||||
return []
|
||||
|
||||
header_idx, periods = _locate_header_row(rows)
|
||||
if header_idx < 0:
|
||||
logger.warning(
|
||||
"cbr_macro: шапка периодов не найдена для series=%s — лист пропущен", series_slug
|
||||
)
|
||||
return []
|
||||
|
||||
out: list[CbrMortgageRow] = []
|
||||
for data_row in rows[header_idx + 1 :]:
|
||||
if not data_row or data_row[0] is None:
|
||||
continue
|
||||
region = str(data_row[0]).strip()
|
||||
if not region:
|
||||
continue
|
||||
for col_idx, period_month in periods.items():
|
||||
if col_idx >= len(data_row):
|
||||
continue
|
||||
raw_value = data_row[col_idx]
|
||||
if raw_value is None:
|
||||
continue
|
||||
try:
|
||||
value = float(raw_value)
|
||||
except (TypeError, ValueError):
|
||||
logger.warning(
|
||||
"cbr_macro: пропуск ячейки region=%r period=%s series=%s — не число: %r",
|
||||
region,
|
||||
period_month,
|
||||
series_slug,
|
||||
raw_value,
|
||||
)
|
||||
continue
|
||||
out.append(
|
||||
CbrMortgageRow(
|
||||
region=region, period_month=period_month, series=series_slug, value=value
|
||||
)
|
||||
)
|
||||
return out
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Загрузка XLSX + upsert
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
_UPSERT_MORTGAGE_SQL = text("""
|
||||
INSERT INTO cbr_mortgage_series (region, period_month, series, value, source, fetched_at)
|
||||
VALUES (
|
||||
CAST(:region AS text),
|
||||
CAST(:period_month AS date),
|
||||
CAST(:series AS text),
|
||||
CAST(:value AS double precision),
|
||||
'cbr',
|
||||
now()
|
||||
)
|
||||
ON CONFLICT (region, period_month, series)
|
||||
DO UPDATE SET
|
||||
value = EXCLUDED.value
|
||||
-- fetched_at НЕ трогаем (#2846 у sber_price_index): означает
|
||||
-- «когда мы ВПЕРВЫЕ увидели этот период», а не время последней загрузки.
|
||||
""")
|
||||
|
||||
|
||||
def _upsert_mortgage_rows(db: Session, rows: list[CbrMortgageRow]) -> int:
|
||||
for row in rows:
|
||||
db.execute(
|
||||
_UPSERT_MORTGAGE_SQL,
|
||||
{
|
||||
"region": row.region,
|
||||
"period_month": row.period_month.isoformat(),
|
||||
"series": row.series,
|
||||
"value": row.value,
|
||||
},
|
||||
)
|
||||
return len(rows)
|
||||
|
||||
|
||||
def _download(url: str, *, client: httpx.Client) -> bytes:
|
||||
resp = client.get(url, timeout=DOWNLOAD_TIMEOUT_SEC)
|
||||
resp.raise_for_status()
|
||||
return resp.content
|
||||
|
||||
|
||||
def load_cbr_mortgage_series(
|
||||
db: Session,
|
||||
series: CbrMortgageSeries,
|
||||
*,
|
||||
client: httpx.Client | None = None,
|
||||
dry_run: bool = False,
|
||||
) -> dict[str, int]:
|
||||
"""Скачать один XLSX-дашборд, разобрать один лист, upsert-нуть ряд.
|
||||
|
||||
Не коммитит — коммитит caller.
|
||||
"""
|
||||
own_client = client is None
|
||||
if own_client:
|
||||
# cbr.ru отдаёт RU-сертификат НУЦ Минцифры → verify=False. Открытые данные,
|
||||
# без auth/PII (прецедент: sber_index.py, domrf_kapremont_loader.py).
|
||||
client = httpx.Client(timeout=DOWNLOAD_TIMEOUT_SEC, verify=False)
|
||||
try:
|
||||
data = _download(series.url, client=client)
|
||||
finally:
|
||||
if own_client:
|
||||
client.close()
|
||||
|
||||
wb = openpyxl.load_workbook(io.BytesIO(data), read_only=True, data_only=True)
|
||||
try:
|
||||
if series.sheet not in wb.sheetnames:
|
||||
raise ValueError(
|
||||
f"cbr_macro: лист {series.sheet!r} отсутствует в {series.url} "
|
||||
f"(есть: {wb.sheetnames!r})"
|
||||
)
|
||||
ws = wb[series.sheet]
|
||||
rows_raw = list(ws.iter_rows(values_only=True))
|
||||
finally:
|
||||
wb.close()
|
||||
|
||||
parsed = parse_mortgage_sheet(rows_raw, series_slug=series.slug)
|
||||
upserted = 0 if dry_run else _upsert_mortgage_rows(db, parsed)
|
||||
return {"rows": len(parsed), "upserted": upserted}
|
||||
|
||||
|
||||
def pull_cbr_mortgage(
|
||||
db: Session,
|
||||
*,
|
||||
series_list: list[CbrMortgageSeries] | None = None,
|
||||
client: httpx.Client | None = None,
|
||||
dry_run: bool = False,
|
||||
) -> dict[str, int]:
|
||||
"""Забрать все (или выбранные) серии ипотечной статистики.
|
||||
|
||||
Per-series try/except: одна сбойнувшая серия логируется и не роняет остальные
|
||||
(урок #1345 у sber_index: без rollback аборченная транзакция каскадит дальше).
|
||||
"""
|
||||
if series_list is None:
|
||||
series_list = CBR_MORTGAGE_SERIES
|
||||
|
||||
counters = {"upserted": 0, "skipped": 0, "errors": 0}
|
||||
own_client = client is None
|
||||
if own_client:
|
||||
client = httpx.Client(timeout=DOWNLOAD_TIMEOUT_SEC, verify=False)
|
||||
try:
|
||||
for series in series_list:
|
||||
try:
|
||||
result = load_cbr_mortgage_series(db, series, client=client, dry_run=dry_run)
|
||||
if result["rows"] == 0:
|
||||
logger.info("cbr_macro: пустой результат для series=%s", series.slug)
|
||||
counters["skipped"] += 1
|
||||
else:
|
||||
counters["upserted"] += result["upserted"]
|
||||
logger.info(
|
||||
"cbr_macro: upserted %d rows for series=%s", result["upserted"], series.slug
|
||||
)
|
||||
except Exception:
|
||||
db.rollback()
|
||||
logger.exception("cbr_macro: series=%s сбойнула — пропуск", series.slug)
|
||||
counters["errors"] += 1
|
||||
finally:
|
||||
if own_client:
|
||||
client.close()
|
||||
return counters
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Ключевая ставка — SOAP
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
CBR_SOAP_URL = "https://www.cbr.ru/DailyInfoWebServ/DailyInfo.asmx"
|
||||
KEY_RATE_START = date(2013, 9, 13) # инструмент введён Советом директоров ЦБ РФ
|
||||
|
||||
_KEY_RATE_ENVELOPE = """<?xml version="1.0" encoding="utf-8"?>
|
||||
<soap:Envelope xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" \
|
||||
xmlns:xsd="http://www.w3.org/2001/XMLSchema" \
|
||||
xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/">
|
||||
<soap:Body>
|
||||
<KeyRate xmlns="http://web.cbr.ru/">
|
||||
<fromDate>{from_date}</fromDate>
|
||||
<ToDate>{to_date}</ToDate>
|
||||
</KeyRate>
|
||||
</soap:Body>
|
||||
</soap:Envelope>"""
|
||||
|
||||
|
||||
def build_key_rate_envelope(from_date: date, to_date: date) -> str:
|
||||
return _KEY_RATE_ENVELOPE.format(from_date=from_date.isoformat(), to_date=to_date.isoformat())
|
||||
|
||||
|
||||
def _local_tag(tag: str) -> str:
|
||||
"""Локальное имя тега без namespace-префикса ('{ns}KR' → 'KR')."""
|
||||
return tag.rsplit("}", 1)[-1]
|
||||
|
||||
|
||||
def parse_key_rate_response(xml_text: str) -> list[tuple[date, float]]:
|
||||
"""Разобрать SOAP-ответ KeyRate: строки <KR><DT>…</DT><Rate>…</Rate></KR>.
|
||||
|
||||
Namespace-агностично (ищем по локальному имени тега) — .NET DataSet
|
||||
оборачивает строки в diffgram/reset-default-ns, точный путь не гарантирован.
|
||||
"""
|
||||
root = ET.fromstring(xml_text)
|
||||
out: list[tuple[date, float]] = []
|
||||
for el in root.iter():
|
||||
if _local_tag(el.tag) != "KR":
|
||||
continue
|
||||
dt_text: str | None = None
|
||||
rate_text: str | None = None
|
||||
for child in el:
|
||||
name = _local_tag(child.tag)
|
||||
if name == "DT":
|
||||
dt_text = child.text
|
||||
elif name == "Rate":
|
||||
rate_text = child.text
|
||||
if not dt_text or rate_text is None:
|
||||
continue
|
||||
try:
|
||||
rate_date = datetime.fromisoformat(dt_text).date()
|
||||
rate = float(rate_text)
|
||||
except (ValueError, TypeError):
|
||||
logger.warning(
|
||||
"cbr_macro: пропуск строки KeyRate — не распознана: DT=%r Rate=%r",
|
||||
dt_text,
|
||||
rate_text,
|
||||
)
|
||||
continue
|
||||
out.append((rate_date, rate))
|
||||
return out
|
||||
|
||||
|
||||
def fetch_key_rate(
|
||||
client: httpx.Client, *, from_date: date, to_date: date
|
||||
) -> list[tuple[date, float]]:
|
||||
body = build_key_rate_envelope(from_date, to_date)
|
||||
headers = {
|
||||
"Content-Type": "text/xml; charset=utf-8",
|
||||
"SOAPAction": "http://web.cbr.ru/KeyRate",
|
||||
}
|
||||
resp = client.post(CBR_SOAP_URL, content=body.encode("utf-8"), headers=headers)
|
||||
resp.raise_for_status()
|
||||
return parse_key_rate_response(resp.text)
|
||||
|
||||
|
||||
_UPSERT_KEY_RATE_SQL = text("""
|
||||
INSERT INTO cbr_key_rate (rate_date, rate, fetched_at)
|
||||
VALUES (CAST(:rate_date AS date), CAST(:rate AS double precision), now())
|
||||
ON CONFLICT (rate_date)
|
||||
DO UPDATE SET
|
||||
rate = EXCLUDED.rate
|
||||
-- fetched_at НЕ трогаем — та же логика, что и у cbr_mortgage_series.
|
||||
""")
|
||||
|
||||
|
||||
def _upsert_key_rate_rows(db: Session, rows: list[tuple[date, float]]) -> int:
|
||||
for rate_date, rate in rows:
|
||||
db.execute(_UPSERT_KEY_RATE_SQL, {"rate_date": rate_date.isoformat(), "rate": rate})
|
||||
return len(rows)
|
||||
|
||||
|
||||
def load_key_rate(
|
||||
db: Session,
|
||||
*,
|
||||
from_date: date | None = None,
|
||||
to_date: date | None = None,
|
||||
client: httpx.Client | None = None,
|
||||
dry_run: bool = False,
|
||||
) -> dict[str, int]:
|
||||
"""Скачать ключевую ставку за диапазон дат, upsert-нуть в cbr_key_rate.
|
||||
|
||||
Не коммитит — коммитит caller. from_date/to_date по умолчанию — вся история
|
||||
инструмента (KEY_RATE_START) до сегодня.
|
||||
"""
|
||||
if from_date is None:
|
||||
from_date = KEY_RATE_START
|
||||
if to_date is None:
|
||||
to_date = date.today()
|
||||
|
||||
own_client = client is None
|
||||
if own_client:
|
||||
client = httpx.Client(timeout=DOWNLOAD_TIMEOUT_SEC, verify=False)
|
||||
try:
|
||||
rows = fetch_key_rate(client, from_date=from_date, to_date=to_date)
|
||||
finally:
|
||||
if own_client:
|
||||
client.close()
|
||||
|
||||
upserted = 0 if dry_run else _upsert_key_rate_rows(db, rows)
|
||||
result = {"rows": len(rows), "upserted": upserted}
|
||||
logger.info("cbr_macro: key_rate load DONE (dry_run=%s): %s", dry_run, result)
|
||||
return result
|
||||
|
|
@ -34,6 +34,25 @@ from app.services.scraper_settings import get_scraper_delay
|
|||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
class _PoolCurlConfig(RealScraperConfig):
|
||||
"""RealScraperConfig с принудительно включённым pool-режимом curl (#2830).
|
||||
|
||||
`USE_PROXY_POOL_CURL` задан только контейнеру `scraper` (docker-compose.prod.yml
|
||||
services.scraper.environment), а этот бэкфилл запускается ручкой
|
||||
`POST /admin/scrape/cian-price-history` в контейнере `backend`, где переменной нет
|
||||
→ `settings.use_proxy_pool_curl` = False. С ней `providers/_proxy.py::curl_proxy_url`
|
||||
ИГНОРИРУЕТ переданный `proxy_provider` и уходит на статичный `SCRAPER_PROXY_URL`:
|
||||
один `proxy_provider=` был бы правкой без эффекта (зелёный тест, нулевой прод).
|
||||
|
||||
Флаг — рубильник раскатки pool-режима для планировщика, а не решение «этому пути
|
||||
пул не нужен»: инцидент 2026-08-10 (#2830) — ровно про то, что нужен именно ему.
|
||||
"""
|
||||
|
||||
@property
|
||||
def use_proxy_pool_curl(self) -> bool:
|
||||
return True
|
||||
|
||||
|
||||
@dataclass
|
||||
class CianPriceHistoryResult:
|
||||
checked: int = 0
|
||||
|
|
@ -65,13 +84,7 @@ async def backfill_cian_price_history(
|
|||
# Egress через пул с учётом `scrape_proxy_source_bans` (#2830): узел выбирает
|
||||
# `curl_proxy_url` внутри `fetch_detail`, он же на выходе возвращает вердикт
|
||||
# (mark_banned на CianBlockedError / mark_health / release).
|
||||
#
|
||||
# Флаг читается из окружения как у всех (#3386 хвост): до #3387 у контейнера
|
||||
# `backend` не было `USE_PROXY_POOL_CURL`, и здесь стоял подкласс с зашитым
|
||||
# `use_proxy_pool_curl = True` — иначе `curl_proxy_url` игнорировал бы
|
||||
# `proxy_provider`. Теперь переменная задана и сервису `backend` (compose), а
|
||||
# зашитая константа делала рубильник неотключаемым ровно на этом пути.
|
||||
scraper_config = RealScraperConfig()
|
||||
scraper_config = _PoolCurlConfig()
|
||||
proxy_provider = RealProxyProvider()
|
||||
|
||||
if listing_id is not None:
|
||||
|
|
@ -131,7 +144,7 @@ async def backfill_cian_price_history(
|
|||
# Fail-closed (#2616): пул пуст/недоступен в проде. Остальные листинги
|
||||
# упрутся в то же самое — рвём батч сразу, а не 50 раз по 5 секунд с
|
||||
# логом, который читается как «Циан нас блокирует».
|
||||
logger.warning(
|
||||
logger.error(
|
||||
"cian_price_history: нет доступного прокси в пуле (%s) — батч прерван "
|
||||
"на listing_id=%s (обработано %d из %d)",
|
||||
exc,
|
||||
|
|
|
|||
|
|
@ -201,7 +201,7 @@ async def verify_session(cookies: dict[str, str]) -> dict[str, Any] | None:
|
|||
# ИМЕННО для cian/нездоровы — НЕ уходим на settings.cian_proxy_url (тот самый
|
||||
# статичный узел мог быть источником бана, см. proxy_egress module docstring).
|
||||
# Явный отказ вместо слепого прохода через заведомо подозрительный egress.
|
||||
logger.warning(
|
||||
logger.error(
|
||||
"Cian cookies verify: пул прокси исчерпан для cian (%s) — verify пропущен, "
|
||||
"cookies НЕ помечены протухшими, retry на следующем такте",
|
||||
exc,
|
||||
|
|
|
|||
|
|
@ -29,7 +29,6 @@ from typing import Any
|
|||
import httpx
|
||||
|
||||
from app.core.config import settings
|
||||
from app.core.log_scrub import scrub_body_secrets
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
|
@ -174,7 +173,7 @@ async def clean_address(address: str) -> DadataAddressResult | None:
|
|||
logger.warning("dadata: HTTP 429 — quota exceeded (100/день demo limit?)")
|
||||
return None
|
||||
if status in (401, 403):
|
||||
body_preview = scrub_body_secrets(response.text)[:200]
|
||||
body_preview = (response.text or "")[:200]
|
||||
# 403 «Feature 'CLEAN' disabled for token …» ≠ отклонённый токен: токен валиден,
|
||||
# но услуга «Стандартизация» (CLEAN) не подключена на аккаунте. Refresh токена НЕ
|
||||
# поможет — нужно включить услугу в кабинете DaData ИЛИ полагаться на suggest-fallback
|
||||
|
|
@ -214,7 +213,7 @@ async def clean_address(address: str) -> DadataAddressResult | None:
|
|||
logger.warning("dadata: HTTP %d — transient server error", status)
|
||||
return None
|
||||
if status >= 400:
|
||||
body_preview = scrub_body_secrets(response.text)[:200]
|
||||
body_preview = (response.text or "")[:200]
|
||||
logger.warning("dadata: HTTP %d — bad request: %r", status, body_preview)
|
||||
return None
|
||||
|
||||
|
|
@ -350,7 +349,6 @@ async def suggest_addresses(
|
|||
limit: int = 8,
|
||||
city: str | None = "Екатеринбург",
|
||||
region: str | None = None,
|
||||
regions: list[str] | None = None,
|
||||
) -> list[DadataSuggestion]:
|
||||
"""Автокомплит адресов через DaData /suggest/address.
|
||||
|
||||
|
|
@ -369,13 +367,6 @@ async def suggest_addresses(
|
|||
БЕЗ типа («Свердловская», а тип — отдельно в `region_type`="обл").
|
||||
Передашь «Свердловская область» — совпадений не будет, и запрос
|
||||
вернёт ПУСТО без всякой ошибки (hard-filter, не boost).
|
||||
regions: НЕСКОЛЬКО регионов разом — `locations` у DaData это список, и
|
||||
элементы в нём складываются по ИЛИ. Нужно там, где один регион даёт
|
||||
заведомо неверный ответ: адрес Авито по Москве и области («Юбилейная
|
||||
ул.,20Б») лежит либо в 77, либо в 50, и констрейнт из одного региона
|
||||
молча притягивает подмосковный дом к московской улице. Имеет
|
||||
приоритет над `region`/`city`. Имена — так же БЕЗ типа («Москва»,
|
||||
«Московская»).
|
||||
|
||||
Returns:
|
||||
list[DadataSuggestion] — пустой список если:
|
||||
|
|
@ -403,11 +394,7 @@ async def suggest_addresses(
|
|||
"query": query.strip(),
|
||||
"count": max(1, min(int(limit), 20)),
|
||||
}
|
||||
if regions:
|
||||
# Список → ИЛИ по регионам (см. docstring). Пустые имена выбрасываем:
|
||||
# `{"region": ""}` — не «любой регион», а гарантированный ноль хитов.
|
||||
body["locations"] = [{"region": r} for r in regions if r and r.strip()]
|
||||
elif region:
|
||||
if region:
|
||||
# `locations` с полем region — уже жёсткий фильтр сам по себе (DaData
|
||||
# ограничивает выдачу этим регионом). `restrict_value` — ТОП-LEVEL параметр
|
||||
# body (не ключ внутри объекта locations) — здесь он был бы silent no-op,
|
||||
|
|
@ -437,7 +424,7 @@ async def suggest_addresses(
|
|||
logger.warning("dadata suggest: HTTP %d — transient server error", status)
|
||||
return []
|
||||
if status >= 400:
|
||||
body_preview = scrub_body_secrets(response.text)[:200]
|
||||
body_preview = (response.text or "")[:200]
|
||||
logger.warning("dadata suggest: HTTP %d — bad request: %r", status, body_preview)
|
||||
return []
|
||||
|
||||
|
|
|
|||
|
|
@ -1,157 +0,0 @@
|
|||
"""Ключ города ДКП-сделки для ценовых полос (#3051 «Москва», округа).
|
||||
|
||||
ПРОБЛЕМА. deal_city_price_bands ключуется (region_code, city), а deals.city у
|
||||
ВСЕХ 212 937 московских сделок буквально 'Москва' — на весь город получалась
|
||||
ОДНА полоса 34221..718870 ₽/м². Москва неоднородна на порядок (Хамовники против
|
||||
Некрасовки), поэтому единая полоса одновременно и не режет опечатки в дорогом
|
||||
центре, и режет легитимный рынок на окраинах.
|
||||
|
||||
РЕШЕНИЕ. Ключом города становится
|
||||
COALESCE(NULLIF(raw_payload->>'src_city', ''), city)
|
||||
— у московских сделок Росреестра raw_payload.src_city несёт муниципальный округ
|
||||
('муниципальный округ Хамовники' и т.п.): заполнен у 198 600 из 212 937 сделок
|
||||
(93.27%), 197 различных значений. Оставшиеся 6.73% (14 376 сделок) отдают
|
||||
'Москва' и образуют СВОЮ строку-фолбэк (n=14376 → tier 'full', полоса
|
||||
22475..772165), а не проваливаются в глобальные DEAL_MIN_PPM2/DEAL_MAX_PPM2,
|
||||
откалиброванные под Екатеринбург. Ключи дизъюнктны: либо 'муниципальный округ X',
|
||||
либо ровно 'Москва' — b.city = ключ_сделки всегда матчит одну строку.
|
||||
|
||||
ИНВАРИАНТ РЕГИОНА 66. У сделок Свердловской области src_city пуст у ВСЕХ
|
||||
108 623 строк, поэтому COALESCE отдаёт city и ключ не меняется. Проверено на
|
||||
проде 2026-09-10: сделок региона 66, где ключ отличается от city, — 0 штук;
|
||||
пересчёт по новому выражению даёт те же 383 строки полос, все совпадают с
|
||||
текущими по (ppm2_min, ppm2_max, n_deals, tier).
|
||||
|
||||
NULL-семантика. Если raw_payload отсутствует целиком (NULL), то
|
||||
NULL->>'src_city' = NULL → NULLIF(NULL,'') = NULL → COALESCE отдаёт city.
|
||||
Если src_city есть, но пустая строка — NULLIF гасит её в NULL, тот же исход.
|
||||
Питоновский helper ниже повторяет эту семантику один-в-один (пустая строка
|
||||
считается отсутствующей, пробелы НЕ подрезаются — SQL их тоже не подрезает).
|
||||
|
||||
Модуль намеренно крошечный и без зависимостей: выражение обязано быть ОДНИМ на
|
||||
derivation (app/tasks/deal_city_price_bands_refresh.py) и на все читающие места
|
||||
(app/services/estimator.py). Три копии выражения = три места, где полосы
|
||||
разъезжаются молча.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
from collections.abc import Mapping
|
||||
from typing import Any
|
||||
|
||||
# Имя вычисляемой колонки-ключа в SELECT'ах, которые читают сделки для питонового
|
||||
# пути фильтрации (_fetch_deals → _is_plausible_deal).
|
||||
DEAL_CITY_KEY_COLUMN = "city_key"
|
||||
|
||||
|
||||
def deal_city_key_sql(alias: str = "d") -> str:
|
||||
"""SQL-выражение ключа города сделки.
|
||||
|
||||
alias — префикс таблицы deals в запросе ('d' для `FROM deals d`, '' для
|
||||
`FROM deals` без алиаса, как в derivation задачи полос).
|
||||
"""
|
||||
prefix = f"{alias}." if alias else ""
|
||||
return f"COALESCE(NULLIF({prefix}raw_payload->>'src_city', ''), {prefix}city)"
|
||||
|
||||
|
||||
def deal_city_key(row: Mapping[str, Any]) -> str | None:
|
||||
"""Питоновский эквивалент deal_city_key_sql для уже прочитанной строки сделки.
|
||||
|
||||
Порядок: готовая колонка DEAL_CITY_KEY_COLUMN (её считает SQL) → src_city из
|
||||
raw_payload, если строку прочитали вместе с payload → city. Пустая строка
|
||||
трактуется как отсутствие значения — как NULLIF(x, '') в SQL.
|
||||
"""
|
||||
key = row.get(DEAL_CITY_KEY_COLUMN)
|
||||
if key:
|
||||
return str(key)
|
||||
raw = row.get("raw_payload")
|
||||
if isinstance(raw, Mapping):
|
||||
src = raw.get("src_city")
|
||||
if src:
|
||||
return str(src)
|
||||
city = row.get("city")
|
||||
return str(city) if city else None
|
||||
|
||||
|
||||
# ── Двухступенчатый поиск полосы (#3051, разрыв на деплое) ───────────────────
|
||||
#
|
||||
# Таблицу deal_city_price_bands наполняет НОЧНАЯ задача, а читающая сторона
|
||||
# уезжает на ключ-округ сразу с деплоем. В окне между деплоем и первым рефрешем
|
||||
# по региону 77 в таблице лежит ровно ОДНА строка city='Москва': 93.27%
|
||||
# московских сделок искали бы ключ 'муниципальный округ X', не находили и падали
|
||||
# на глобальные DEAL_MIN_PPM2=50000 / DEAL_MAX_PPM2=800000 (калибровка ЕКБ) —
|
||||
# нижняя граница прыгала бы с 34221 до 50000 и молча выбрасывала легитимно
|
||||
# дешёвые сделки. Это ХУЖЕ, чем было до правки.
|
||||
#
|
||||
# Поэтому поиск полосы ДВУХСТУПЕНЧАТЫЙ и одинаковый во всех трёх читающих местах
|
||||
# (два SQL-джойна ДКП-коридора + питоновский путь _fetch_deals):
|
||||
# ступень 1 — строка по ключу-округу (deal_city_key / deal_city_key_sql);
|
||||
# ступень 2 — строка по deals.city;
|
||||
# ступень 3 — глобальные DEAL_MIN_PPM2/DEAL_MAX_PPM2.
|
||||
# Порядок деплоя перестаёт иметь значение, а округ, для которого строки ещё нет
|
||||
# (свежий округ, n<10, мусорное значение src_city), деградирует в ГОРОДСКУЮ
|
||||
# полосу, а не в екатеринбургскую калибровку.
|
||||
#
|
||||
# Ступень не расщепляется по границам: ppm2_min и ppm2_max в таблице NOT NULL
|
||||
# (data/sql/178_deal_city_price_bands.sql), значит найденная строка отдаёт ОБЕ
|
||||
# границы — COALESCE не может взять min из округа, а max из города.
|
||||
#
|
||||
# ИНВАРИАНТ РЕГИОНА 66. src_city пуст у всех его 108 623 сделок → ключ ступени 1
|
||||
# равен ключу ступени 2, обе ступени находят одну и ту же строку, результат
|
||||
# байт-в-байт прежний. Вторая ступень для него — тавтология, не изменение.
|
||||
|
||||
DEAL_CITY_BAND_ALIAS = "b" # ступень 1: строка по ключу-округу
|
||||
DEAL_CITY_BAND_FALLBACK_ALIAS = "bc" # ступень 2: строка по deals.city
|
||||
|
||||
|
||||
def deal_city_band_join_sql(alias: str = "d", indent: str = "") -> str:
|
||||
"""Два LEFT JOIN'а к deal_city_price_bands: ступень 1 (округ) + ступень 2 (город).
|
||||
|
||||
alias — префикс таблицы deals, indent — отступ строк со 2-й (косметика SQL).
|
||||
"""
|
||||
prefix = f"{alias}." if alias else ""
|
||||
b, bc = DEAL_CITY_BAND_ALIAS, DEAL_CITY_BAND_FALLBACK_ALIAS
|
||||
lines = [
|
||||
f"LEFT JOIN deal_city_price_bands {b}",
|
||||
f" ON {b}.region_code = {prefix}region_code",
|
||||
f" AND {b}.city = {deal_city_key_sql(alias)}",
|
||||
f"LEFT JOIN deal_city_price_bands {bc}",
|
||||
f" ON {bc}.region_code = {prefix}region_code",
|
||||
f" AND {bc}.city = {prefix}city",
|
||||
]
|
||||
return ("\n" + indent).join(lines)
|
||||
|
||||
|
||||
def deal_city_band_bounds_sql(
|
||||
min_param: str = ":ppm_min", max_param: str = ":ppm_max", indent: str = ""
|
||||
) -> str:
|
||||
"""Границы полосы одним выражением: округ → город → глобальные константы."""
|
||||
b, bc = DEAL_CITY_BAND_ALIAS, DEAL_CITY_BAND_FALLBACK_ALIAS
|
||||
lines = [
|
||||
f"BETWEEN COALESCE({b}.ppm2_min, {bc}.ppm2_min, CAST({min_param} AS int))",
|
||||
f" AND COALESCE({b}.ppm2_max, {bc}.ppm2_max, CAST({max_param} AS int))",
|
||||
]
|
||||
return ("\n" + indent).join(lines)
|
||||
|
||||
|
||||
def resolve_city_band(
|
||||
bands: Mapping[tuple[int, str], tuple[int, int]] | None,
|
||||
region_code: int,
|
||||
city_key: str | None,
|
||||
city: str | None,
|
||||
default: tuple[int, int],
|
||||
) -> tuple[int, int]:
|
||||
"""Питоновский эквивалент двух LEFT JOIN'ов выше: округ → город → default.
|
||||
|
||||
Ступени и их порядок обязаны совпадать с SQL-версией: разъехавшийся порядок
|
||||
означал бы, что питоновский фильтр сделок судит по другой полосе, чем
|
||||
ДКП-коридор на тех же данных.
|
||||
"""
|
||||
table = bands or {}
|
||||
for key in (city_key, city):
|
||||
if key is None:
|
||||
continue
|
||||
band = table.get((region_code, key))
|
||||
if band is not None:
|
||||
return band
|
||||
return default
|
||||
|
|
@ -1,157 +0,0 @@
|
|||
"""Радиусные агрегаты ДТП вокруг точки — `dtp_incidents` (#3410).
|
||||
|
||||
Отдельный модуль, не расширение `location_index.py`: та модель считает ЦЕНОВОЙ индекс
|
||||
(медиана ₽/м² локально vs по городу) с фиксированным bbox продукт-ядра города — другая
|
||||
предметная область и другой контракт результата (status/coverage у location_index
|
||||
завязан на `regions_mod`/`bbox_product_core`, ДТП покрывает всю область без city-bbox
|
||||
ограничения источника). Общее — только сам паттерн запроса (bbox-префильтр +
|
||||
`ST_DWithin(geom::geography, …)`) и dtp_incidents/osm_poi_ekb_local roднит один и тот же
|
||||
"пустая таблица -> unavailable" graceful fallback (см. `_fetch_nearby_poi` в
|
||||
location_index.py) — переиспользован здесь буквально.
|
||||
|
||||
Bbox-префильтр здесь, в отличие от location_index (там фиксированный bbox city-ядра),
|
||||
строится ВОКРУГ ТОЧКИ по радиусу (`_bbox_from_point`) — dtp_incidents не ограничена
|
||||
одним городом, фиксированного bbox покрытия нет. Дешёвый lat/lon BETWEEN перед
|
||||
ST_DWithin — тот же приём, что в шаблоне recon_geo.md п.3.
|
||||
|
||||
psycopg v3: `CAST(:x AS type)`, никогда `:x::type`.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import math
|
||||
from typing import Any
|
||||
|
||||
from pydantic import BaseModel
|
||||
from sqlalchemy import text
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# Радиус по умолчанию для "фактора безопасности" района — сопоставим по порядку
|
||||
# величины с DEFAULT_POI_RADIUS_M=1200 в location_index.py (тот же масштаб "пешком от
|
||||
# дома"), но не импортируется оттуда: разные предметные области, совпадение числа
|
||||
# не должно создавать ложную связь между модулями.
|
||||
DEFAULT_DTP_RADIUS_M = 1000
|
||||
|
||||
# Сколько лет ДТП назад учитывать по умолчанию — источник копит данные с 2015 (см.
|
||||
# докстринг dtp_stat_loader.py), но "фактор безопасности" района должен отражать
|
||||
# ТЕКУЩУЮ ситуацию, а не десятилетнюю историю.
|
||||
DEFAULT_YEARS_LOOKBACK = 5
|
||||
|
||||
_METERS_PER_DEGREE_LAT = 111_320.0
|
||||
|
||||
|
||||
def _bbox_from_point(lat: float, lon: float, radius_m: int) -> tuple[float, float, float, float]:
|
||||
"""(south, north, west, east) — bbox вокруг точки радиусом radius_m (приближённо)."""
|
||||
lat_delta = radius_m / _METERS_PER_DEGREE_LAT
|
||||
lon_scale = math.cos(math.radians(lat))
|
||||
# Защита от вырождения делителя у полюсов — для Свердловской обл. (~56-61° с.ш.)
|
||||
# cos никогда не приближается к нулю, но защита дешёвая и делает функцию safe везде.
|
||||
lon_delta = radius_m / (_METERS_PER_DEGREE_LAT * max(lon_scale, 0.01))
|
||||
return (lat - lat_delta, lat + lat_delta, lon - lon_delta, lon + lon_delta)
|
||||
|
||||
|
||||
class DtpAreaStats(BaseModel):
|
||||
"""Результат compute_dtp_stats."""
|
||||
|
||||
status: str # "ok" | "unavailable" (dtp_incidents пуста — рефреш ещё не запускался)
|
||||
radius_m: int
|
||||
years: int
|
||||
incidents_count: int
|
||||
severe_count: int
|
||||
dead: int
|
||||
injured: int
|
||||
|
||||
|
||||
_DTP_STATS_SQL = text(
|
||||
"""
|
||||
SELECT
|
||||
count(*) AS incidents_count,
|
||||
count(*) FILTER (WHERE severity = 'Тяжёлый') AS severe_count,
|
||||
COALESCE(sum(dead), 0) AS dead_total,
|
||||
COALESCE(sum(injured), 0) AS injured_total
|
||||
FROM dtp_incidents
|
||||
WHERE dtp_at >= NOW() - make_interval(years => CAST(:years AS integer))
|
||||
AND lat BETWEEN CAST(:bbox_south AS double precision)
|
||||
AND CAST(:bbox_north AS double precision)
|
||||
AND lon BETWEEN CAST(:bbox_west AS double precision)
|
||||
AND CAST(:bbox_east AS double precision)
|
||||
AND ST_DWithin(
|
||||
geom::geography,
|
||||
ST_SetSRID(ST_MakePoint(:lon, :lat), 4326)::geography,
|
||||
CAST(:radius_m AS double precision)
|
||||
)
|
||||
"""
|
||||
)
|
||||
|
||||
|
||||
def compute_dtp_stats(
|
||||
db: Any,
|
||||
lat: float,
|
||||
lon: float,
|
||||
*,
|
||||
radius_m: int = DEFAULT_DTP_RADIUS_M,
|
||||
years: int = DEFAULT_YEARS_LOOKBACK,
|
||||
) -> DtpAreaStats:
|
||||
"""Посчитать агрегаты ДТП в радиусе `radius_m` вокруг точки за последние `years` лет.
|
||||
|
||||
Graceful fallback: `dtp_incidents` пуста (рефреш ещё не запускался на этом
|
||||
окружении, source dormant по умолчанию — миграция 295) -> status="unavailable",
|
||||
нули НЕ фабрикуются. Ноль инцидентов при непустой таблице — легитимный "ok"
|
||||
результат (в радиусе правда ничего не было), отличается статусом от "нет данных".
|
||||
"""
|
||||
total = db.execute(text("SELECT count(*) FROM dtp_incidents")).scalar() or 0
|
||||
if total == 0:
|
||||
logger.warning(
|
||||
"dtp_index: dtp_incidents пуста (рефреш ещё не запускался на этом "
|
||||
"окружении) — unavailable, без сфабрикованных нулей"
|
||||
)
|
||||
return DtpAreaStats(
|
||||
status="unavailable",
|
||||
radius_m=radius_m,
|
||||
years=years,
|
||||
incidents_count=0,
|
||||
severe_count=0,
|
||||
dead=0,
|
||||
injured=0,
|
||||
)
|
||||
|
||||
bbox_south, bbox_north, bbox_west, bbox_east = _bbox_from_point(lat, lon, radius_m)
|
||||
row = (
|
||||
db.execute(
|
||||
_DTP_STATS_SQL,
|
||||
{
|
||||
"lat": lat,
|
||||
"lon": lon,
|
||||
"radius_m": radius_m,
|
||||
"years": years,
|
||||
"bbox_south": bbox_south,
|
||||
"bbox_north": bbox_north,
|
||||
"bbox_west": bbox_west,
|
||||
"bbox_east": bbox_east,
|
||||
},
|
||||
)
|
||||
.mappings()
|
||||
.first()
|
||||
)
|
||||
if row is None:
|
||||
return DtpAreaStats(
|
||||
status="ok",
|
||||
radius_m=radius_m,
|
||||
years=years,
|
||||
incidents_count=0,
|
||||
severe_count=0,
|
||||
dead=0,
|
||||
injured=0,
|
||||
)
|
||||
|
||||
return DtpAreaStats(
|
||||
status="ok",
|
||||
radius_m=radius_m,
|
||||
years=years,
|
||||
incidents_count=int(row["incidents_count"] or 0),
|
||||
severe_count=int(row["severe_count"] or 0),
|
||||
dead=int(row["dead_total"] or 0),
|
||||
injured=int(row["injured_total"] or 0),
|
||||
)
|
||||
|
|
@ -1,281 +0,0 @@
|
|||
"""dtp-stat.ru loader: слой ДТП по Свердловской обл. в `dtp_incidents` (#3410).
|
||||
|
||||
CONTEXT: карточка района МЕРЫ хочет "фактор безопасности" — сколько ДТП/тяжёлых/
|
||||
погибших/раненых было рядом за последние годы. dtp-stat.ru агрегирует открытые данные
|
||||
ГИБДД в GeoJSON по регионам, без auth.
|
||||
|
||||
ИСТОЧНИК: https://dtp-stat.ru/media/opendata/sverdlovskaia-oblast.geojson.zip — ZIP
|
||||
(~5 МБ) с одним файлом `sverdlovskaia-oblast.geojson` (~71 МБ распакованного,
|
||||
FeatureCollection, ~31k Point-фич). Проверено живьём 08.09.2026: HTTP 200,
|
||||
5 047 685 байт. Домен обычный (не RU-gov минцифровский сертификат) — verify=False
|
||||
НЕ ставим, лишний.
|
||||
|
||||
МОНИТОРИНГ ПРОТУХАНИЯ (не реализован в этом PR — зафиксировано, чтобы следующий не
|
||||
считал пустую дельту багом): на момент проверки 08.09.2026 дамп источника заморожен,
|
||||
Last-Modified 26.02.2026. TRUNCATE+INSERT переливает те же ~31k строк каждый рефреш —
|
||||
это ожидаемо, а не признак сломанного парсинга. Если нужен freshness-монитор — см.
|
||||
паттерн `recon_macro.md` (СберИндекс), здесь не сделан осознанно (вне скоупа #3410).
|
||||
|
||||
СТРИМИНГ (обязательно, файл большой): `json.load()` целиком держал бы ~71 МБ + объектный
|
||||
граф в памяти разом. Используем `ijson.items(stream, "features.item")` поверх
|
||||
файлового объекта из `zipfile.ZipFile.open(name)` — постоянная память вне зависимости
|
||||
от размера файла, каждая feature обрабатывается и отбрасывается по одной.
|
||||
|
||||
ПДн — НЕ СОХРАНЯЕМ (осознанное решение, зафиксировано и в 294_dtp_incidents.sql):
|
||||
`properties.vehicles[].participants[]` источника несёт пол/роль/нарушения физлиц —
|
||||
это персональные данные конкретных людей, продукту не нужны и не разрешены. Парсер
|
||||
(`_parse_feature`) НИКОГДА не читает ключи `vehicles`/`participants` — ни в raw-jsonb,
|
||||
ни отдельной колонкой. Из `properties` берём только неперсональные агрегаты и атрибуты
|
||||
происшествия (see DtpIncidentRow).
|
||||
|
||||
Идемпотентность: TRUNCATE + bulk INSERT в одной транзакции (тот же паттерн, что
|
||||
`app/tasks/osm_poi_ekb_refresh.py` — полная замена, не upsert; повторный прогон с тем
|
||||
же дампом даёт тот же результат).
|
||||
|
||||
psycopg v3: SQL через `text(...)` использует `CAST(:x AS type)`, НИКОГДА `:x::type`.
|
||||
Массивы (`weather`, `nearby`, тип `text[]`) — psycopg v3 адаптирует Python `list[str]`
|
||||
в `text[]` напрямую через `CAST(:x AS text[])` (тот же идиом, что
|
||||
`app/tasks/deactivate_stale_avito.py`).
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import io
|
||||
import logging
|
||||
import zipfile
|
||||
from collections.abc import Iterator
|
||||
from dataclasses import dataclass
|
||||
from datetime import datetime
|
||||
from pathlib import Path
|
||||
from typing import IO, Any
|
||||
|
||||
import httpx
|
||||
import ijson
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
SRC_URL = "https://dtp-stat.ru/media/opendata/sverdlovskaia-oblast.geojson.zip"
|
||||
DOWNLOAD_TIMEOUT_SEC = 180
|
||||
INSERT_CHUNK_SIZE = 2000
|
||||
|
||||
# properties.datetime — "2015-01-01 03:00:00", без явной таймзоны в источнике.
|
||||
# Храним как naive → колонка timestamptz получит его в timezone сессии БД (обычно UTC).
|
||||
# Источник не публикует TZ, поэтому точная привязка к МСК не гарантирована — для
|
||||
# радиусных агрегатов по годам (dtp_index.py) это несущественно.
|
||||
_DT_FMT = "%Y-%m-%d %H:%M:%S"
|
||||
|
||||
|
||||
@dataclass(slots=True)
|
||||
class DtpIncidentRow:
|
||||
"""Одна строка ДТП — ТОЛЬКО неперсональные атрибуты (см. докстринг модуля)."""
|
||||
|
||||
source_id: str
|
||||
dtp_at: datetime | None
|
||||
category: str | None
|
||||
severity: str | None
|
||||
dead: int | None
|
||||
injured: int | None
|
||||
address: str | None
|
||||
light: str | None
|
||||
weather: list[str] | None
|
||||
nearby: list[str] | None
|
||||
lat: float
|
||||
lon: float
|
||||
|
||||
|
||||
def _parse_datetime(raw: Any) -> datetime | None:
|
||||
if not isinstance(raw, str) or not raw.strip():
|
||||
return None
|
||||
try:
|
||||
return datetime.strptime(raw.strip(), _DT_FMT)
|
||||
except ValueError:
|
||||
logger.warning("dtp_stat_loader: не распарсен datetime %r", raw)
|
||||
return None
|
||||
|
||||
|
||||
def _parse_str_list(raw: Any) -> list[str] | None:
|
||||
if not isinstance(raw, list) or not raw:
|
||||
return None
|
||||
return [str(item) for item in raw if item is not None]
|
||||
|
||||
|
||||
def _parse_int(raw: Any) -> int | None:
|
||||
if isinstance(raw, bool):
|
||||
return None
|
||||
if isinstance(raw, int):
|
||||
return raw
|
||||
return None
|
||||
|
||||
|
||||
# Санити-рамка координат. Выгрузка dtp-stat по Свердловской области содержит битые
|
||||
# точки: на реальном дампе 2026-02-26 из 31 253 записей 74 лежат вне широт региона,
|
||||
# в том числе 10 ровно в (0.0, 0.0) и такие значения, как (1.0, 1.0) и (41.0, 47.0).
|
||||
# Пускать их в geo-таблицу нельзя: слой кормит радиусные агрегаты локации.
|
||||
# Рамка намеренно шире официальных границ области (~56.0-62.3 N, ~57.2-66.2 E),
|
||||
# чтобы не срезать легитимные приграничные точки.
|
||||
REGION_LAT_RANGE = (55.0, 63.5)
|
||||
REGION_LON_RANGE = (56.0, 67.5)
|
||||
|
||||
|
||||
def _coords_plausible(lat: float, lon: float) -> bool:
|
||||
"""Точка похожа на реальное ДТП в регионе выгрузки, а не на мусор источника."""
|
||||
if lat == 0.0 and lon == 0.0:
|
||||
return False
|
||||
if not (REGION_LAT_RANGE[0] <= lat <= REGION_LAT_RANGE[1]):
|
||||
return False
|
||||
return REGION_LON_RANGE[0] <= lon <= REGION_LON_RANGE[1]
|
||||
|
||||
|
||||
def _parse_feature(feature: dict[str, Any]) -> DtpIncidentRow | None:
|
||||
"""Чистая функция: одна GeoJSON Feature -> DtpIncidentRow, либо None (пропуск).
|
||||
|
||||
НЕ читает `properties.vehicles` / `properties.participants` — намеренно (ПДн,
|
||||
см. докстринг модуля). Пропускает фичи без валидной Point-геометрии/id, а также
|
||||
с координатами вне санити-рамки региона (см. `_coords_plausible`).
|
||||
"""
|
||||
geometry = feature.get("geometry") or {}
|
||||
if geometry.get("type") != "Point":
|
||||
return None
|
||||
coords = geometry.get("coordinates")
|
||||
if not isinstance(coords, list) or len(coords) < 2:
|
||||
return None
|
||||
try:
|
||||
lon, lat = float(coords[0]), float(coords[1])
|
||||
except (TypeError, ValueError):
|
||||
return None
|
||||
if not _coords_plausible(lat, lon):
|
||||
return None
|
||||
|
||||
props = feature.get("properties") or {}
|
||||
source_id = props.get("id")
|
||||
if source_id is None:
|
||||
return None
|
||||
|
||||
return DtpIncidentRow(
|
||||
source_id=str(source_id),
|
||||
dtp_at=_parse_datetime(props.get("datetime")),
|
||||
category=props.get("category") if isinstance(props.get("category"), str) else None,
|
||||
severity=props.get("severity") if isinstance(props.get("severity"), str) else None,
|
||||
dead=_parse_int(props.get("dead_count")),
|
||||
injured=_parse_int(props.get("injured_count")),
|
||||
address=props.get("address") if isinstance(props.get("address"), str) else None,
|
||||
light=props.get("light") if isinstance(props.get("light"), str) else None,
|
||||
weather=_parse_str_list(props.get("weather")),
|
||||
nearby=_parse_str_list(props.get("nearby")),
|
||||
lat=lat,
|
||||
lon=lon,
|
||||
)
|
||||
|
||||
|
||||
def iter_incidents(stream: IO[bytes]) -> Iterator[DtpIncidentRow]:
|
||||
"""Потоковый парс GeoJSON FeatureCollection -> DtpIncidentRow, по одной фиче за раз.
|
||||
|
||||
`stream` — бинарный файловый объект (из `zipfile.ZipFile.open()` или обычного
|
||||
`open(path, "rb")`). Использует `ijson.items(..., "features.item")` — постоянная
|
||||
память, НЕ читает файл целиком.
|
||||
"""
|
||||
for feature in ijson.items(stream, "features.item"):
|
||||
row = _parse_feature(feature)
|
||||
if row is not None:
|
||||
yield row
|
||||
|
||||
|
||||
def _open_geojson_in_zip(zf: zipfile.ZipFile) -> IO[bytes]:
|
||||
names = [n for n in zf.namelist() if n.lower().endswith(".geojson")]
|
||||
if not names:
|
||||
raise ValueError(f"zip не содержит .geojson записей: {zf.namelist()!r}")
|
||||
return zf.open(names[0])
|
||||
|
||||
|
||||
def download_dtp_zip(*, client: httpx.Client) -> bytes:
|
||||
"""Скачать ZIP dtp-stat.ru. Открытые данные, без auth/PII — стандартный verify."""
|
||||
resp = client.get(SRC_URL, timeout=DOWNLOAD_TIMEOUT_SEC)
|
||||
resp.raise_for_status()
|
||||
return resp.content
|
||||
|
||||
|
||||
_TRUNCATE_SQL = text("TRUNCATE dtp_incidents")
|
||||
|
||||
_INSERT_SQL = text(
|
||||
"""
|
||||
INSERT INTO dtp_incidents
|
||||
(source_id, dtp_at, category, severity, dead, injured, address, light,
|
||||
weather, nearby, lat, lon, geom)
|
||||
VALUES
|
||||
(CAST(:source_id AS text), CAST(:dtp_at AS timestamptz),
|
||||
CAST(:category AS text), CAST(:severity AS text),
|
||||
CAST(:dead AS integer), CAST(:injured AS integer),
|
||||
CAST(:address AS text), CAST(:light AS text),
|
||||
CAST(:weather AS text[]), CAST(:nearby AS text[]),
|
||||
CAST(:lat AS double precision), CAST(:lon AS double precision),
|
||||
ST_SetSRID(ST_MakePoint(CAST(:lon AS double precision), CAST(:lat AS double precision)),
|
||||
4326))
|
||||
ON CONFLICT (source_id) DO NOTHING
|
||||
"""
|
||||
)
|
||||
|
||||
|
||||
def _row_params(row: DtpIncidentRow) -> dict[str, Any]:
|
||||
return {
|
||||
"source_id": row.source_id,
|
||||
"dtp_at": row.dtp_at,
|
||||
"category": row.category,
|
||||
"severity": row.severity,
|
||||
"dead": row.dead,
|
||||
"injured": row.injured,
|
||||
"address": row.address,
|
||||
"light": row.light,
|
||||
"weather": row.weather,
|
||||
"nearby": row.nearby,
|
||||
"lat": row.lat,
|
||||
"lon": row.lon,
|
||||
}
|
||||
|
||||
|
||||
def load_dtp_incidents(
|
||||
db: Session,
|
||||
*,
|
||||
src_path: str | Path | None = None,
|
||||
client: httpx.Client | None = None,
|
||||
chunk_size: int = INSERT_CHUNK_SIZE,
|
||||
dry_run: bool = False,
|
||||
) -> dict[str, int]:
|
||||
"""TRUNCATE dtp_incidents; потоковый парс + bulk INSERT из ZIP dtp-stat.ru.
|
||||
|
||||
`src_path` — локальный ZIP (тесты/ручной прогон); если None — качаем `SRC_URL`
|
||||
через `client` (обязателен параметром, чтобы был чем подменить в тестах;
|
||||
создаётся временный `httpx.Client()` если не передан).
|
||||
|
||||
`dry_run=True` — парсит и считает строки, НЕ трогает БД (ни TRUNCATE, ни INSERT).
|
||||
|
||||
Не коммитит — коммитит caller (app/tasks/dtp_stat_refresh.py).
|
||||
"""
|
||||
owns_client = client is None
|
||||
client = client or httpx.Client()
|
||||
try:
|
||||
if src_path is not None:
|
||||
with zipfile.ZipFile(src_path) as zf, _open_geojson_in_zip(zf) as stream:
|
||||
rows = list(iter_incidents(stream))
|
||||
else:
|
||||
data = download_dtp_zip(client=client)
|
||||
with zipfile.ZipFile(io.BytesIO(data)) as zf, _open_geojson_in_zip(zf) as stream:
|
||||
rows = list(iter_incidents(stream))
|
||||
finally:
|
||||
if owns_client:
|
||||
client.close()
|
||||
|
||||
parsed = len(rows)
|
||||
inserted = 0
|
||||
|
||||
if not dry_run:
|
||||
db.execute(_TRUNCATE_SQL)
|
||||
for i in range(0, len(rows), chunk_size):
|
||||
chunk = rows[i : i + chunk_size]
|
||||
result = db.execute(_INSERT_SQL, [_row_params(r) for r in chunk])
|
||||
inserted += result.rowcount or 0
|
||||
|
||||
result_counts = {"parsed": parsed, "inserted": inserted}
|
||||
logger.info("dtp_stat_loader load DONE (dry_run=%s): %s", dry_run, result_counts)
|
||||
return result_counts
|
||||
File diff suppressed because it is too large
Load diff
|
|
@ -290,9 +290,8 @@ matplotlib.rcParams["font.family"] = "Manrope"
|
|||
|
||||
# ── Source pseudo-logos (текстовые pill-badges с брендовыми цветами источников) ─
|
||||
# Неизвестный/снятый source (напр. историческое inactive 'n1', #2204) рендерится
|
||||
# через безопасный fallback в _source_pill: серый фон + «Другой источник» (#3341 —
|
||||
# сырой id тоже мог бы утечь именем площадки, source.title() больше не используется)
|
||||
# — код на исторических строках НЕ падает. Цвета источников — реальные бренд-цвета
|
||||
# через безопасный fallback в _source_pill: серый фон + source.title() — код на
|
||||
# исторических строках НЕ падает. Цвета источников — реальные бренд-цвета
|
||||
# сторонних площадок (Avito/Циан/...), НЕ часть внутренней design-системы —
|
||||
# намеренно не конвертируются в наши OKLCH-токены.
|
||||
_SOURCE_LOGO_COLORS: dict[str, tuple[str, str]] = {
|
||||
|
|
@ -304,59 +303,15 @@ _SOURCE_LOGO_COLORS: dict[str, tuple[str, str]] = {
|
|||
"etazhi": ("#e30613", "#fff"), # Этажи красный
|
||||
}
|
||||
|
||||
# Публичные лейблы — канон `frontend/src/lib/source-registry.ts::SOURCES` (#3341,
|
||||
# класс #3264): клиентский PDF не должен называть площадки-источники так же, как
|
||||
# веб-отчёт и лендинг перестали делать это с 31.08. Ключи — ТОЛЬКО базовые id
|
||||
# (алиасы валюации/написания резолвятся через _SOURCE_CANONICAL/_canonical_source
|
||||
# ДО обращения сюда — иначе два источника правды для одной площадки).
|
||||
_SOURCE_DISPLAY_NAMES: dict[str, str] = {
|
||||
"avito": "Источник 1",
|
||||
"cian": "Источник 2",
|
||||
"yandex": "Источник 3",
|
||||
"domklik": "Источник 4",
|
||||
"etazhi": "Источник 5",
|
||||
"avito": "Avito",
|
||||
"cian": "Циан",
|
||||
"domklik": "Домклик · Сбер",
|
||||
"yandex": "Я.Недвижимость",
|
||||
"rosreestr": "Росреестр",
|
||||
"etazhi": "Этажи",
|
||||
}
|
||||
|
||||
# Алиас → базовый id. Зеркалит группировку publicLabel/dot в
|
||||
# frontend/src/lib/source-registry.ts (одна площадка = один номер/цвет там же);
|
||||
# правишь один реестр — проверь другой (#3341 review: без канонизации
|
||||
# estimate.sources_used = [avito, avito_imv, cian, cian_valuation, ...]
|
||||
# (estimator.py `_canonical_sources`, listing+valuation union) рендерил
|
||||
# ДВЕ одинаковые пилюли «Источник 1, Источник 1» и серую точку у алиаса —
|
||||
# ни avito_imv/cian_valuation/yandex_valuation/domclick/etagi не было ключом
|
||||
# ни в _SOURCE_LOGO_COLORS, ни (после дедупа лейблов) в _SOURCE_DISPLAY_NAMES).
|
||||
_SOURCE_CANONICAL: dict[str, str] = {
|
||||
"avito_imv": "avito",
|
||||
"cian_valuation": "cian",
|
||||
"yandex_valuation": "yandex",
|
||||
"domclick": "domklik",
|
||||
"etagi": "etazhi",
|
||||
}
|
||||
|
||||
|
||||
def _canonical_source(source: str) -> str:
|
||||
"""Алиас (valuation-вариант / альтернативное написание) → базовый id площадки."""
|
||||
return _SOURCE_CANONICAL.get(source, source)
|
||||
|
||||
|
||||
def _public_sources(ids: list[str]) -> list[str]:
|
||||
"""Канонизирует id и дедуплицирует с сохранением порядка первого появления.
|
||||
|
||||
`estimate.sources_used` — отсортированное объединение listing-id и их
|
||||
valuation-алиасов (estimator.py `_canonical_sources`), напр.
|
||||
`[avito, avito_imv, cian, cian_valuation, domklik, yandex, yandex_valuation]`.
|
||||
Без канонизации+дедупа ДО среза `[:5]` рендерились дубли лейблов и «Источник 3»
|
||||
(yandex) мог быть вытеснен алиасом другой площадки (#3341 review)."""
|
||||
seen: set[str] = set()
|
||||
result: list[str] = []
|
||||
for raw in ids:
|
||||
canon = _canonical_source(raw)
|
||||
if canon not in seen:
|
||||
seen.add(canon)
|
||||
result.append(canon)
|
||||
return result
|
||||
|
||||
|
||||
def _source_logo_pill(source: str) -> str:
|
||||
"""Source pill — мягкий HUD-чип (.source-pill, ObjectSummary.tsx dot-идиома):
|
||||
|
|
@ -364,12 +319,10 @@ def _source_logo_pill(source: str) -> str:
|
|||
непрозрачный цветной чип; теперь единая с остальным документом мягкая палитра
|
||||
(Mera v2), бренд-цвет остаётся только акцентной точкой. Название — из
|
||||
_SOURCE_DISPLAY_NAMES (короткий bounded набор, max ~18 символов) —
|
||||
overflow-wrap на всякий случай, если source незнаком (см. fallback ниже).
|
||||
Канонизирует алиасы (avito_imv → avito и т.п.) ДО lookup, чтобы цвет/лейбл
|
||||
совпадали с базовой площадкой (#3341 review)."""
|
||||
canon = _canonical_source(source)
|
||||
dot = _SOURCE_LOGO_COLORS.get(canon, (_MUTED, "#fff"))[0]
|
||||
name = _SOURCE_DISPLAY_NAMES.get(canon, "Другой источник")
|
||||
overflow-wrap на всякий случай, если source незнаком и попадёт .title()
|
||||
произвольной длины (см. fallback ниже)."""
|
||||
dot = _SOURCE_LOGO_COLORS.get(source, (_MUTED, "#fff"))[0]
|
||||
name = _SOURCE_DISPLAY_NAMES.get(source, source.title())
|
||||
return (
|
||||
"<span class='source-pill' style='display:inline-flex;align-items:center;gap:4pt;"
|
||||
f"margin:0 4pt 4pt 0;background:{_CARD_BG};color:{_BODY};vertical-align:middle;"
|
||||
|
|
@ -380,13 +333,11 @@ def _source_logo_pill(source: str) -> str:
|
|||
|
||||
|
||||
def _source_badge_inline(source: str | None) -> str:
|
||||
"""Маленький source badge для table cells (без фона). Канонизирует алиасы
|
||||
ДО lookup — см. _source_logo_pill."""
|
||||
"""Маленький source badge для table cells (без фона)."""
|
||||
if not source:
|
||||
return f"<span style='color:{_MUTED};'>—</span>"
|
||||
canon = _canonical_source(source)
|
||||
bg, fg = _SOURCE_LOGO_COLORS.get(canon, (_MUTED, "#fff"))
|
||||
name = _SOURCE_DISPLAY_NAMES.get(canon, "Другой источник")
|
||||
bg, fg = _SOURCE_LOGO_COLORS.get(source, (_MUTED, "#fff"))
|
||||
name = _SOURCE_DISPLAY_NAMES.get(source, source.title())
|
||||
return (
|
||||
f"<span style='display:inline-block;padding:1pt 4pt;background:{bg};color:{fg};"
|
||||
f"font-size:{_FS_XS};font-weight:700;border-radius:2pt;'>{_html.escape(name)}</span>"
|
||||
|
|
@ -1216,12 +1167,12 @@ def _build_cover(estimate: AggregatedEstimate, input_snapshot: dict, brand) -> s
|
|||
advice_discount_text = (
|
||||
f"Фактические сделки проходят ниже цен в объявлениях — по этому объекту "
|
||||
f"на {discount_pct}% (см. «Ожидаемая цена продажи»); подтверждают Росреестр, "
|
||||
f"сделки площадок и продажи агентств недвижимости"
|
||||
f"ДомКлик и продажи агентств недвижимости"
|
||||
)
|
||||
else:
|
||||
advice_discount_text = (
|
||||
"Фактические сделки проходят ниже цен в объявлениях, что подтверждают "
|
||||
"Росреестр, сделки площадок и продажи агентств недвижимости"
|
||||
"Росреестр, ДомКлик и продажи агентств недвижимости"
|
||||
)
|
||||
|
||||
disclaimer_html = ""
|
||||
|
|
@ -1406,11 +1357,7 @@ def _build_listings_page(estimate: AggregatedEstimate, input_snapshot: dict, bra
|
|||
# count «с учётом ремонта» не существует, второе число было идентично n_total.
|
||||
|
||||
# Source logos (pseudo) — берём из estimate.sources_used (не захардкоженный список).
|
||||
# #3341 review: sources_used — union listing+valuation алиасов (estimator.py
|
||||
# `_canonical_sources`), напр. [avito, avito_imv, cian, cian_valuation, ...] —
|
||||
# _public_sources канонизирует+дедуплицирует ДО среза [:5], иначе дубли пилюль
|
||||
# и «Источник 3» мог быть вытеснен алиасом другой площадки.
|
||||
sources_to_show = _public_sources(estimate.sources_used or [])
|
||||
sources_to_show = estimate.sources_used or []
|
||||
sources_html = "".join(_source_logo_pill(s) for s in sources_to_show[:5])
|
||||
|
||||
# Params правой колонки — параметры поиска (НЕ конкретной квартиры)
|
||||
|
|
@ -1651,13 +1598,10 @@ def _build_deals_page(estimate: AggregatedEstimate, input_snapshot: dict, brand)
|
|||
|
||||
# Источники для сделок — берём из estimate.sources_used (не захардкоженный список).
|
||||
# Фильтруем по известным источникам сделок; fallback к пустому (не fabricate).
|
||||
# #3341 review: канонизация+дедуп (_public_sources) ДО фильтра/среза [:5] — те же
|
||||
# причины, что и на странице листингов (см. коммент там).
|
||||
_deal_source_keys = {"etazhi", "domklik", "rosreestr"}
|
||||
canonical_sources = _public_sources(estimate.sources_used or [])
|
||||
deal_sources = [s for s in canonical_sources if s in _deal_source_keys]
|
||||
deal_sources = [s for s in (estimate.sources_used or []) if s in _deal_source_keys]
|
||||
if not deal_sources:
|
||||
deal_sources = canonical_sources
|
||||
deal_sources = [s for s in (estimate.sources_used or [])]
|
||||
sources_html = "".join(_source_logo_pill(s) for s in deal_sources[:5])
|
||||
|
||||
area = float(input_snapshot.get("area_m2", 0) or 0)
|
||||
|
|
@ -1903,7 +1847,7 @@ def _build_offer_page(estimate: AggregatedEstimate, input_snapshot: dict, brand)
|
|||
<td style="padding:6pt 4pt;">
|
||||
<div class="bold">Расходы на рекламу</div>
|
||||
<div style="font-size:{_FS_XS};color:{_MUTED};">Ежемесячное базовое продвижение объекта
|
||||
на основных площадках объявлений</div>
|
||||
на Циан, Авито, Я.Недвижимости</div>
|
||||
</td>
|
||||
<td style="padding:6pt 4pt;text-align:right;color:{_SUCCESS};font-weight:700;">
|
||||
бесплатно</td>
|
||||
|
|
|
|||
|
|
@ -1,58 +0,0 @@
|
|||
"""ФНС opendata lookup по ИНН — тонкое чтение `fns_legal_entity_facts`.
|
||||
|
||||
CONTEXT: см. `fns_opendata_loader.py`. Этот модуль — единственная точка чтения
|
||||
загруженных фактов. ПОТРЕБИТЕЛЯ У НЕГО ПОКА НЕТ: ничто в продукте (скоринг
|
||||
застройщика/УК, estimator и т.п.) сюда не ходит — подключение решается отдельной
|
||||
задачей вне этого PR.
|
||||
|
||||
psycopg v3: SQL через `text(...)` использует `CAST(:x AS type)`, НИКОГДА `:x::type`.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
from collections import defaultdict
|
||||
from datetime import date
|
||||
from typing import TypedDict
|
||||
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
_LOOKUP_SQL = text(
|
||||
"""
|
||||
SELECT dataset, series, period, value, org_name
|
||||
FROM fns_legal_entity_facts
|
||||
WHERE inn = CAST(:inn AS text)
|
||||
ORDER BY dataset, series, period
|
||||
"""
|
||||
)
|
||||
|
||||
|
||||
class FnsFact(TypedDict):
|
||||
series: str
|
||||
period: date
|
||||
value: float
|
||||
org_name: str | None
|
||||
|
||||
|
||||
def get_facts_by_inn(db: Session, inn: str) -> dict[str, list[FnsFact]]:
|
||||
"""Факты по ИНН, сгруппированные по dataset (`revexp`/`sshr2019`/`debtam`/`snr`).
|
||||
|
||||
Пустой/пробельный ИНН и отсутствие данных → `{}` (не исключение — вызывающий код
|
||||
не обязан оборачивать lookup в try/except ради нормального «нет данных»).
|
||||
"""
|
||||
normalized = (inn or "").strip()
|
||||
if not normalized:
|
||||
return {}
|
||||
|
||||
rows = db.execute(_LOOKUP_SQL, {"inn": normalized}).mappings().all()
|
||||
out: dict[str, list[FnsFact]] = defaultdict(list)
|
||||
for row in rows:
|
||||
out[row["dataset"]].append(
|
||||
{
|
||||
"series": row["series"],
|
||||
"period": row["period"],
|
||||
"value": row["value"],
|
||||
"org_name": row["org_name"],
|
||||
}
|
||||
)
|
||||
return dict(out)
|
||||
|
|
@ -1,497 +0,0 @@
|
|||
"""ФНС opendata loader: доходы/расходы, ССЧ, недоимка, спецрежимы юрлиц → lookup по ИНН.
|
||||
|
||||
CONTEXT: открытых данных ЕГРН по правообладателям-физлицам не существует (218-ФЗ
|
||||
ст. 62) — это жёсткий блокер. По ЮРЛИЦАМ данные открыты, лицензия ФНС
|
||||
(nalog.gov.ru/opendata) разрешает переработку и перераспространение — легальный обход
|
||||
для того среза, где он в принципе доступен. Наборы (маска slug'а: 7707329152-<slug>):
|
||||
revexp — доходы и расходы;
|
||||
sshr2019 — среднесписочная численность;
|
||||
debtam — недоимка и задолженность;
|
||||
snr — спецрежимы.
|
||||
ЕГРЮЛ-данных здесь НЕТ: ни адреса, ни ОКВЭД, ни учредителей — только ИНН + наименование
|
||||
+ показатели набора.
|
||||
|
||||
ПОТРЕБИТЕЛЯ У ЭТОГО СЕРВИСА ПОКА НЕТ. Этот модуль (+ fns_lookup.py) — только
|
||||
загрузка и lookup по ИНН. Подключение к продукту (например, скоринг застройщика/УК
|
||||
в оценке) сюда сознательно не входит и не реализовано — это решается отдельной
|
||||
задачей вне текущего PR. `estimator.py` не тронут.
|
||||
|
||||
ИСТОЧНИК: https://www.nalog.gov.ru/opendata/7707329152-<slug>/ — HTML-каталог набора.
|
||||
Прямая ссылка на .zip вида
|
||||
https://file.nalog.ru/opendata/7707329152-revexp/data-20260825-structure-20180110.zip
|
||||
резолвится ДИНАМИЧЕСКИ парсом href со страницы каталога (`resolve_dataset_file_url`):
|
||||
дата в имени файла меняется с каждой публикацией набора — хардкодить URL нельзя,
|
||||
протухнет на следующей публикации. Внутри .zip — множество XML-файлов.
|
||||
|
||||
ПАРСИНГ XML — generic-харвестер, а не хардкод конкретных тегов набора. Точная схема
|
||||
атрибутов XSD structure-20180110 варьируется по набору и НЕ была вживую сверена в
|
||||
этом окружении (нет сетевого доступа к file.nalog.ru отсюда). Вместо этого: любой
|
||||
XML-элемент, несущий ИНН-подобный атрибут (ИННЮЛ/ИНН — данные ФНС opendata, как и
|
||||
ГАР/ФИАС, лежат в атрибутах элементов, не в тексте, см. gar_flats_loader.py), даёт
|
||||
identity строки; ЛЮБОЙ его собственный числовой атрибут (кроме ИНН/КПП/ОКПО/ОКТМО/
|
||||
ОКВЭД/ОГРН и атрибутов-имени) становится отдельным фактом (series=имя атрибута,
|
||||
value=число). Это устойчиво к точным названиям показателей набора ценой чуть более
|
||||
широкого набора series, чем «официальный» словарь показателей — ПЕРЕД первым боевым
|
||||
прогоном на реальном .zip стоит свериться с фактическим XML и, если харвестер тянет
|
||||
лишнее (например служебные коды), сузить `_ID_ATTRS_EXCLUDE`.
|
||||
|
||||
ПАМЯТЬ: .zip целиком лежит в памяти как байты (httpx возвращает `.content` — иначе
|
||||
не проверить целостность архива до распаковки), но НИ ОДИН XML-член НЕ
|
||||
распаковывается в память/на диск целиком: каждый открывается потоково через
|
||||
`zf.open(name)` и парсится `lxml.etree.iterparse` с очисткой обработанных элементов
|
||||
(тот же приём, что в gar_flats_loader.py, — там на многогигабайтных standalone XML,
|
||||
здесь на множестве XML внутри одного архива, открываемых по одному).
|
||||
|
||||
TLS: nalog.gov.ru/file.nalog.ru отдают сертификат НУЦ Минцифры → httpx с default
|
||||
trust store не верифицирует → verify=False. Открытые данные, без auth/PII.
|
||||
Прецеденты: sber_index.py, domrf_kapremont_loader.py.
|
||||
|
||||
psycopg v3: SQL через `text(...)` использует `CAST(:x AS type)`, НИКОГДА `:x::type`.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import io
|
||||
import logging
|
||||
import re
|
||||
import zipfile
|
||||
from collections.abc import Iterator
|
||||
from dataclasses import dataclass
|
||||
from datetime import date
|
||||
from urllib.parse import urljoin
|
||||
|
||||
import httpx
|
||||
from lxml import etree
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
CATALOG_URL_TEMPLATE = "https://www.nalog.gov.ru/opendata/7707329152-{slug}/"
|
||||
DATASET_SLUGS: tuple[str, ...] = ("revexp", "sshr2019", "debtam", "snr")
|
||||
|
||||
DOWNLOAD_TIMEOUT_SEC = 300
|
||||
UPSERT_CHUNK_SIZE = 500
|
||||
|
||||
# Атрибуты-идентификаторы/классификаторы — не показатели, исключаем из харвеста.
|
||||
_INN_ATTRS = ("ИННЮЛ", "ИНН")
|
||||
_NAME_ATTRS = ("НаимОрг", "НаимОрганизации", "НаимОрганизацииПолн", "НаимЮЛПолн")
|
||||
_PERIOD_ATTRS = ("ДатаСост",)
|
||||
# Служебные атрибуты, которые парсятся как числа, но фактом не являются:
|
||||
# идентификаторы, коды и даты документа.
|
||||
_ID_ATTRS_EXCLUDE = frozenset(
|
||||
{
|
||||
"ИННЮЛ",
|
||||
"ИНН",
|
||||
"КПП",
|
||||
"ОКПО",
|
||||
"ОКТМО",
|
||||
"ОКВЭД",
|
||||
"ОГРН",
|
||||
"ИдДок",
|
||||
"ИдФайл",
|
||||
"ДатаДок",
|
||||
"ДатаСост",
|
||||
"ВерсФорм",
|
||||
"ВерсПрог",
|
||||
"КолДок",
|
||||
"ТипИнф",
|
||||
*_NAME_ATTRS,
|
||||
}
|
||||
)
|
||||
|
||||
_RECORD_TAGS = frozenset({"Документ", "Док", "СвЮЛ", "Сведения"})
|
||||
"""Теги, на которых собирается запись. Реальные выгрузки ФНС используют `Документ`;
|
||||
остальные — запас под соседние наборы. Ограничение обязательно: иначе `Файл`
|
||||
переоткрывал бы уже собранные документы и удваивал записи."""
|
||||
|
||||
_ZIP_HREF_RE = re.compile(r'href="([^"]+\.zip)"', re.IGNORECASE)
|
||||
_PUBLISH_DATE_RE = re.compile(r"data-(\d{8})-")
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Резолв ссылки со страницы каталога (URL меняется на каждой публикации)
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
def resolve_dataset_file_url(html: str, *, base_url: str) -> tuple[str, date | None]:
|
||||
"""Ссылка на .zip актуальной версии набора, снятая со страницы каталога.
|
||||
|
||||
Ищет href, оканчивающийся на .zip и несущий токен даты `data-YYYYMMDD-` — эта
|
||||
дата меняется с каждой публикацией (см. docstring модуля), поэтому URL нельзя
|
||||
хардкодить. Если на странице несколько подходящих ссылок (несколько версий
|
||||
структуры/публикаций), берёт с МАКСИМАЛЬНОЙ датой — детерминированно, без сети.
|
||||
|
||||
Возвращает (абсолютный_url, published_on). published_on — None, если ссылка
|
||||
найдена, но токен даты не распарсился (защитный случай, не должен происходить
|
||||
для ссылок, прошедших регэксп даты).
|
||||
|
||||
Raises ValueError, если на странице нет ни одной ссылки вида *data-YYYYMMDD-*.zip.
|
||||
"""
|
||||
candidates: list[tuple[str, date]] = []
|
||||
for m in _ZIP_HREF_RE.finditer(html):
|
||||
href = m.group(1)
|
||||
date_m = _PUBLISH_DATE_RE.search(href)
|
||||
if not date_m:
|
||||
continue
|
||||
token = date_m.group(1)
|
||||
try:
|
||||
published = date(int(token[:4]), int(token[4:6]), int(token[6:8]))
|
||||
except ValueError:
|
||||
continue
|
||||
candidates.append((href, published))
|
||||
if not candidates:
|
||||
raise ValueError(f"каталог {base_url}: не найдено ссылок вида href=*data-YYYYMMDD-*.zip")
|
||||
href, published = max(candidates, key=lambda c: c[1])
|
||||
return urljoin(base_url, href), published
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# In-memory модель факта
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
@dataclass(slots=True)
|
||||
class FnsRecord:
|
||||
inn: str
|
||||
dataset: str
|
||||
series: str
|
||||
period: date
|
||||
value: float
|
||||
org_name: str | None
|
||||
|
||||
def to_params(self) -> dict[str, object]:
|
||||
return {
|
||||
"inn": self.inn,
|
||||
"dataset": self.dataset,
|
||||
"series": self.series,
|
||||
"period": self.period,
|
||||
"value": self.value,
|
||||
"org_name": self.org_name,
|
||||
}
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Стриминговый парсер XML внутри ZIP (lxml iterparse + очистка, без extractall)
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
def _find_attr(elem: etree._Element, candidates: tuple[str, ...]) -> str | None:
|
||||
for attr in candidates:
|
||||
raw = elem.get(attr)
|
||||
if raw:
|
||||
stripped = raw.strip()
|
||||
if stripped:
|
||||
return stripped
|
||||
return None
|
||||
|
||||
|
||||
def _parse_numeric(raw: str) -> float | None:
|
||||
stripped = raw.strip()
|
||||
if not stripped:
|
||||
return None
|
||||
try:
|
||||
return float(stripped.replace(",", "."))
|
||||
except ValueError:
|
||||
return None
|
||||
|
||||
|
||||
def _find_attr_deep(elem: etree._Element, candidates: tuple[str, ...]) -> str | None:
|
||||
"""Найти атрибут на самом элементе ИЛИ на любом его потомке.
|
||||
|
||||
В реальных выгрузках ФНС ИНН и показатели лежат на РАЗНЫХ соседних элементах
|
||||
внутри `<Документ>` — см. докстринг `harvest_element`.
|
||||
"""
|
||||
found = _find_attr(elem, candidates)
|
||||
if found is not None:
|
||||
return found
|
||||
for child in elem.iterdescendants():
|
||||
found = _find_attr(child, candidates)
|
||||
if found is not None:
|
||||
return found
|
||||
return None
|
||||
|
||||
|
||||
def _period_from_element(elem: etree._Element, fallback: date) -> date:
|
||||
"""Отчётная дата документа из `ДатаСост` (ДД.ММ.ГГГГ), иначе — переданная."""
|
||||
raw = _find_attr_deep(elem, _PERIOD_ATTRS)
|
||||
if raw is None:
|
||||
return fallback
|
||||
try:
|
||||
day, month, year = (int(part) for part in raw.split("."))
|
||||
return date(year, month, day)
|
||||
except (ValueError, TypeError):
|
||||
return fallback
|
||||
|
||||
|
||||
def _numeric_attrs(node: etree._Element, seen: set[str]) -> list[tuple[str, float]]:
|
||||
"""Числовые не-служебные атрибуты узла, без повторов по имени серии."""
|
||||
out: list[tuple[str, float]] = []
|
||||
for key, raw in node.attrib.items():
|
||||
if key in _ID_ATTRS_EXCLUDE or key in seen:
|
||||
continue
|
||||
value = _parse_numeric(raw)
|
||||
if value is None:
|
||||
continue
|
||||
seen.add(key)
|
||||
out.append((key, value))
|
||||
return out
|
||||
|
||||
|
||||
def harvest_element(elem: etree._Element, *, dataset: str, period: date) -> list[FnsRecord]:
|
||||
"""Один XML-элемент → 0..N FnsRecord (один на каждый числовой не-id атрибут).
|
||||
|
||||
Реальная форма выгрузки (проверено на data-20260825 набора revexp, 2118 XML
|
||||
в архиве, 40 002 факта на первых 20 001 организаций)::
|
||||
|
||||
<Документ ИдДок="..." ДатаДок="25.08.2026" ДатаСост="31.12.2025">
|
||||
<СведНП НаимОрг="ООО ..." ИННЮЛ="4205406898"/>
|
||||
<СведДохРасх СумДоход="341864000.00" СумРасход="282224000.00"/>
|
||||
</Документ>
|
||||
|
||||
То есть ИНН живёт на `СведНП`, а показатели — на СОСЕДНЕМ элементе. Поэтому
|
||||
носители ИНН ищутся по всему поддереву, а значения без собственного ИНН
|
||||
(`СведДохРасх` и подобные) привязываются к организации ТОЛЬКО когда носитель в
|
||||
поддереве один — иначе непонятно, чьи это цифры, и мы их не выдумываем.
|
||||
|
||||
Отчётный период берётся из `ДатаСост` документа, если он есть; переданный
|
||||
`period` — запасное значение.
|
||||
|
||||
Чистая функция (без БД/сети). Поддерево без ИНН даёт пустой список.
|
||||
"""
|
||||
nodes = [elem, *elem.iterdescendants()]
|
||||
holders = [n for n in nodes if _find_attr(n, _INN_ATTRS) is not None]
|
||||
if not holders:
|
||||
return []
|
||||
doc_period = _period_from_element(elem, period)
|
||||
shared = [n for n in nodes if n not in holders] if len(holders) == 1 else []
|
||||
|
||||
out: list[FnsRecord] = []
|
||||
for holder in holders:
|
||||
inn = _find_attr(holder, _INN_ATTRS)
|
||||
if inn is None: # pragma: no cover - отфильтровано выше
|
||||
continue
|
||||
org_name = _find_attr(holder, _NAME_ATTRS) or (
|
||||
_find_attr_deep(elem, _NAME_ATTRS) if len(holders) == 1 else None
|
||||
)
|
||||
seen: set[str] = set()
|
||||
for node in (holder, *shared):
|
||||
for series, value in _numeric_attrs(node, seen):
|
||||
out.append(
|
||||
FnsRecord(
|
||||
inn=inn,
|
||||
dataset=dataset,
|
||||
series=series,
|
||||
period=doc_period,
|
||||
value=value,
|
||||
org_name=org_name,
|
||||
)
|
||||
)
|
||||
return out
|
||||
|
||||
|
||||
def _iter_xml_records(fh: object, *, dataset: str, period: date) -> Iterator[FnsRecord]:
|
||||
"""Стримит FnsRecord из одного XML-потока `fh` (открытый член ZIP или файл).
|
||||
|
||||
`events=("end",)` + `elem.clear()` + срез предыдущих сиблингов — bounded memory
|
||||
на произвольно большом XML (приём из gar_flats_loader._stream_rows).
|
||||
"""
|
||||
context = etree.iterparse(
|
||||
fh, events=("end",), recover=True, huge_tree=True, resolve_entities=False
|
||||
)
|
||||
for _event, elem in context:
|
||||
if not isinstance(elem.tag, str) or elem.tag not in _RECORD_TAGS:
|
||||
continue
|
||||
yield from harvest_element(elem, dataset=dataset, period=period)
|
||||
# Чистим ТОЛЬКО на границе записи. `end`-события детей приходят раньше
|
||||
# родительского, поэтому безусловный `elem.clear()` на каждом элементе
|
||||
# вычищал `<СведНП>`/`<СведДохРасх>` ДО закрытия `<Документ>` — и парсер
|
||||
# молча извлекал ноль записей из реального дампа.
|
||||
elem.clear()
|
||||
parent = elem.getparent()
|
||||
if parent is not None:
|
||||
while elem.getprevious() is not None:
|
||||
del parent[0]
|
||||
del context
|
||||
|
||||
|
||||
def iter_dataset_records(zip_bytes: bytes, *, dataset: str, period: date) -> Iterator[FnsRecord]:
|
||||
"""Обходит все *.xml внутри `zip_bytes`, элемент за элементом, без extractall.
|
||||
|
||||
Каждый XML-член открывается через `zf.open(name)` как поток (НЕ `zf.read()`
|
||||
целиком, НЕ `zf.extractall()`) — см. docstring модуля § ПАМЯТЬ.
|
||||
Raises ValueError, если в архиве нет ни одного .xml.
|
||||
"""
|
||||
with zipfile.ZipFile(io.BytesIO(zip_bytes)) as zf:
|
||||
names = [n for n in zf.namelist() if n.lower().endswith(".xml")]
|
||||
if not names:
|
||||
raise ValueError(f"zip набора {dataset} не содержит .xml записей: {zf.namelist()!r}")
|
||||
for name in names:
|
||||
with zf.open(name) as fh:
|
||||
yield from _iter_xml_records(fh, dataset=dataset, period=period)
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# UPSERT фактов + версия набора
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
_UPSERT_FACTS_SQL = text(
|
||||
"""
|
||||
INSERT INTO fns_legal_entity_facts (inn, dataset, series, period, value, org_name, loaded_at)
|
||||
VALUES (
|
||||
CAST(:inn AS text), CAST(:dataset AS text), CAST(:series AS text),
|
||||
CAST(:period AS date), CAST(:value AS numeric), CAST(:org_name AS text), now()
|
||||
)
|
||||
ON CONFLICT (inn, dataset, series, period) DO UPDATE SET
|
||||
value = EXCLUDED.value,
|
||||
org_name = EXCLUDED.org_name,
|
||||
loaded_at = now()
|
||||
WHERE fns_legal_entity_facts.value IS DISTINCT FROM EXCLUDED.value
|
||||
"""
|
||||
)
|
||||
|
||||
_SELECT_VERSION_SQL = text(
|
||||
"SELECT file_url, published_on FROM fns_dataset_versions WHERE dataset = CAST(:dataset AS text)"
|
||||
)
|
||||
|
||||
_UPSERT_VERSION_SQL = text(
|
||||
"""
|
||||
INSERT INTO fns_dataset_versions (dataset, file_url, published_on, loaded_at)
|
||||
VALUES (CAST(:dataset AS text), CAST(:file_url AS text), CAST(:published_on AS date), now())
|
||||
ON CONFLICT (dataset) DO UPDATE SET
|
||||
file_url = EXCLUDED.file_url,
|
||||
published_on = EXCLUDED.published_on,
|
||||
loaded_at = now()
|
||||
"""
|
||||
)
|
||||
|
||||
|
||||
def _chunks(items: list[FnsRecord], size: int) -> Iterator[list[FnsRecord]]:
|
||||
for i in range(0, len(items), size):
|
||||
yield items[i : i + size]
|
||||
|
||||
|
||||
def upsert_records(
|
||||
db: Session, records: list[FnsRecord], *, chunk_size: int = UPSERT_CHUNK_SIZE
|
||||
) -> int:
|
||||
"""Батчевый UPSERT в fns_legal_entity_facts. НЕ коммитит (коммитит caller).
|
||||
|
||||
SAVEPOINT на каждый батч — сбойный батч откатывается изолированно, остальные
|
||||
доезжают (тот же приём, что и gar_flats_loader.upsert_gar_houses).
|
||||
"""
|
||||
upserted = 0
|
||||
failed_batches = 0
|
||||
for batch in _chunks(records, chunk_size):
|
||||
params = [r.to_params() for r in batch]
|
||||
try:
|
||||
with db.begin_nested():
|
||||
db.execute(_UPSERT_FACTS_SQL, params)
|
||||
upserted += len(batch)
|
||||
except Exception:
|
||||
failed_batches += 1
|
||||
logger.warning(
|
||||
"fns_opendata upsert: батч из %d строк сбойнул (пропущен)",
|
||||
len(batch),
|
||||
exc_info=True,
|
||||
)
|
||||
if failed_batches:
|
||||
logger.warning("fns_opendata upsert: сбойных батчей=%d", failed_batches)
|
||||
return upserted
|
||||
|
||||
|
||||
def get_loaded_version(db: Session, dataset: str) -> tuple[str, date | None] | None:
|
||||
"""Уже загруженная версия набора (file_url, published_on) или None."""
|
||||
row = db.execute(_SELECT_VERSION_SQL, {"dataset": dataset}).first()
|
||||
if row is None:
|
||||
return None
|
||||
return row[0], row[1]
|
||||
|
||||
|
||||
def record_dataset_version(
|
||||
db: Session, dataset: str, file_url: str, published_on: date | None
|
||||
) -> None:
|
||||
"""UPSERT версии набора. НЕ коммитит (коммитит caller)."""
|
||||
db.execute(
|
||||
_UPSERT_VERSION_SQL,
|
||||
{"dataset": dataset, "file_url": file_url, "published_on": published_on},
|
||||
)
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Orchestration
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
def _download(url: str, *, client: httpx.Client) -> bytes:
|
||||
resp = client.get(url, timeout=DOWNLOAD_TIMEOUT_SEC)
|
||||
resp.raise_for_status()
|
||||
return resp.content
|
||||
|
||||
|
||||
def load_dataset(
|
||||
db: Session,
|
||||
slug: str,
|
||||
*,
|
||||
client: httpx.Client | None = None,
|
||||
dry_run: bool = False,
|
||||
force: bool = False,
|
||||
chunk_size: int = UPSERT_CHUNK_SIZE,
|
||||
) -> dict[str, int | str]:
|
||||
"""Резолвит актуальную ссылку набора `slug` → скачивает .zip → парсит → UPSERT.
|
||||
|
||||
Пропускает скачивание, если `fns_dataset_versions` уже содержит ТУ ЖЕ ссылку
|
||||
(force=True форсирует перекачку). dry_run — резолв ссылки происходит (проверяем
|
||||
каталог доступен), скачивание/парс/запись — нет. `client` — для тестов
|
||||
(httpx.MockTransport); если не передан, открывается и закрывается свой.
|
||||
НЕ коммитит — коммитит caller.
|
||||
"""
|
||||
if slug not in DATASET_SLUGS:
|
||||
raise ValueError(f"неизвестный slug набора: {slug!r}, ожидались {DATASET_SLUGS}")
|
||||
|
||||
owns_client = client is None
|
||||
if client is None:
|
||||
# TLS: см. docstring модуля § TLS — verify=False, открытые данные без auth/PII.
|
||||
client = httpx.Client(timeout=DOWNLOAD_TIMEOUT_SEC, verify=False)
|
||||
|
||||
try:
|
||||
catalog_url = CATALOG_URL_TEMPLATE.format(slug=slug)
|
||||
resp = client.get(catalog_url, timeout=DOWNLOAD_TIMEOUT_SEC)
|
||||
resp.raise_for_status()
|
||||
file_url, published_on = resolve_dataset_file_url(resp.text, base_url=catalog_url)
|
||||
|
||||
existing = get_loaded_version(db, slug)
|
||||
if not force and existing is not None and existing[0] == file_url:
|
||||
logger.info("fns_opendata %s: версия %s уже загружена, skip", slug, file_url)
|
||||
return {"dataset": slug, "skipped": 1, "records": 0, "upserted": 0}
|
||||
|
||||
if dry_run:
|
||||
logger.info(
|
||||
"fns_opendata %s: dry_run — резолвлен %s (published_on=%s), скачивание пропущено",
|
||||
slug,
|
||||
file_url,
|
||||
published_on,
|
||||
)
|
||||
return {"dataset": slug, "skipped": 0, "records": 0, "upserted": 0}
|
||||
|
||||
zip_bytes = _download(file_url, client=client)
|
||||
period = published_on or date.today()
|
||||
records = list(iter_dataset_records(zip_bytes, dataset=slug, period=period))
|
||||
upserted = upsert_records(db, records, chunk_size=chunk_size)
|
||||
record_dataset_version(db, slug, file_url, published_on)
|
||||
|
||||
result: dict[str, int | str] = {
|
||||
"dataset": slug,
|
||||
"skipped": 0,
|
||||
"records": len(records),
|
||||
"upserted": upserted,
|
||||
}
|
||||
logger.info("fns_opendata load %s DONE (dry_run=%s): %s", slug, dry_run, result)
|
||||
return result
|
||||
finally:
|
||||
if owns_client:
|
||||
client.close()
|
||||
|
||||
|
||||
def load_datasets(
|
||||
db: Session,
|
||||
slugs: tuple[str, ...] = DATASET_SLUGS,
|
||||
*,
|
||||
client: httpx.Client | None = None,
|
||||
dry_run: bool = False,
|
||||
force: bool = False,
|
||||
) -> dict[str, dict[str, int | str]]:
|
||||
"""load_dataset для каждого slug из `slugs`. НЕ коммитит между наборами (caller)."""
|
||||
return {
|
||||
slug: load_dataset(db, slug, client=client, dry_run=dry_run, force=force) for slug in slugs
|
||||
}
|
||||
|
|
@ -1,688 +0,0 @@
|
|||
"""АИС ППК «ФРТ» (бывш. Реформа ЖКХ) loader: houses.area_land/foundation_type/
|
||||
elevators_total + добор year_built/material_walls/total_floors/entrances/is_emergency/
|
||||
flat_count/heat_supply_type/gas_supply_type/hot_water (issue #frt-mkd).
|
||||
|
||||
CONTEXT: houses.area_land и houses.foundation_type отсутствовали вовсе; elevators_total —
|
||||
новая колонка (в источнике — ОБЩЕЕ число лифтов, houses раздельно хранит только
|
||||
passenger_elevators/cargo_elevators, поэтому мапить в них нельзя — потеряли бы тип).
|
||||
Остальные поля (year_built, material_walls, ...) уже существуют и заполнены частично
|
||||
другими источниками (ДОМ.РФ капремонт, ГИС-ЖКХ) — этот loader их ДОБИРАЕТ через
|
||||
COALESCE (только NULL), никогда не перезаписывает.
|
||||
|
||||
ИСТОЧНИК: АИС ППК ФРТ open data, https://xn--80adsazqn.xn--p1aee.xn--p1ai/opendata/export/{node_id}
|
||||
node 110 = реестр МКД региона 66 (Свердловская обл.) — проверено живьём 08.09.2026:
|
||||
HTTP 200, application/octet-stream, zip → один CSV `export-reestrmkd-66-*.csv`,
|
||||
UTF-8 BOM, разделитель ';', 60 колонок, ~41.8k строк по СО.
|
||||
|
||||
robots.txt источника запрещает /opendata/export/ и требует Crawl-delay 10. Один прогон
|
||||
этого loader'а делает РОВНО ОДИН GET (один node_id) — задержка не нужна. Если когда-нибудь
|
||||
понадобится тянуть несколько node_id за один запуск (напр. node 427 — аварийный фонд РФ,
|
||||
node 1 — реестр УО РФ, оба вне скоупа этого PR) — между запросами обязательна пауза
|
||||
CRAWL_DELAY_SEC (константа ниже), иначе нарушаем Crawl-delay из robots.txt.
|
||||
|
||||
ЧТО НЕ ДЕЛАЕМ (осознанно):
|
||||
* project_type НЕ мапим в houses.series_name — свободный текст, фактический дубль
|
||||
материала стен (замер: пусто 10635, «кирпичный» 1754, «нет данных» 1496,
|
||||
«панельный» 1012, «Блочный»/«блочный» двумя разными строками). Как серию
|
||||
использовать нельзя.
|
||||
* energy_efficiency НЕ добавляем в houses — миграция 284 уже приняла это решение;
|
||||
реальный класс присвоен лишь ~10% домов (у большинства «Не присвоен»).
|
||||
* elevators_count НЕ мапим в houses.passenger_elevators — источник отдаёт общее
|
||||
число лифтов без разбивки, а houses хранит passenger/cargo раздельно. Пишем в
|
||||
отдельную houses.elevators_total.
|
||||
* playground/sportsground — id справочника (498/499/500), не булев — в staging как
|
||||
есть, houses.has_playground не трогаем.
|
||||
* estimator.py не трогаем — встраивание признаков дома в подбор аналогов вне скоупа.
|
||||
|
||||
МУСОРНЫЕ ЗНАЧЕНИЯ источника (встречаются как обычные строки текстовых полей):
|
||||
'', 'нет данных', 'Не заполнено', 'отсутствует', 'данные отсутствуют', 'нет'.
|
||||
Единый хелпер `clean_text()` отфильтровывает их при парсе КАЖДОГО текстового поля.
|
||||
|
||||
TLS: домен xn--80adsazqn.xn--p1aee.xn--p1ai отдаёт RU-сертификат НУЦ Минцифры, не
|
||||
верифицируемый дефолтным trust store'ом httpx — та же ситуация, что sber_index.py и
|
||||
domrf_kapremont_loader.py. Открытые данные без auth/PII — verify=False приемлем.
|
||||
|
||||
psycopg v3: SQL через `text(...)` использует CAST(:x AS type), НИКОГДА :x::type.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import csv
|
||||
import io
|
||||
import logging
|
||||
import tempfile
|
||||
import zipfile
|
||||
from collections.abc import Iterator
|
||||
from dataclasses import dataclass, fields
|
||||
from datetime import date
|
||||
from pathlib import Path
|
||||
|
||||
import httpx
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Константы
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
BASE_URL = "https://xn--80adsazqn.xn--p1aee.xn--p1ai"
|
||||
DEFAULT_NODE_ID = 110 # реестр МКД региона 66 — проверено живьём 08.09.2026
|
||||
DEFAULT_REGION_CODE = 66
|
||||
|
||||
DOWNLOAD_TIMEOUT_SEC = 180
|
||||
UPSERT_CHUNK_SIZE = 500
|
||||
|
||||
# robots.txt источника: Crawl-delay 10. Используется только если когда-нибудь понадобится
|
||||
# тянуть несколько node_id за один запуск (сейчас — ровно один GET на прогон).
|
||||
CRAWL_DELAY_SEC = 10
|
||||
|
||||
# Мусорные значения текстовых полей источника — не данные, а «пусто» в других обёртках.
|
||||
_NOISE_VALUES = frozenset(
|
||||
{"", "нет данных", "не заполнено", "отсутствует", "данные отсутствуют", "нет"}
|
||||
)
|
||||
|
||||
# Правдоподобные границы, используются и на парсе (staging), и повторно в backfill SQL.
|
||||
YEAR_BUILT_MIN = 1850
|
||||
YEAR_BUILT_FUTURE_SLACK = 2
|
||||
FLOOR_COUNT_MAX_BOUND = 100
|
||||
ENTRANCE_COUNT_MAX_BOUND = 50
|
||||
ELEVATORS_COUNT_MAX_BOUND = 50
|
||||
FLAT_COUNT_MAX_BOUND = 3000
|
||||
AREA_LAND_MAX_BOUND = 500_000 # м2, с большим запасом для дворовых территорий МКД
|
||||
|
||||
|
||||
def plausible_year_max() -> int:
|
||||
"""Верхняя граница правдоподобного года постройки (текущий год + slack)."""
|
||||
return date.today().year + YEAR_BUILT_FUTURE_SLACK
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Чистые хелперы парсинга (юнит-тестируются без сети/БД)
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
def clean_text(raw: str | None) -> str | None:
|
||||
"""Строка источника → строка|None, мусорные значения-заглушки схлопываются в None."""
|
||||
if raw is None:
|
||||
return None
|
||||
s = raw.strip()
|
||||
if not s or s.lower() in _NOISE_VALUES:
|
||||
return None
|
||||
return s
|
||||
|
||||
|
||||
def parse_decimal_comma(raw: str | None) -> float | None:
|
||||
"""«930,60» / «930.60» / «» / мусор → float|None. Запятая — decimal separator АИС ФРТ."""
|
||||
s = clean_text(raw)
|
||||
if s is None:
|
||||
return None
|
||||
try:
|
||||
return float(s.replace(",", "."))
|
||||
except ValueError:
|
||||
return None
|
||||
|
||||
|
||||
def parse_int_field(
|
||||
raw: str | None, *, min_value: int | None = None, max_value: int | None = None
|
||||
) -> int | None:
|
||||
"""Устойчивый str → int|None с опциональным sanity-гейтом [min_value, max_value]."""
|
||||
s = clean_text(raw)
|
||||
if s is None:
|
||||
return None
|
||||
value: int | None = None
|
||||
try:
|
||||
value = int(s)
|
||||
except ValueError:
|
||||
try:
|
||||
value = int(float(s.replace(",", ".")))
|
||||
except ValueError:
|
||||
return None
|
||||
if min_value is not None and value < min_value:
|
||||
return None
|
||||
if max_value is not None and value > max_value:
|
||||
return None
|
||||
return value
|
||||
|
||||
|
||||
def parse_bool_da_net(raw: str | None) -> bool | None:
|
||||
"""«Да»/«Нет» (регистронезависимо) → bool|None. Пусто/иное → None.
|
||||
|
||||
НЕ идёт через clean_text() — «нет» само по себе входит в _NOISE_VALUES (заглушка
|
||||
текстовых полей типа «отсутствует»/«нет»), и там это совпадение уместно. Но для
|
||||
is_alarm «Нет» — валидный содержательный ответ («не аварийный»), а не отсутствие
|
||||
данных, поэтому здесь разбираем сырую строку напрямую.
|
||||
"""
|
||||
if raw is None:
|
||||
return None
|
||||
s = raw.strip()
|
||||
if not s:
|
||||
return None
|
||||
low = s.lower()
|
||||
if low == "да":
|
||||
return True
|
||||
if low == "нет":
|
||||
return False
|
||||
return None
|
||||
|
||||
|
||||
@dataclass(slots=True)
|
||||
class FrtMkdRow:
|
||||
"""Одна строка реестра МКД АИС ФРТ (house-per-row), готова к UPSERT в staging."""
|
||||
|
||||
houseguid: str
|
||||
region_code: int
|
||||
address: str | None
|
||||
built_year: int | None
|
||||
exploitation_start_year: int | None
|
||||
project_type: str | None
|
||||
house_type: str | None
|
||||
is_alarm: bool | None
|
||||
floor_count_max: int | None
|
||||
floor_count_min: int | None
|
||||
entrance_count: int | None
|
||||
elevators_count: int | None
|
||||
energy_efficiency: str | None
|
||||
quarters_count: int | None
|
||||
living_quarters_count: int | None
|
||||
unliving_quarters_count: int | None
|
||||
area_total: float | None
|
||||
area_residential: float | None
|
||||
area_non_residential: float | None
|
||||
area_common_property: float | None
|
||||
area_land: float | None
|
||||
parking_square: float | None
|
||||
playground: int | None
|
||||
sportsground: int | None
|
||||
other_beautification: str | None
|
||||
foundation_type: str | None
|
||||
floor_type: str | None
|
||||
wall_material: str | None
|
||||
basement_area: float | None
|
||||
chute_type: str | None
|
||||
chute_count: int | None
|
||||
heating_type: str | None
|
||||
hot_water_type: str | None
|
||||
cold_water_type: str | None
|
||||
sewerage_type: str | None
|
||||
gas_type: str | None
|
||||
ventilation_type: str | None
|
||||
firefighting_type: str | None
|
||||
drainage_type: str | None
|
||||
management_organization_id: int | None
|
||||
method_of_forming_overhaul_fund: str | None
|
||||
|
||||
|
||||
def parse_frt_mkd_csv(path: str | Path, *, region_code: int) -> dict[str, FrtMkdRow]:
|
||||
"""CSV реестра МКД АИС ФРТ → dict по houseguid. Строки без houseguid пропускаются.
|
||||
|
||||
Дубликаты houseguid в источнике РЕАЛЬНЫ и взаимодополняющи: в выгрузке региона 66
|
||||
за 2026-09-01 из 41 790 строк 912 guid'ов повторяются (968 лишних строк), причём у
|
||||
одной строки пары заполнен, например, `area_total`, а у другой — нет. Поэтому
|
||||
«последняя побеждает» терять нельзя: дубликаты СЛИВАЮТСЯ по полям, побеждает первое
|
||||
непустое значение (`_merge_rows`). Иначе бэкфилл недосчитывался бы заполненных полей
|
||||
примерно у 2 % домов области.
|
||||
"""
|
||||
rows: dict[str, FrtMkdRow] = {}
|
||||
with open(path, encoding="utf-8-sig", newline="") as f:
|
||||
reader = csv.DictReader(f, delimiter=";")
|
||||
for raw in reader:
|
||||
houseguid = clean_text(raw.get("houseguid"))
|
||||
if not houseguid:
|
||||
continue
|
||||
parsed = FrtMkdRow(
|
||||
houseguid=houseguid,
|
||||
region_code=region_code,
|
||||
address=clean_text(raw.get("address")),
|
||||
built_year=parse_int_field(
|
||||
raw.get("built_year"), min_value=YEAR_BUILT_MIN, max_value=plausible_year_max()
|
||||
),
|
||||
exploitation_start_year=parse_int_field(
|
||||
raw.get("exploitation_start_year"),
|
||||
min_value=YEAR_BUILT_MIN,
|
||||
max_value=plausible_year_max(),
|
||||
),
|
||||
project_type=clean_text(raw.get("project_type")),
|
||||
house_type=clean_text(raw.get("house_type")),
|
||||
is_alarm=parse_bool_da_net(raw.get("is_alarm")),
|
||||
floor_count_max=parse_int_field(
|
||||
raw.get("floor_count_max"), min_value=1, max_value=FLOOR_COUNT_MAX_BOUND
|
||||
),
|
||||
floor_count_min=parse_int_field(
|
||||
raw.get("floor_count_min"), min_value=1, max_value=FLOOR_COUNT_MAX_BOUND
|
||||
),
|
||||
entrance_count=parse_int_field(
|
||||
raw.get("entrance_count"), min_value=1, max_value=ENTRANCE_COUNT_MAX_BOUND
|
||||
),
|
||||
elevators_count=parse_int_field(
|
||||
raw.get("elevators_count"), min_value=0, max_value=ELEVATORS_COUNT_MAX_BOUND
|
||||
),
|
||||
energy_efficiency=clean_text(raw.get("energy_efficiency")),
|
||||
quarters_count=parse_int_field(raw.get("quarters_count"), min_value=0),
|
||||
living_quarters_count=parse_int_field(
|
||||
raw.get("living_quarters_count"), min_value=0, max_value=FLAT_COUNT_MAX_BOUND
|
||||
),
|
||||
unliving_quarters_count=parse_int_field(
|
||||
raw.get("unliving_quarters_count"), min_value=0
|
||||
),
|
||||
area_total=parse_decimal_comma(raw.get("area_total")),
|
||||
area_residential=parse_decimal_comma(raw.get("area_residential")),
|
||||
area_non_residential=parse_decimal_comma(raw.get("area_non_residential")),
|
||||
area_common_property=parse_decimal_comma(raw.get("area_common_property")),
|
||||
area_land=parse_decimal_comma(raw.get("area_land")),
|
||||
parking_square=parse_decimal_comma(raw.get("parking_square")),
|
||||
# playground/sportsground — id справочника благоустройства, не булев флаг.
|
||||
playground=parse_int_field(raw.get("playground"), min_value=0),
|
||||
sportsground=parse_int_field(raw.get("sportsground"), min_value=0),
|
||||
other_beautification=clean_text(raw.get("other_beautification")),
|
||||
foundation_type=clean_text(raw.get("foundation_type")),
|
||||
floor_type=clean_text(raw.get("floor_type")),
|
||||
wall_material=clean_text(raw.get("wall_material")),
|
||||
basement_area=parse_decimal_comma(raw.get("basement_area")),
|
||||
chute_type=clean_text(raw.get("chute_type")),
|
||||
chute_count=parse_int_field(raw.get("chute_count"), min_value=0),
|
||||
heating_type=clean_text(raw.get("heating_type")),
|
||||
hot_water_type=clean_text(raw.get("hot_water_type")),
|
||||
cold_water_type=clean_text(raw.get("cold_water_type")),
|
||||
sewerage_type=clean_text(raw.get("sewerage_type")),
|
||||
gas_type=clean_text(raw.get("gas_type")),
|
||||
ventilation_type=clean_text(raw.get("ventilation_type")),
|
||||
firefighting_type=clean_text(raw.get("firefighting_type")),
|
||||
drainage_type=clean_text(raw.get("drainage_type")),
|
||||
management_organization_id=parse_int_field(
|
||||
raw.get("management_organization_id"), min_value=0
|
||||
),
|
||||
method_of_forming_overhaul_fund=clean_text(
|
||||
raw.get("method_of_forming_overhaul_fund")
|
||||
),
|
||||
)
|
||||
prev = rows.get(houseguid)
|
||||
rows[houseguid] = _merge_rows(prev, parsed) if prev is not None else parsed
|
||||
return rows
|
||||
|
||||
|
||||
def _merge_rows(prev: FrtMkdRow, new: FrtMkdRow) -> FrtMkdRow:
|
||||
"""Слить дубликат houseguid: для каждого поля берём первое непустое значение.
|
||||
|
||||
Источник отдаёт повторы одного дома разными строками с частично заполненными
|
||||
полями (см. `parse_frt_mkd_csv`). Побеждает уже накопленное значение; новое
|
||||
подставляется только туда, где накопленного нет.
|
||||
"""
|
||||
merged: dict[str, object] = {}
|
||||
for field in fields(FrtMkdRow):
|
||||
current = getattr(prev, field.name)
|
||||
merged[field.name] = current if current is not None else getattr(new, field.name)
|
||||
return FrtMkdRow(**merged) # type: ignore[arg-type]
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# HTTP: скачивание zip + извлечение CSV
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
def _download_zip(url: str, *, client: httpx.Client) -> bytes:
|
||||
resp = client.get(url, timeout=DOWNLOAD_TIMEOUT_SEC)
|
||||
resp.raise_for_status()
|
||||
return resp.content
|
||||
|
||||
|
||||
def _extract_csv_from_zip(data: bytes, dest_dir: Path) -> Path:
|
||||
"""Распаковывает первый *.csv из zip-байтов в dest_dir, возвращает путь."""
|
||||
with zipfile.ZipFile(io.BytesIO(data)) as zf:
|
||||
csv_names = [n for n in zf.namelist() if n.lower().endswith(".csv")]
|
||||
if not csv_names:
|
||||
raise ValueError(f"zip не содержит .csv записей: {zf.namelist()!r}")
|
||||
extracted = zf.extract(csv_names[0], dest_dir)
|
||||
return Path(extracted)
|
||||
|
||||
|
||||
def fetch_frt_mkd_csv(dest_dir: Path, *, node_id: int, client: httpx.Client) -> Path:
|
||||
"""Скачивает zip export/{node_id}, распаковывает CSV в dest_dir, возвращает путь."""
|
||||
url = f"{BASE_URL}/opendata/export/{node_id}"
|
||||
return _extract_csv_from_zip(_download_zip(url, client=client), dest_dir)
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# UPSERT staging (frt_mkd, мигр. 290)
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
_UPSERT_SQL = text(
|
||||
"""
|
||||
INSERT INTO frt_mkd (
|
||||
houseguid, region_code, address, built_year, exploitation_start_year,
|
||||
project_type, house_type, is_alarm, floor_count_max, floor_count_min,
|
||||
entrance_count, elevators_count, energy_efficiency, quarters_count,
|
||||
living_quarters_count, unliving_quarters_count, area_total, area_residential,
|
||||
area_non_residential, area_common_property, area_land, parking_square,
|
||||
playground, sportsground, other_beautification, foundation_type, floor_type,
|
||||
wall_material, basement_area, chute_type, chute_count, heating_type,
|
||||
hot_water_type, cold_water_type, sewerage_type, gas_type, ventilation_type,
|
||||
firefighting_type, drainage_type, management_organization_id,
|
||||
method_of_forming_overhaul_fund, loaded_at
|
||||
)
|
||||
VALUES (
|
||||
CAST(:houseguid AS text), CAST(:region_code AS smallint), CAST(:address AS text),
|
||||
CAST(:built_year AS smallint), CAST(:exploitation_start_year AS smallint),
|
||||
CAST(:project_type AS text), CAST(:house_type AS text), CAST(:is_alarm AS boolean),
|
||||
CAST(:floor_count_max AS smallint), CAST(:floor_count_min AS smallint),
|
||||
CAST(:entrance_count AS smallint), CAST(:elevators_count AS smallint),
|
||||
CAST(:energy_efficiency AS text), CAST(:quarters_count AS int),
|
||||
CAST(:living_quarters_count AS int), CAST(:unliving_quarters_count AS int),
|
||||
CAST(:area_total AS numeric), CAST(:area_residential AS numeric),
|
||||
CAST(:area_non_residential AS numeric), CAST(:area_common_property AS numeric),
|
||||
CAST(:area_land AS numeric), CAST(:parking_square AS numeric),
|
||||
CAST(:playground AS int), CAST(:sportsground AS int),
|
||||
CAST(:other_beautification AS text), CAST(:foundation_type AS text),
|
||||
CAST(:floor_type AS text), CAST(:wall_material AS text),
|
||||
CAST(:basement_area AS numeric), CAST(:chute_type AS text),
|
||||
CAST(:chute_count AS smallint), CAST(:heating_type AS text),
|
||||
CAST(:hot_water_type AS text), CAST(:cold_water_type AS text),
|
||||
CAST(:sewerage_type AS text), CAST(:gas_type AS text),
|
||||
CAST(:ventilation_type AS text), CAST(:firefighting_type AS text),
|
||||
CAST(:drainage_type AS text), CAST(:management_organization_id AS bigint),
|
||||
CAST(:method_of_forming_overhaul_fund AS text), now()
|
||||
)
|
||||
ON CONFLICT (houseguid) DO UPDATE SET
|
||||
region_code = EXCLUDED.region_code,
|
||||
address = EXCLUDED.address,
|
||||
built_year = EXCLUDED.built_year,
|
||||
exploitation_start_year = EXCLUDED.exploitation_start_year,
|
||||
project_type = EXCLUDED.project_type,
|
||||
house_type = EXCLUDED.house_type,
|
||||
is_alarm = EXCLUDED.is_alarm,
|
||||
floor_count_max = EXCLUDED.floor_count_max,
|
||||
floor_count_min = EXCLUDED.floor_count_min,
|
||||
entrance_count = EXCLUDED.entrance_count,
|
||||
elevators_count = EXCLUDED.elevators_count,
|
||||
energy_efficiency = EXCLUDED.energy_efficiency,
|
||||
quarters_count = EXCLUDED.quarters_count,
|
||||
living_quarters_count = EXCLUDED.living_quarters_count,
|
||||
unliving_quarters_count = EXCLUDED.unliving_quarters_count,
|
||||
area_total = EXCLUDED.area_total,
|
||||
area_residential = EXCLUDED.area_residential,
|
||||
area_non_residential = EXCLUDED.area_non_residential,
|
||||
area_common_property = EXCLUDED.area_common_property,
|
||||
area_land = EXCLUDED.area_land,
|
||||
parking_square = EXCLUDED.parking_square,
|
||||
playground = EXCLUDED.playground,
|
||||
sportsground = EXCLUDED.sportsground,
|
||||
other_beautification = EXCLUDED.other_beautification,
|
||||
foundation_type = EXCLUDED.foundation_type,
|
||||
floor_type = EXCLUDED.floor_type,
|
||||
wall_material = EXCLUDED.wall_material,
|
||||
basement_area = EXCLUDED.basement_area,
|
||||
chute_type = EXCLUDED.chute_type,
|
||||
chute_count = EXCLUDED.chute_count,
|
||||
heating_type = EXCLUDED.heating_type,
|
||||
hot_water_type = EXCLUDED.hot_water_type,
|
||||
cold_water_type = EXCLUDED.cold_water_type,
|
||||
sewerage_type = EXCLUDED.sewerage_type,
|
||||
gas_type = EXCLUDED.gas_type,
|
||||
ventilation_type = EXCLUDED.ventilation_type,
|
||||
firefighting_type = EXCLUDED.firefighting_type,
|
||||
drainage_type = EXCLUDED.drainage_type,
|
||||
management_organization_id = EXCLUDED.management_organization_id,
|
||||
method_of_forming_overhaul_fund = EXCLUDED.method_of_forming_overhaul_fund,
|
||||
loaded_at = now()
|
||||
WHERE frt_mkd.address IS DISTINCT FROM EXCLUDED.address
|
||||
OR frt_mkd.built_year IS DISTINCT FROM EXCLUDED.built_year
|
||||
OR frt_mkd.is_alarm IS DISTINCT FROM EXCLUDED.is_alarm
|
||||
OR frt_mkd.wall_material IS DISTINCT FROM EXCLUDED.wall_material
|
||||
OR frt_mkd.foundation_type IS DISTINCT FROM EXCLUDED.foundation_type
|
||||
OR frt_mkd.area_land IS DISTINCT FROM EXCLUDED.area_land
|
||||
OR frt_mkd.elevators_count IS DISTINCT FROM EXCLUDED.elevators_count
|
||||
"""
|
||||
)
|
||||
|
||||
|
||||
def _chunk_rows(items: list[FrtMkdRow], size: int) -> Iterator[list[FrtMkdRow]]:
|
||||
for i in range(0, len(items), size):
|
||||
yield items[i : i + size]
|
||||
|
||||
|
||||
def upsert_frt_mkd(
|
||||
db: Session, rows: list[FrtMkdRow], *, chunk_size: int = UPSERT_CHUNK_SIZE
|
||||
) -> int:
|
||||
"""UPSERT списка FrtMkdRow в frt_mkd, чанками по SAVEPOINT. Не коммитит (caller).
|
||||
|
||||
Идемпотентно (IS DISTINCT FROM gate на ключевых полях в _UPSERT_SQL). Сбойный чанк
|
||||
откатывается изолированно (SAVEPOINT-паттерн domrf_kapremont_loader/zhkh_flats_loader).
|
||||
"""
|
||||
upserted = 0
|
||||
for chunk in _chunk_rows(rows, chunk_size):
|
||||
try:
|
||||
with db.begin_nested():
|
||||
for r in chunk:
|
||||
res = db.execute(
|
||||
_UPSERT_SQL,
|
||||
{
|
||||
"houseguid": r.houseguid,
|
||||
"region_code": r.region_code,
|
||||
"address": r.address,
|
||||
"built_year": r.built_year,
|
||||
"exploitation_start_year": r.exploitation_start_year,
|
||||
"project_type": r.project_type,
|
||||
"house_type": r.house_type,
|
||||
"is_alarm": r.is_alarm,
|
||||
"floor_count_max": r.floor_count_max,
|
||||
"floor_count_min": r.floor_count_min,
|
||||
"entrance_count": r.entrance_count,
|
||||
"elevators_count": r.elevators_count,
|
||||
"energy_efficiency": r.energy_efficiency,
|
||||
"quarters_count": r.quarters_count,
|
||||
"living_quarters_count": r.living_quarters_count,
|
||||
"unliving_quarters_count": r.unliving_quarters_count,
|
||||
"area_total": r.area_total,
|
||||
"area_residential": r.area_residential,
|
||||
"area_non_residential": r.area_non_residential,
|
||||
"area_common_property": r.area_common_property,
|
||||
"area_land": r.area_land,
|
||||
"parking_square": r.parking_square,
|
||||
"playground": r.playground,
|
||||
"sportsground": r.sportsground,
|
||||
"other_beautification": r.other_beautification,
|
||||
"foundation_type": r.foundation_type,
|
||||
"floor_type": r.floor_type,
|
||||
"wall_material": r.wall_material,
|
||||
"basement_area": r.basement_area,
|
||||
"chute_type": r.chute_type,
|
||||
"chute_count": r.chute_count,
|
||||
"heating_type": r.heating_type,
|
||||
"hot_water_type": r.hot_water_type,
|
||||
"cold_water_type": r.cold_water_type,
|
||||
"sewerage_type": r.sewerage_type,
|
||||
"gas_type": r.gas_type,
|
||||
"ventilation_type": r.ventilation_type,
|
||||
"firefighting_type": r.firefighting_type,
|
||||
"drainage_type": r.drainage_type,
|
||||
"management_organization_id": r.management_organization_id,
|
||||
"method_of_forming_overhaul_fund": r.method_of_forming_overhaul_fund,
|
||||
},
|
||||
)
|
||||
upserted += res.rowcount
|
||||
except Exception:
|
||||
logger.warning(
|
||||
"frt_mkd upsert: чанк из %d строк сбойнул (откат savepoint)",
|
||||
len(chunk),
|
||||
exc_info=True,
|
||||
)
|
||||
return upserted
|
||||
|
||||
|
||||
def load_frt_mkd(
|
||||
db: Session,
|
||||
*,
|
||||
src_path: str | Path | None = None,
|
||||
work_dir: str | Path | None = None,
|
||||
node_id: int = DEFAULT_NODE_ID,
|
||||
region_code: int = DEFAULT_REGION_CODE,
|
||||
chunk_size: int = UPSERT_CHUNK_SIZE,
|
||||
dry_run: bool = False,
|
||||
) -> dict[str, int]:
|
||||
"""Скачивает (если src_path не задан) реестр МКД node_id, парсит, UPSERT в frt_mkd.
|
||||
|
||||
src_path — локальный CSV (пропустить скачивание; тесты/ops-дебаг). work_dir — куда
|
||||
распаковывать скачанный zip (по умолчанию — временный каталог, удаляется после).
|
||||
dry_run — парс происходит, но НИ ОДНОЙ записи в БД не делается. Не коммитит (caller).
|
||||
"""
|
||||
tmp_ctx: tempfile.TemporaryDirectory[str] | None = None
|
||||
if src_path is None:
|
||||
if work_dir is not None:
|
||||
dest = Path(work_dir)
|
||||
dest.mkdir(parents=True, exist_ok=True)
|
||||
else:
|
||||
tmp_ctx = tempfile.TemporaryDirectory()
|
||||
dest = Path(tmp_ctx.name)
|
||||
# verify=False: источник отдаёт RU-сертификат НУЦ Минцифры, не верифицируемый
|
||||
# дефолтным trust store'ом (та же ситуация, что sber_index.py и
|
||||
# domrf_kapremont_loader.py). Открытые данные без auth/PII — приемлемо.
|
||||
with httpx.Client(timeout=DOWNLOAD_TIMEOUT_SEC, verify=False) as client:
|
||||
src_path = fetch_frt_mkd_csv(dest, node_id=node_id, client=client)
|
||||
|
||||
try:
|
||||
rows_by_guid = parse_frt_mkd_csv(src_path, region_code=region_code)
|
||||
rows = list(rows_by_guid.values())
|
||||
upserted = 0 if dry_run else upsert_frt_mkd(db, rows, chunk_size=chunk_size)
|
||||
finally:
|
||||
if tmp_ctx is not None:
|
||||
tmp_ctx.cleanup()
|
||||
|
||||
result = {"rows": len(rows), "upserted": upserted}
|
||||
logger.info("frt_mkd load DONE (dry_run=%s): %s", dry_run, result)
|
||||
return result
|
||||
|
||||
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Backfill houses (COALESCE-семантика — только NULL-поля)
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
# Матч: s.houseguid = COALESCE(h.gar_house_guid, h.house_fias_id, h.zhkh_house_guid) —
|
||||
# тот же приоритетный COALESCE-джойн, что domrf_kapremont_loader/zhkh_flats_loader.
|
||||
# Каждое поле СВОИМ гейтом "h.col IS NULL AND s.col-в-границах" — ни одно поле, уже
|
||||
# заполненное другим источником, не перезаписывается. frt_matched_at проставляется один
|
||||
# раз (COALESCE(h.frt_matched_at, now())) при ЛЮБОМ найденном матче — метка «дом уже
|
||||
# сверялся с этим источником», даже если дозаполнять было уже нечего.
|
||||
_BACKFILL_HOUSES_SQL = text(
|
||||
"""
|
||||
UPDATE houses h
|
||||
SET year_built = CASE
|
||||
WHEN h.year_built IS NULL
|
||||
AND s.built_year BETWEEN CAST(:ymin AS int) AND CAST(:ymax AS int)
|
||||
THEN s.built_year
|
||||
ELSE h.year_built
|
||||
END,
|
||||
material_walls = COALESCE(h.material_walls, s.wall_material),
|
||||
material_floors = COALESCE(h.material_floors, s.floor_type),
|
||||
total_floors = CASE
|
||||
WHEN h.total_floors IS NULL
|
||||
AND s.floor_count_max BETWEEN 1 AND CAST(:floor_max AS int)
|
||||
THEN s.floor_count_max
|
||||
ELSE h.total_floors
|
||||
END,
|
||||
entrances = CASE
|
||||
WHEN h.entrances IS NULL
|
||||
AND s.entrance_count BETWEEN 1 AND CAST(:entrance_max AS int)
|
||||
THEN s.entrance_count
|
||||
ELSE h.entrances
|
||||
END,
|
||||
elevators_total = CASE
|
||||
WHEN h.elevators_total IS NULL
|
||||
AND s.elevators_count BETWEEN 0 AND CAST(:elevator_max AS int)
|
||||
THEN s.elevators_count
|
||||
ELSE h.elevators_total
|
||||
END,
|
||||
is_emergency = COALESCE(h.is_emergency, s.is_alarm),
|
||||
flat_count = CASE
|
||||
WHEN h.flat_count IS NULL
|
||||
AND s.living_quarters_count BETWEEN 0 AND CAST(:flat_max AS int)
|
||||
THEN s.living_quarters_count
|
||||
ELSE h.flat_count
|
||||
END,
|
||||
heat_supply_type = COALESCE(h.heat_supply_type, s.heating_type),
|
||||
gas_supply_type = COALESCE(h.gas_supply_type, s.gas_type),
|
||||
hot_water = COALESCE(h.hot_water, s.hot_water_type),
|
||||
area_land = CASE
|
||||
WHEN h.area_land IS NULL
|
||||
AND s.area_land BETWEEN 0 AND CAST(:area_land_max AS numeric)
|
||||
THEN s.area_land
|
||||
ELSE h.area_land
|
||||
END,
|
||||
foundation_type = COALESCE(h.foundation_type, s.foundation_type),
|
||||
frt_matched_at = COALESCE(h.frt_matched_at, now())
|
||||
FROM frt_mkd s
|
||||
WHERE s.houseguid = COALESCE(h.gar_house_guid, h.house_fias_id, h.zhkh_house_guid)
|
||||
AND (
|
||||
(h.year_built IS NULL
|
||||
AND s.built_year BETWEEN CAST(:ymin AS int) AND CAST(:ymax AS int))
|
||||
OR (h.material_walls IS NULL AND s.wall_material IS NOT NULL)
|
||||
OR (h.material_floors IS NULL AND s.floor_type IS NOT NULL)
|
||||
OR (h.total_floors IS NULL
|
||||
AND s.floor_count_max BETWEEN 1 AND CAST(:floor_max AS int))
|
||||
OR (h.entrances IS NULL
|
||||
AND s.entrance_count BETWEEN 1 AND CAST(:entrance_max AS int))
|
||||
OR (h.elevators_total IS NULL
|
||||
AND s.elevators_count BETWEEN 0 AND CAST(:elevator_max AS int))
|
||||
OR (h.is_emergency IS NULL AND s.is_alarm IS NOT NULL)
|
||||
OR (h.flat_count IS NULL
|
||||
AND s.living_quarters_count BETWEEN 0 AND CAST(:flat_max AS int))
|
||||
OR (h.heat_supply_type IS NULL AND s.heating_type IS NOT NULL)
|
||||
OR (h.gas_supply_type IS NULL AND s.gas_type IS NOT NULL)
|
||||
OR (h.hot_water IS NULL AND s.hot_water_type IS NOT NULL)
|
||||
OR (h.area_land IS NULL
|
||||
AND s.area_land BETWEEN 0 AND CAST(:area_land_max AS numeric))
|
||||
OR (h.foundation_type IS NULL AND s.foundation_type IS NOT NULL)
|
||||
OR h.frt_matched_at IS NULL
|
||||
)
|
||||
"""
|
||||
)
|
||||
|
||||
_BACKFILL_HOUSES_COUNT_SQL = text(
|
||||
"""
|
||||
SELECT count(*)
|
||||
FROM houses h
|
||||
JOIN frt_mkd s
|
||||
ON s.houseguid = COALESCE(h.gar_house_guid, h.house_fias_id, h.zhkh_house_guid)
|
||||
WHERE (
|
||||
(h.year_built IS NULL
|
||||
AND s.built_year BETWEEN CAST(:ymin AS int) AND CAST(:ymax AS int))
|
||||
OR (h.material_walls IS NULL AND s.wall_material IS NOT NULL)
|
||||
OR (h.material_floors IS NULL AND s.floor_type IS NOT NULL)
|
||||
OR (h.total_floors IS NULL
|
||||
AND s.floor_count_max BETWEEN 1 AND CAST(:floor_max AS int))
|
||||
OR (h.entrances IS NULL
|
||||
AND s.entrance_count BETWEEN 1 AND CAST(:entrance_max AS int))
|
||||
OR (h.elevators_total IS NULL
|
||||
AND s.elevators_count BETWEEN 0 AND CAST(:elevator_max AS int))
|
||||
OR (h.is_emergency IS NULL AND s.is_alarm IS NOT NULL)
|
||||
OR (h.flat_count IS NULL
|
||||
AND s.living_quarters_count BETWEEN 0 AND CAST(:flat_max AS int))
|
||||
OR (h.heat_supply_type IS NULL AND s.heating_type IS NOT NULL)
|
||||
OR (h.gas_supply_type IS NULL AND s.gas_type IS NOT NULL)
|
||||
OR (h.hot_water IS NULL AND s.hot_water_type IS NOT NULL)
|
||||
OR (h.area_land IS NULL
|
||||
AND s.area_land BETWEEN 0 AND CAST(:area_land_max AS numeric))
|
||||
OR (h.foundation_type IS NULL AND s.foundation_type IS NOT NULL)
|
||||
OR h.frt_matched_at IS NULL
|
||||
)
|
||||
"""
|
||||
)
|
||||
|
||||
|
||||
def backfill_houses(db: Session, *, dry_run: bool = False) -> dict[str, int]:
|
||||
"""COALESCE-добор houses.* из frt_mkd (только NULL-поля). Не коммитит (caller).
|
||||
|
||||
dry_run — ноль записей, только SELECT count(*) по тому же предикату.
|
||||
"""
|
||||
bounds = {
|
||||
"ymin": YEAR_BUILT_MIN,
|
||||
"ymax": plausible_year_max(),
|
||||
"floor_max": FLOOR_COUNT_MAX_BOUND,
|
||||
"entrance_max": ENTRANCE_COUNT_MAX_BOUND,
|
||||
"elevator_max": ELEVATORS_COUNT_MAX_BOUND,
|
||||
"flat_max": FLAT_COUNT_MAX_BOUND,
|
||||
"area_land_max": AREA_LAND_MAX_BOUND,
|
||||
}
|
||||
if dry_run:
|
||||
would_update = db.execute(_BACKFILL_HOUSES_COUNT_SQL, bounds).scalar_one()
|
||||
result = {"would_update": would_update, "houses_updated": 0}
|
||||
logger.info("backfill_houses (frt_mkd) DRY-RUN: %s", result)
|
||||
return result
|
||||
|
||||
updated = db.execute(_BACKFILL_HOUSES_SQL, bounds).rowcount
|
||||
result = {"houses_updated": updated}
|
||||
logger.info("backfill_houses (frt_mkd) DONE: %s", result)
|
||||
return result
|
||||
|
|
@ -26,19 +26,11 @@ from sqlalchemy.orm import Session
|
|||
from tenacity import retry, stop_after_attempt, wait_exponential
|
||||
|
||||
from app.core.config import settings
|
||||
from app.core.db import run_db_thread
|
||||
from app.services import dadata
|
||||
from app.services.regions import REGIONS as _ALL_REGIONS
|
||||
from app.services.regions import Region, is_within_bbox
|
||||
|
||||
_REGION_66 = _ALL_REGIONS[66]
|
||||
|
||||
# #3051: маркер `address.state` Nominatim по региону, для region cross-check
|
||||
# в `_nominatim_region_ok` (см. использование в `_nominatim_query`). Регионы
|
||||
# без записи здесь получают `marker=None` → cross-check пропускается
|
||||
# (fallback на bbox-only, прежнее поведение).
|
||||
_REGION_STATE_MARKERS: dict[int, str] = {66: "свердловск", 77: "москва"}
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# ── Общий ограничитель темпа обращений к Nominatim (#2953) ──────────────────
|
||||
|
|
@ -178,15 +170,8 @@ def is_within_oblast66_bbox(lat: float, lon: float) -> bool:
|
|||
SVERDLOVSK_OBLAST_CITIES = _REGION_66.cities # #3051: список — в реестре регионов
|
||||
|
||||
|
||||
def known_city_hint(value: str | None, region_code: int = 66) -> str | None:
|
||||
"""`value` как city_hint, если это узнаваемое имя города `REGIONS[region_code]`, иначе None.
|
||||
|
||||
#3051: `region_code` (дефолт 66) — параметризация под трек «Москва»: словарь
|
||||
городов берётся из `REGIONS[region_code].cities`, а не жёстко из
|
||||
`SVERDLOVSK_OBLAST_CITIES`. Для `region_code=66` (дефолт, все существующие
|
||||
вызовы без аргумента) — byte-identical прежнему поведению: `REGIONS[66].cities
|
||||
is SVERDLOVSK_OBLAST_CITIES` (тот же frozenset-объект, см. модульный уровень).
|
||||
Неизвестный `region_code` → ValueError (явная ошибка, не молчаливый None).
|
||||
def known_city_hint(value: str | None) -> str | None:
|
||||
"""`value` как city_hint, если это узнаваемое имя города региона 66, иначе None.
|
||||
|
||||
Для callers, которые берут город из КОЛОНКИ БД и передают его в `geocode()`
|
||||
(#2603): `deals.city` — росреестровое поле, заполнено на 100%, но в хвосте
|
||||
|
|
@ -215,14 +200,7 @@ def known_city_hint(value: str | None, region_code: int = 66) -> str | None:
|
|||
"""
|
||||
if not value:
|
||||
return None
|
||||
if region_code == 66:
|
||||
cities = SVERDLOVSK_OBLAST_CITIES
|
||||
else:
|
||||
try:
|
||||
cities = _ALL_REGIONS[region_code].cities
|
||||
except KeyError as exc:
|
||||
raise ValueError(f"unknown region_code={region_code!r}") from exc
|
||||
return value if " ".join(value.lower().split()) in cities else None
|
||||
return value if " ".join(value.lower().split()) in SVERDLOVSK_OBLAST_CITIES else None
|
||||
|
||||
|
||||
# Значение для DaData-констрейнта `locations: [{"region": ...}]`.
|
||||
|
|
@ -253,41 +231,20 @@ _OBLAST_MARKER_RE = re.compile(r"\bсвердловск\w*\b")
|
|||
_DISTRICT_PREFIXES = frozenset({"мкр", "мкр.", "микрорайон", "р-н", "р-он", "район", "жк"})
|
||||
|
||||
|
||||
# region_code → скомпилированный regex городов региона (word-boundary), кэш по
|
||||
# коду. 66 — literal reuse `_OBLAST_CITY_RE` (тот же объект, byte-identical),
|
||||
# остальные регионы строятся из `REGIONS[region_code].cities` при первом
|
||||
# обращении (#3051).
|
||||
_REGION_CITY_RE: dict[int, re.Pattern[str]] = {66: _OBLAST_CITY_RE}
|
||||
def _has_oblast_marker(text_lower: str) -> bool:
|
||||
"""True если текст уже содержит упоминание области/города региона 66.
|
||||
|
||||
Используется чтобы НЕ навязывать "Екатеринбург, " в запрос, когда адрес
|
||||
уже привязан к другому городу/области — иначе получим двойной город
|
||||
("Екатеринбург, Нижний Тагил, Ленина 10") и провайдер вернёт мусор/пусто.
|
||||
|
||||
def _region_city_re(region_code: int) -> re.Pattern[str]:
|
||||
cached = _REGION_CITY_RE.get(region_code)
|
||||
if cached is not None:
|
||||
return cached
|
||||
cities = _ALL_REGIONS[region_code].cities
|
||||
compiled = re.compile(r"\b(?:" + "|".join(re.escape(c) for c in cities) + r")\b")
|
||||
_REGION_CITY_RE[region_code] = compiled
|
||||
return compiled
|
||||
|
||||
|
||||
def _has_oblast_marker(text_lower: str, region_code: int = 66) -> bool:
|
||||
"""True если текст уже содержит упоминание области/города `region_code`.
|
||||
|
||||
Используется чтобы НЕ навязывать "Екатеринбург, "/"Москва, " в запрос,
|
||||
когда адрес уже привязан к другому городу/области — иначе получим двойной
|
||||
город ("Екатеринбург, Нижний Тагил, Ленина 10" / "Москва, Москва, Тверская
|
||||
1", #3051 п. б) и провайдер вернёт мусор/пусто.
|
||||
|
||||
Матчинг — по границе слова/фразы (`_region_city_re`), НЕ substring — и с
|
||||
исключением "мкр/микрорайон/р-н <город>" (район ВНУТРИ другого города).
|
||||
`region_code=66` (дефолт) дополнительно матчит "свердловск*" — областной
|
||||
маркер без города; у прочих регионов такого обобщённого маркера нет,
|
||||
город региона уже покрывает случай (для 77 — "москва" в `region.cities`).
|
||||
Матчинг — по границе слова/фразы (см. `_OBLAST_CITY_RE`), НЕ substring —
|
||||
и с исключением "мкр/микрорайон/р-н <город>" (район ВНУТРИ другого города).
|
||||
"""
|
||||
normalized = " ".join(text_lower.split())
|
||||
if region_code == 66 and _OBLAST_MARKER_RE.search(normalized):
|
||||
if _OBLAST_MARKER_RE.search(normalized):
|
||||
return True
|
||||
for m in _region_city_re(region_code).finditer(normalized):
|
||||
for m in _OBLAST_CITY_RE.finditer(normalized):
|
||||
prefix_words = normalized[: m.start()].split()
|
||||
if prefix_words and prefix_words[-1] in _DISTRICT_PREFIXES:
|
||||
continue # «мкр Заречный» — район, не город-ЗАТО Заречный
|
||||
|
|
@ -295,14 +252,12 @@ def _has_oblast_marker(text_lower: str, region_code: int = 66) -> bool:
|
|||
return False
|
||||
|
||||
|
||||
def _resolve_city_for_geocode(
|
||||
address: str, city_hint: str | None, region_code: int = 66
|
||||
) -> tuple[str | None, bool]:
|
||||
def _resolve_city_for_geocode(address: str, city_hint: str | None) -> tuple[str | None, bool]:
|
||||
"""Определяет, какой город подставлять в запрос внешнему провайдеру
|
||||
(Nominatim), когда сам текст адреса города не называет.
|
||||
|
||||
Приоритет:
|
||||
1. Адрес уже содержит маркер города/области `region_code` (`_has_oblast_marker`)
|
||||
1. Адрес уже содержит маркер города/области региона 66 (`_has_oblast_marker`)
|
||||
→ город уже указан пользователем в тексте адреса, ничего подставлять не
|
||||
нужно. Возвращает (None, True).
|
||||
2. `city_hint` передан вызывающим кодом (например, фронт знает выбранный
|
||||
|
|
@ -311,18 +266,15 @@ def _resolve_city_for_geocode(
|
|||
— для жителей других городов области это давало уверенно неверную цену
|
||||
(«Ленина, 1» в Нижнем Тагиле снапалось на екатеринбургскую улицу Ленина,
|
||||
обе улицы называются одинаково). Теперь НЕ подставляем никакой город —
|
||||
провайдер ищет по region-viewbox/bbox (см. `OBLAST66_VIEWBOX`,
|
||||
`_region_viewbox`), без привязки к конкретному городу. Возвращает
|
||||
провайдер ищет по OBLAST66 viewbox/bbox (см. `OBLAST66_VIEWBOX`), без
|
||||
привязки к конкретному городу. Возвращает
|
||||
(None, False) — второй элемент False сигнализирует, что город
|
||||
пользователь НЕ указывал (источник `GeocodeResult.city_ambiguous`).
|
||||
|
||||
`region_code` (дефолт 66, #3051) — byte-identical прежнему поведению для
|
||||
всех вызовов без аргумента.
|
||||
|
||||
Returns:
|
||||
(city_or_none, city_specified_by_user).
|
||||
"""
|
||||
if _has_oblast_marker(address.lower(), region_code):
|
||||
if _has_oblast_marker(address.lower()):
|
||||
return None, True
|
||||
hint = (city_hint or "").strip()
|
||||
if hint:
|
||||
|
|
@ -726,15 +678,13 @@ def _cache_put(db: Session, address_norm: str, result: GeocodeResult) -> None:
|
|||
|
||||
|
||||
# ── Provider: Nominatim (OSM, без ключа) ────────────────────────────────────
|
||||
def _nominatim_region_ok(item: dict, region_code: int = 66) -> bool | None:
|
||||
def _nominatim_region_ok(item: dict) -> bool | None:
|
||||
"""Кросс-чек региона по Nominatim `address.state` (доступно т.к. addressdetails=1).
|
||||
|
||||
True/False если state однозначно про/не про регион `region_code`. None если
|
||||
поле отсутствует/не строка, ИЛИ регион не имеет записи в `_REGION_STATE_MARKERS`
|
||||
— тогда accept-логика падает обратно на bbox.
|
||||
True/False если state однозначно про/не про Свердловскую область. None если
|
||||
поле отсутствует/не строка — тогда accept-логика падает обратно на bbox.
|
||||
Ловит Тюмень/Шадринск/Кунгур/Снежинск — они внутри генерального OBLAST66_BBOX
|
||||
(специально щедрого), но их state явно другой регион. `region_code=66`
|
||||
(дефолт) — byte-identical прежнему поведению (`"свердловск" in state.lower()`).
|
||||
(специально щедрого), но их state явно другой регион.
|
||||
"""
|
||||
addr = item.get("address")
|
||||
if not isinstance(addr, dict):
|
||||
|
|
@ -742,65 +692,22 @@ def _nominatim_region_ok(item: dict, region_code: int = 66) -> bool | None:
|
|||
state = addr.get("state")
|
||||
if not isinstance(state, str) or not state:
|
||||
return None
|
||||
marker = _REGION_STATE_MARKERS.get(region_code)
|
||||
if marker is None:
|
||||
return None
|
||||
return marker in state.lower()
|
||||
return "свердловск" in state.lower()
|
||||
|
||||
|
||||
def _region_viewbox(region: Region) -> str:
|
||||
"""Nominatim `viewbox` (lon_min,lat_max,lon_max,lat_min) из `region.bbox_region`.
|
||||
|
||||
Для region 66 см. `OBLAST66_VIEWBOX["viewbox"]` — литеральная константа
|
||||
(byte-identical), эта функция для 66 не вызывается.
|
||||
"""
|
||||
lat_min, lat_max, lon_min, lon_max = region.bbox_region
|
||||
return f"{lon_min},{lat_max},{lon_max},{lat_min}"
|
||||
|
||||
|
||||
def _viewbox_for_region(region_code: int) -> str:
|
||||
"""Nominatim `viewbox` по коду региона — ЕДИНАЯ точка для всех тиров.
|
||||
|
||||
`region_code=66` → литеральная `OBLAST66_VIEWBOX["viewbox"]`: значение
|
||||
историческое, из bbox не выводится, поэтому byte-identical прежнему
|
||||
поведению. Прочие регионы — рамка из реестра (`_region_viewbox`).
|
||||
"""
|
||||
if region_code == 66:
|
||||
return OBLAST66_VIEWBOX["viewbox"]
|
||||
return _region_viewbox(_ALL_REGIONS[region_code])
|
||||
|
||||
|
||||
def _region_default_city(region_code: int) -> str:
|
||||
"""Главный город региона — текстовый суффикс запроса, когда город не назван.
|
||||
|
||||
`region_code=66` → литеральный "Екатеринбург" (byte-identical dual-query
|
||||
#2580/C2). Прочие — `canonical_city` реестра, иначе `city_token` с заглавной.
|
||||
"""
|
||||
if region_code == 66:
|
||||
return "Екатеринбург"
|
||||
region = _ALL_REGIONS[region_code]
|
||||
return region.canonical_city or region.city_token.capitalize()
|
||||
|
||||
|
||||
async def _nominatim_query(
|
||||
client: httpx.AsyncClient, address: str, region_code: int = 66
|
||||
) -> dict | None:
|
||||
async def _nominatim_query(client: httpx.AsyncClient, address: str) -> dict | None:
|
||||
"""Single Nominatim search. Возвращает лучший item или None.
|
||||
|
||||
ВАЖНО: фильтруем результаты по bbox региона `region_code` прямо тут, чтобы
|
||||
при опечатках не возвращать Пермский край / Челябинск — но не резать
|
||||
легитимные Нижний Тагил / Серов и т.д. (генеральный bbox всего региона).
|
||||
ВАЖНО: фильтруем результаты по bbox области (region 66) прямо тут, чтобы при
|
||||
опечатках не возвращать Пермский край / Челябинск — но не резать легитимные
|
||||
Нижний Тагил / Серов и т.д. (генеральный bbox всей Свердловской области).
|
||||
|
||||
Two-pass tie-break: среди кандидатов предпочитаем того, кто попадает в TIGHT
|
||||
bbox региона (byte-identical для region_code=66, даже если Nominatim
|
||||
ранжировал его не первым) — иначе первый кандидат внутри генерального bbox
|
||||
региона. Плюс region cross-check (`address.state`) — отсекает кандидатов
|
||||
ЯВНО из другого региона (Тюмень и т.п.), даже если координаты попали в
|
||||
генеральный bbox. `region_code=66` (дефолт) — byte-identical прежнему
|
||||
поведению (те же bbox-значения и та же viewbox-строка).
|
||||
ЕКБ-bbox (byte-identical для ЕКБ-запросов, даже если Nominatim ранжировал его
|
||||
не первым) — иначе первый кандидат внутри OBLAST66. Плюс region cross-check
|
||||
(`address.state`) — отсекает кандидатов ЯВНО из другого региона (Тюмень и
|
||||
т.п.), даже если координаты попали в генеральный bbox.
|
||||
"""
|
||||
region = _ALL_REGIONS[region_code]
|
||||
viewbox = _viewbox_for_region(region_code)
|
||||
await _nominatim_throttle()
|
||||
response = await client.get(
|
||||
"https://nominatim.openstreetmap.org/search",
|
||||
|
|
@ -810,8 +717,8 @@ async def _nominatim_query(
|
|||
"limit": "3",
|
||||
"countrycodes": "ru",
|
||||
"addressdetails": "1",
|
||||
"viewbox": viewbox,
|
||||
"bounded": "1", # строго в пределах региона
|
||||
"viewbox": OBLAST66_VIEWBOX["viewbox"],
|
||||
"bounded": "1", # строго в пределах области (region 66)
|
||||
},
|
||||
)
|
||||
response.raise_for_status()
|
||||
|
|
@ -823,11 +730,11 @@ async def _nominatim_query(
|
|||
lon_f = float(item["lon"])
|
||||
except Exception:
|
||||
continue
|
||||
if _nominatim_region_ok(item, region_code) is False:
|
||||
continue # регион явно не тот, что запрошен — не рассматриваем
|
||||
if is_within_bbox(lat_f, lon_f, region.bbox_tight):
|
||||
return item # tight-bbox приоритетнее — тот же результат, что и раньше
|
||||
if oblast_fallback is None and is_within_bbox(lat_f, lon_f, region.bbox_region):
|
||||
if _nominatim_region_ok(item) is False:
|
||||
continue # регион явно не Свердловская область — не рассматриваем
|
||||
if is_within_ekb_bbox(lat_f, lon_f):
|
||||
return item # tight-ЕКБ приоритетнее — тот же результат, что и раньше
|
||||
if oblast_fallback is None and is_within_oblast66_bbox(lat_f, lon_f):
|
||||
oblast_fallback = item
|
||||
return oblast_fallback
|
||||
|
||||
|
|
@ -849,25 +756,21 @@ async def _nominatim_query(
|
|||
# если голый tenacity.RetryError (не httpx-исключение) всплывёт откуда-то ещё
|
||||
# (belt-and-suspenders для retry-кода без reraise=True, напр. scraper_kit).
|
||||
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=8), reraise=True)
|
||||
async def _nominatim_lookup(
|
||||
address: str, city_hint: str | None = None, region_code: int = 66
|
||||
) -> GeocodeResult | None:
|
||||
async def _nominatim_lookup(address: str, city_hint: str | None = None) -> GeocodeResult | None:
|
||||
"""OSM Nominatim — бесплатно, без ключа, 1 req/sec policy.
|
||||
|
||||
Бан-policy: User-Agent с email обязателен.
|
||||
Tier 1: bounded регион `region_code` на оригинальный адрес.
|
||||
Tier 2: bounded регион `region_code` на typo-варианты (Цвилинга → Цвиллинга).
|
||||
Tier 1: bounded область (region 66) на оригинальный адрес.
|
||||
Tier 2: bounded область (region 66) на typo-варианты (Цвилинга → Цвиллинга).
|
||||
|
||||
#2580 (C): city_hint, если известен, подставляется в текст запроса — без
|
||||
него `_nominatim_query` полагается ТОЛЬКО на region-bbox фильтр + tie-break
|
||||
(предпочитает tight bbox региона), который для одноимённых улиц ВНУТРИ
|
||||
региона (напр. "Ленина" — и в Екатеринбурге, и в с. Свердловское) не
|
||||
различает город. Эмпирически подтверждено: "Ленина 1" без города →
|
||||
случайное село внутри области; "Нижний Тагил, Ленина 1" → корректно
|
||||
резолвится. Nominatim — единственный живой внешний провайдер (#2593:
|
||||
Yandex Geocoder удалён) — city_hint должен реально влиять на его результат,
|
||||
не только на кэш-ключ. `region_code=66` (дефолт, #3051) — byte-identical
|
||||
прежнему поведению для всех вызовов без аргумента.
|
||||
него `_nominatim_query` полагается ТОЛЬКО на oblast66-bbox фильтр + tie-break
|
||||
(предпочитает tight-ЕКБ bbox), который для одноимённых улиц ВНУТРИ региона
|
||||
(напр. "Ленина" — и в Екатеринбурге, и в с. Свердловское) не различает город.
|
||||
Эмпирически подтверждено: "Ленина 1" без города → случайное село внутри
|
||||
области; "Нижний Тагил, Ленина 1" → корректно резолвится. Nominatim —
|
||||
единственный живой внешний провайдер (#2593: Yandex Geocoder удалён) —
|
||||
city_hint должен реально влиять на его результат, не только на кэш-ключ.
|
||||
"""
|
||||
headers = {
|
||||
"User-Agent": f"TradeInMVP/0.1 (contact: {settings.contact_email})",
|
||||
|
|
@ -875,18 +778,18 @@ async def _nominatim_lookup(
|
|||
"Accept-Language": "ru,en;q=0.8",
|
||||
"Referer": "https://tradein-mvp.local/",
|
||||
}
|
||||
city, _ = _resolve_city_for_geocode(address, city_hint, region_code)
|
||||
city, _ = _resolve_city_for_geocode(address, city_hint)
|
||||
query = f"{city}, {address}" if city else address
|
||||
async with httpx.AsyncClient(timeout=10.0, headers=headers) as client:
|
||||
# Tier 1: оригинал
|
||||
item = await _nominatim_query(client, query, region_code)
|
||||
item = await _nominatim_query(client, query)
|
||||
|
||||
# Tier 2: typo-variants
|
||||
if item is None:
|
||||
for variant in _typo_variants(address, limit=4):
|
||||
variant_city, _ = _resolve_city_for_geocode(variant, city_hint, region_code)
|
||||
variant_city, _ = _resolve_city_for_geocode(variant, city_hint)
|
||||
variant_query = f"{variant_city}, {variant}" if variant_city else variant
|
||||
item = await _nominatim_query(client, variant_query, region_code)
|
||||
item = await _nominatim_query(client, variant_query)
|
||||
if item is not None:
|
||||
logger.info("nominatim typo-fixed: %s → %s", address, variant)
|
||||
break
|
||||
|
|
@ -907,33 +810,6 @@ async def _nominatim_lookup(
|
|||
# ── Suggest (автокомплит) ───────────────────────────────────────────────────
|
||||
|
||||
|
||||
# Части адреса приходят из реестров УЖЕ склеенными — и склеенными грязно:
|
||||
# ЕГРН `readable_address` печатает маркер без значения и оставляет лишний
|
||||
# пробел («г Екатеринбург, ул Фролова , д. 29, корп.»). Чиним склейку, а не
|
||||
# конкретный случай: один проход по частям — схлопнуть пробелы, выбросить
|
||||
# пустые и маркер-без-номера (корп./стр./лит./кв. и пр.), склеить обратно.
|
||||
_RE_ADDR_WS = re.compile(r"\s+")
|
||||
_RE_ADDR_BARE_MARKER = re.compile(
|
||||
r"^(?:д|дом|корп|корпус|к|стр|строение|соор|сооружение|лит|литера|литер"
|
||||
r"|кв|квартира|оф|офис|пом|помещение|вл|владение|уч|участок)\.?$",
|
||||
re.IGNORECASE,
|
||||
)
|
||||
|
||||
|
||||
def tidy_address(s: str) -> str:
|
||||
"""«г Екатеринбург, ул Фролова , д. 29, корп.» → «г Екатеринбург, ул Фролова, д. 29».
|
||||
|
||||
Часть без значения ВЫПАДАЕТ, а не печатается пустым маркером.
|
||||
"""
|
||||
parts = []
|
||||
for raw in s.split(","):
|
||||
part = _RE_ADDR_WS.sub(" ", raw).strip()
|
||||
if not part or _RE_ADDR_BARE_MARKER.match(part):
|
||||
continue
|
||||
parts.append(part)
|
||||
return ", ".join(parts)
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class GeocodeSuggestion:
|
||||
label: str # формат "Малышева 30, Октябрьский район"
|
||||
|
|
@ -946,36 +822,14 @@ class GeocodeSuggestion:
|
|||
# street/locality-кандидатов остаётся None (нет стабильного house-fias).
|
||||
fias_id: str | None = None
|
||||
|
||||
def __post_init__(self) -> None:
|
||||
# Единственная точка, через которую проходят ВСЕ тиры (cadastral/
|
||||
# geoportal/houses/DaData/Nominatim) — чистим здесь, а не у каждого.
|
||||
object.__setattr__(self, "label", tidy_address(self.label))
|
||||
object.__setattr__(self, "full_address", tidy_address(self.full_address))
|
||||
|
||||
|
||||
# ── DaData suggest wrapper ──────────────────────────────────────────────────
|
||||
# Маппинг DaData kind → GeocodeSuggestion.kind (внутри geocoder используется
|
||||
# 'locality' вместо 'city' — consistent с Nominatim-веткой).
|
||||
_DADATA_KIND_MAP = {"house": "house", "street": "street", "city": "locality"}
|
||||
|
||||
# region_code → значение поля DaData `region` (БЕЗ типа: «Свердловская», а не
|
||||
# «Свердловская область» — тип лежит отдельно в `region_type`). Реестр регионов
|
||||
# хранит человекочитаемое имя С типом, для hard-констрейнта оно не годится,
|
||||
# поэтому отдельная карта — по образцу `_REGION_STATE_MARKERS` для Nominatim.
|
||||
_DADATA_REGION_NAMES: dict[int, str] = {66: SVERDLOVSK_OBLAST_REGION, 77: "Москва"}
|
||||
|
||||
|
||||
def _dadata_region_name(region_code: int) -> str:
|
||||
"""Имя региона для hard-констрейнта DaData. Неизвестный код → ValueError."""
|
||||
try:
|
||||
return _DADATA_REGION_NAMES[region_code]
|
||||
except KeyError as exc:
|
||||
raise ValueError(f"dadata suggest: unknown region_code={region_code!r}") from exc
|
||||
|
||||
|
||||
async def _dadata_suggest(
|
||||
query: str, limit: int = 8, region_code: int = 66
|
||||
) -> list[GeocodeSuggestion]:
|
||||
async def _dadata_suggest(query: str, limit: int = 8) -> list[GeocodeSuggestion]:
|
||||
"""Обёртка над `dadata.suggest_addresses` — конвертит в GeocodeSuggestion.
|
||||
|
||||
Дроп candidate'ов без координат (DaData возвращает их для широких categories
|
||||
|
|
@ -986,8 +840,9 @@ async def _dadata_suggest(
|
|||
внутри `suggest_addresses`), а не один город ЕКБ — иначе Нижний Тагил/
|
||||
Серов/etc никогда не появились бы в подсказках.
|
||||
"""
|
||||
region_name = _dadata_region_name(region_code)
|
||||
raw = await dadata.suggest_addresses(query, limit=limit, city=None, region=region_name)
|
||||
raw = await dadata.suggest_addresses(
|
||||
query, limit=limit, city=None, region=SVERDLOVSK_OBLAST_REGION
|
||||
)
|
||||
if not raw:
|
||||
# Region-констрейнт — hard-filter: неверное значение схлопывает выдачу в
|
||||
# 0 БЕЗ ошибки (так и жил баг «Свердловская область» → 0 подсказок).
|
||||
|
|
@ -997,7 +852,7 @@ async def _dadata_suggest(
|
|||
"dadata suggest: 0 кандидатов для %r при region=%r — "
|
||||
"проверь, что констрейнт совпадает с полем DaData `region` (без типа)",
|
||||
query[:60],
|
||||
region_name,
|
||||
SVERDLOVSK_OBLAST_REGION,
|
||||
)
|
||||
out: list[GeocodeSuggestion] = []
|
||||
for s in raw:
|
||||
|
|
@ -1020,14 +875,8 @@ async def _dadata_suggest(
|
|||
return out
|
||||
|
||||
|
||||
async def _nominatim_query_multi(
|
||||
client: httpx.AsyncClient, query: str, limit: int, region_code: int = 66
|
||||
) -> list[dict]:
|
||||
"""Один Nominatim search с рамкой региона `region_code`. Возвращает up to N items.
|
||||
|
||||
`region_code=66` (дефолт) — byte-identical прежнему поведению: та же
|
||||
viewbox-строка `OBLAST66_VIEWBOX` (см. `_viewbox_for_region`).
|
||||
"""
|
||||
async def _nominatim_query_multi(client: httpx.AsyncClient, query: str, limit: int) -> list[dict]:
|
||||
"""Один Nominatim search с фильтром по bbox области (region 66). Возвращает up to N items."""
|
||||
await _nominatim_throttle()
|
||||
response = await client.get(
|
||||
"https://nominatim.openstreetmap.org/search",
|
||||
|
|
@ -1036,7 +885,7 @@ async def _nominatim_query_multi(
|
|||
"format": "json",
|
||||
"limit": str(limit),
|
||||
"countrycodes": "ru",
|
||||
"viewbox": _viewbox_for_region(region_code),
|
||||
"viewbox": OBLAST66_VIEWBOX["viewbox"],
|
||||
"bounded": "1",
|
||||
"addressdetails": "1",
|
||||
},
|
||||
|
|
@ -1073,12 +922,7 @@ def _dedupe_nominatim_items(*item_lists: list[dict]) -> list[dict]:
|
|||
|
||||
|
||||
async def _nominatim_query_city_aware(
|
||||
client: httpx.AsyncClient,
|
||||
query: str,
|
||||
city: str | None,
|
||||
city_specified: bool,
|
||||
limit: int,
|
||||
region_code: int = 66,
|
||||
client: httpx.AsyncClient, query: str, city: str | None, city_specified: bool, limit: int
|
||||
) -> list[dict]:
|
||||
"""Строит и выполняет Nominatim-запрос(ы) с учётом того, известен ли город.
|
||||
|
||||
|
|
@ -1101,25 +945,18 @@ async def _nominatim_query_city_aware(
|
|||
ЕКБ-кандидаты идут первыми (majority-случай, привычный порядок).
|
||||
"""
|
||||
if city:
|
||||
return await _nominatim_query_multi(
|
||||
client, f"{query}, {city}", limit, region_code=region_code
|
||||
)
|
||||
return await _nominatim_query_multi(client, f"{query}, {city}", limit)
|
||||
if city_specified:
|
||||
return await _nominatim_query_multi(client, query, limit, region_code=region_code)
|
||||
# Город неизвестен — dual-query с суффиксом главного города региона
|
||||
# (66 → "Екатеринбург", byte-identical; прочие — см. `_region_default_city`).
|
||||
default_city = _region_default_city(region_code)
|
||||
city_data = await _nominatim_query_multi(
|
||||
client, f"{query}, {default_city}", limit, region_code=region_code
|
||||
)
|
||||
bare_data = await _nominatim_query_multi(client, query, limit, region_code=region_code)
|
||||
return _dedupe_nominatim_items(city_data, bare_data)[:limit]
|
||||
return await _nominatim_query_multi(client, query, limit)
|
||||
ekb_data = await _nominatim_query_multi(client, f"{query}, Екатеринбург", limit)
|
||||
bare_data = await _nominatim_query_multi(client, query, limit)
|
||||
return _dedupe_nominatim_items(ekb_data, bare_data)[:limit]
|
||||
|
||||
|
||||
# reraise=True — см. комментарий у `_nominatim_lookup` (GlitchTip RetryError-шум).
|
||||
@retry(stop=stop_after_attempt(2), wait=wait_exponential(multiplier=1, min=1, max=4), reraise=True)
|
||||
async def _nominatim_suggest(
|
||||
query: str, limit: int = 8, city_hint: str | None = None, region_code: int = 66
|
||||
query: str, limit: int = 8, city_hint: str | None = None
|
||||
) -> list[GeocodeSuggestion]:
|
||||
"""Nominatim в режиме suggest. С typo-fallback (для случаев когда оригинальный
|
||||
запрос ничего не находит).
|
||||
|
|
@ -1137,26 +974,17 @@ async def _nominatim_suggest(
|
|||
"Accept": "application/json",
|
||||
"Accept-Language": "ru,en;q=0.8",
|
||||
}
|
||||
city, city_specified = _resolve_city_for_geocode(query, city_hint, region_code)
|
||||
city, city_specified = _resolve_city_for_geocode(query, city_hint)
|
||||
async with httpx.AsyncClient(timeout=8.0, headers=headers) as client:
|
||||
# Tier 1: оригинальный query
|
||||
data = await _nominatim_query_city_aware(
|
||||
client, query, city, city_specified, limit, region_code=region_code
|
||||
)
|
||||
data = await _nominatim_query_city_aware(client, query, city, city_specified, limit)
|
||||
|
||||
# Tier 2: typo-варианты если оригинал пустой
|
||||
if not data:
|
||||
for variant in _typo_variants(query, limit=3):
|
||||
variant_city, variant_specified = _resolve_city_for_geocode(
|
||||
variant, city_hint, region_code
|
||||
)
|
||||
variant_city, variant_specified = _resolve_city_for_geocode(variant, city_hint)
|
||||
data = await _nominatim_query_city_aware(
|
||||
client,
|
||||
variant,
|
||||
variant_city,
|
||||
variant_specified,
|
||||
limit,
|
||||
region_code=region_code,
|
||||
client, variant, variant_city, variant_specified, limit
|
||||
)
|
||||
if data:
|
||||
logger.info("nominatim suggest typo-fixed: %s → %s", query, variant)
|
||||
|
|
@ -1832,11 +1660,7 @@ def _cadastral_reverse_sync(db: Session, lat: float, lon: float, radius_m: int =
|
|||
|
||||
|
||||
async def suggest(
|
||||
query: str,
|
||||
db: Session | None = None,
|
||||
limit: int = 8,
|
||||
city_hint: str | None = None,
|
||||
region_code: int = 66,
|
||||
query: str, db: Session | None = None, limit: int = 8, city_hint: str | None = None
|
||||
) -> list[GeocodeSuggestion]:
|
||||
"""Автокомплит адресов в Свердловской области (region 66; ЕКБ — основной трафик,
|
||||
остаётся быстрым fast-path). Cadastral FDW → DaData → Nominatim → [].
|
||||
|
|
@ -1850,22 +1674,10 @@ async def suggest(
|
|||
(#2593: Yandex Geocoder, который был primary external provider до DaData,
|
||||
удалён). DaData region-constraint уже охватывает всю область (не только
|
||||
ЕКБ) — city_hint ей не нужен.
|
||||
region_code: регион покрытия (дефолт 66, #3051) — какой регион уходит в
|
||||
hard-констрейнты провайдеров: DaData `region` (`_dadata_region_name`) и
|
||||
Nominatim `viewbox`+bounded (`_viewbox_for_region`). БЕЗ него московский
|
||||
адрес молча схлопывался в пустой список: оба констрейнта — ФИЛЬТРЫ, а не
|
||||
boost, и «не тот регион» неотличимо от «адрес не найден». Локальные
|
||||
ЕКБ-тиры (кадастр) для region_code != 66 пропускаются целиком — данных
|
||||
по другим регионам в FDW физически нет. Дефолт — byte-identical
|
||||
прежнему поведению по Свердловской области.
|
||||
Без кэша (дешёво, провайдеры толерируют автокомплит-запросы).
|
||||
"""
|
||||
if not query or len(query.strip()) < 2:
|
||||
return []
|
||||
try:
|
||||
_ALL_REGIONS[region_code]
|
||||
except KeyError as exc:
|
||||
raise ValueError(f"suggest: unknown region_code={region_code!r}") from exc
|
||||
|
||||
# Tier 1: cadastral FDW (если db доступна) — самый быстрый, без внешних запросов.
|
||||
# EKB-only fail-closed гейт (#2582, было #11) — пропускаем, если query явно
|
||||
|
|
@ -1875,21 +1687,17 @@ async def suggest(
|
|||
# иначе хинт мёртвый параметр для этого тира, см. `_ekb_local_tiers_allowed`
|
||||
# и `geocode()` ниже — тот же гейт). Внешние тиры (2/3 ниже) не гейтим —
|
||||
# они уже oblast-aware.
|
||||
# #3051: `region_code != 66` закрывает кадастровый тир ДО `_ekb_local_tiers_allowed`
|
||||
# — gendesign_cad_buildings содержит только ЕКБ, звать его для Москвы значит
|
||||
# платить FDW-round-trip ради гарантированного нуля (тот же гейт в
|
||||
# `_geocode_resolve`; сигнатуру `_ekb_local_tiers_allowed` умышленно не трогаем).
|
||||
if db is not None and region_code == 66 and _ekb_local_tiers_allowed(query, city_hint):
|
||||
if db is not None and _ekb_local_tiers_allowed(query, city_hint):
|
||||
# 1a. Anchored house-match: парсим street+house → точный матч по дом-маркеру.
|
||||
# Решает кейс «Серова 27» где raw-ILIKE по readable_address давал 0 hits.
|
||||
parsed = _parse_street_house(query.strip())
|
||||
if parsed is not None:
|
||||
street, house = parsed
|
||||
hit = await run_db_thread(_cadastral_house_match, db, street, house)
|
||||
hit = await asyncio.to_thread(_cadastral_house_match, db, street, house)
|
||||
if hit is not None:
|
||||
return [hit]
|
||||
# 1b. Fallback: legacy raw-ILIKE forward search (для нераспарсенных форм)
|
||||
cad_results = await run_db_thread(_cadastral_forward_sync, db, query.strip(), limit)
|
||||
cad_results = await asyncio.to_thread(_cadastral_forward_sync, db, query.strip(), limit)
|
||||
if cad_results:
|
||||
return cad_results
|
||||
|
||||
|
|
@ -1897,7 +1705,7 @@ async def suggest(
|
|||
# лучший fit для РФ адресов.
|
||||
if settings.dadata_api_token:
|
||||
try:
|
||||
dadata_results = await _dadata_suggest(query, limit, region_code)
|
||||
dadata_results = await _dadata_suggest(query, limit)
|
||||
if dadata_results:
|
||||
return dadata_results
|
||||
except Exception:
|
||||
|
|
@ -1905,16 +1713,14 @@ async def suggest(
|
|||
|
||||
# Tier 3: Nominatim (последний fallback — OSM, без ключа)
|
||||
try:
|
||||
return await _nominatim_suggest(query, limit, city_hint=city_hint, region_code=region_code)
|
||||
return await _nominatim_suggest(query, limit, city_hint=city_hint)
|
||||
except Exception:
|
||||
logger.exception("nominatim suggest failed")
|
||||
return []
|
||||
|
||||
|
||||
# ── Public API ───────────────────────────────────────────────────────────────
|
||||
async def geocode(
|
||||
address: str, db: Session, city_hint: str | None = None, region_code: int = 66
|
||||
) -> GeocodeResult | None:
|
||||
async def geocode(address: str, db: Session, city_hint: str | None = None) -> GeocodeResult | None:
|
||||
"""Геокодинг с кэшем + постфактум-проверка подмены города (#2590).
|
||||
|
||||
Тонкая обёртка над `_geocode_resolve` (вся тировая цепочка там). Инвариант
|
||||
|
|
@ -1932,21 +1738,8 @@ async def geocode(
|
|||
То есть объявление, уехавшее координатами в чужой город, перестаёт тянуть
|
||||
за собой чужие оценки. Координаты НЕ выбрасываются — деградация честная и
|
||||
видимая, а не отказ.
|
||||
|
||||
`region_code` (дефолт 66, #3051) — какой `REGIONS`-регион искать (bbox,
|
||||
city-словарь, ЕКБ-only локальные тиры). Неизвестный код → `ValueError`
|
||||
сразу, а не глубоко внутри `_nominatim_query`. Все существующие вызовы без
|
||||
аргумента получают region_code=66 — byte-identical прежнему поведению.
|
||||
`_city_substituted` region_code не принимает: инвариант завязан на
|
||||
ЕКБ-bbox координат результата (`is_within_ekb_bbox`), который для другого
|
||||
региона (Москва и т.п.) структурно не совпадает — условие 3 инварианта
|
||||
никогда не сработает, ложного понижения confidence до "locality" не будет.
|
||||
"""
|
||||
try:
|
||||
_ALL_REGIONS[region_code]
|
||||
except KeyError as exc:
|
||||
raise ValueError(f"geocode: unknown region_code={region_code!r}") from exc
|
||||
result = await _geocode_resolve(address, db, city_hint, region_code)
|
||||
result = await _geocode_resolve(address, db, city_hint)
|
||||
if result is None or not _city_substituted(address, result):
|
||||
return result
|
||||
logger.warning(
|
||||
|
|
@ -1962,7 +1755,7 @@ async def geocode(
|
|||
|
||||
|
||||
async def _geocode_resolve(
|
||||
address: str, db: Session, city_hint: str | None = None, region_code: int = 66
|
||||
address: str, db: Session, city_hint: str | None = None
|
||||
) -> GeocodeResult | None:
|
||||
"""Геокодинг с кэшем. Cadastral FDW → Nominatim → None.
|
||||
|
||||
|
|
@ -1976,10 +1769,6 @@ async def _geocode_resolve(
|
|||
участвует в cache-ключе (см. `_cache_key`), чтобы ответы для
|
||||
разных городов по одному и тому же тексту адреса не перезатирали
|
||||
друг друга.
|
||||
region_code: регион покрытия (дефолт 66, #3051). ЕКБ-only локальные
|
||||
тиры (geoportal/cad_buildings/houses) применяются ТОЛЬКО при 66 —
|
||||
это ЕКБ-специфичные реестры, у других регионов данных в них нет.
|
||||
Прокидывается в Nominatim-тир (bbox/viewbox/city-словарь).
|
||||
|
||||
Returns:
|
||||
GeocodeResult или None если ни один провайдер не отвечает.
|
||||
|
|
@ -1990,13 +1779,13 @@ async def _geocode_resolve(
|
|||
if not address or len(address.strip()) < 3:
|
||||
return None
|
||||
|
||||
_, city_specified = _resolve_city_for_geocode(address, city_hint, region_code)
|
||||
_, city_specified = _resolve_city_for_geocode(address, city_hint)
|
||||
city_ambiguous = not city_specified
|
||||
|
||||
addr_norm = _cache_key(normalize_address(address), city_hint)
|
||||
|
||||
# 1. Cache (sync DB-IO → offload в threadpool, чтобы не блокировать event loop)
|
||||
cached = await run_db_thread(_cache_get, db, addr_norm)
|
||||
cached = await asyncio.to_thread(_cache_get, db, addr_norm)
|
||||
if cached is not None:
|
||||
logger.info("geocode cache hit: %s", addr_norm)
|
||||
return replace(cached, city_ambiguous=city_ambiguous)
|
||||
|
|
@ -2016,20 +1805,13 @@ async def _geocode_resolve(
|
|||
# Раньше решение по тексту адреса принималось от противного (список из 37
|
||||
# городов — «нет в списке → считаем ЕКБ»), из-за чего любой другой регион
|
||||
# РФ (Ялта, Трёхгорный) молча резолвился в координаты ЕКБ (#2582).
|
||||
#
|
||||
# #3051: `region_code != 66` закрывает эти тиры целиком, ДО вызова
|
||||
# `_ekb_local_tiers_allowed` — geoportal/cad_buildings/houses физически не
|
||||
# содержат данных других регионов (не "город не распознан словарём 66", а
|
||||
# "реестра для этого региона нет вовсе"), а сама `_ekb_local_tiers_allowed`
|
||||
# (её ЕКБ-словари: `_names_non_ekb_city`/`_names_unrecognized_locality`)
|
||||
# region_code не принимает — умышленно не трогаем её сигнатуру.
|
||||
use_local_ekb = region_code == 66 and _ekb_local_tiers_allowed(address, city_hint)
|
||||
use_local_ekb = _ekb_local_tiers_allowed(address, city_hint)
|
||||
|
||||
# 2a. Геопортал ЕКБ — ПЕРВЫЙ локальный tier (полнее cad_buildings ~на 70%).
|
||||
if use_local_ekb and parsed is not None:
|
||||
street, house = parsed
|
||||
try:
|
||||
hit = await run_db_thread(_geoportal_house_match, db, street, house)
|
||||
hit = await asyncio.to_thread(_geoportal_house_match, db, street, house)
|
||||
except Exception:
|
||||
logger.warning("geoportal house-match raised — fall through", exc_info=True)
|
||||
hit = None
|
||||
|
|
@ -2042,7 +1824,7 @@ async def _geocode_resolve(
|
|||
confidence="exact",
|
||||
city_ambiguous=city_ambiguous,
|
||||
)
|
||||
await run_db_thread(_cache_put, db, addr_norm, result)
|
||||
await asyncio.to_thread(_cache_put, db, addr_norm, result)
|
||||
logger.info(
|
||||
"geocode geoportal house-match: %s → (%.5f, %.5f)",
|
||||
addr_norm,
|
||||
|
|
@ -2057,7 +1839,7 @@ async def _geocode_resolve(
|
|||
# (литеральная подстрока не совпадает).
|
||||
if use_local_ekb and parsed is not None:
|
||||
street, house = parsed
|
||||
hit = await run_db_thread(_cadastral_house_match, db, street, house)
|
||||
hit = await asyncio.to_thread(_cadastral_house_match, db, street, house)
|
||||
if hit is not None:
|
||||
result = GeocodeResult(
|
||||
lat=hit.lat,
|
||||
|
|
@ -2067,7 +1849,7 @@ async def _geocode_resolve(
|
|||
confidence="exact",
|
||||
city_ambiguous=city_ambiguous,
|
||||
)
|
||||
await run_db_thread(_cache_put, db, addr_norm, result)
|
||||
await asyncio.to_thread(_cache_put, db, addr_norm, result)
|
||||
logger.info(
|
||||
"geocode cadastral house-match: %s → (%.5f, %.5f)",
|
||||
addr_norm,
|
||||
|
|
@ -2078,7 +1860,9 @@ async def _geocode_resolve(
|
|||
|
||||
# 2d. Fallback: legacy raw-ILIKE forward search (для нераспарсенных форм)
|
||||
if use_local_ekb:
|
||||
cad_suggestions = await run_db_thread(_cadastral_forward_sync, db, address.strip(), limit=1)
|
||||
cad_suggestions = await asyncio.to_thread(
|
||||
_cadastral_forward_sync, db, address.strip(), limit=1
|
||||
)
|
||||
if cad_suggestions:
|
||||
s = cad_suggestions[0]
|
||||
result = GeocodeResult(
|
||||
|
|
@ -2089,7 +1873,7 @@ async def _geocode_resolve(
|
|||
confidence="exact",
|
||||
city_ambiguous=city_ambiguous,
|
||||
)
|
||||
await run_db_thread(_cache_put, db, addr_norm, result)
|
||||
await asyncio.to_thread(_cache_put, db, addr_norm, result)
|
||||
logger.info(
|
||||
"geocode cadastral fdw: %s → (%.5f, %.5f)", addr_norm, result.lat, result.lon
|
||||
)
|
||||
|
|
@ -2097,10 +1881,10 @@ async def _geocode_resolve(
|
|||
|
||||
# 3. Nominatim fallback
|
||||
try:
|
||||
result = await _nominatim_lookup(address, city_hint, region_code)
|
||||
result = await _nominatim_lookup(address, city_hint)
|
||||
if result is not None:
|
||||
result = replace(result, city_ambiguous=city_ambiguous)
|
||||
await run_db_thread(_cache_put, db, addr_norm, result)
|
||||
await asyncio.to_thread(_cache_put, db, addr_norm, result)
|
||||
logger.info("geocode nominatim: %s → (%.5f, %.5f)", addr_norm, result.lat, result.lon)
|
||||
return result
|
||||
except Exception:
|
||||
|
|
@ -2119,7 +1903,7 @@ async def _geocode_resolve(
|
|||
if use_local_ekb and parsed is not None:
|
||||
local_street, _parsed_house = parsed
|
||||
local_house = _extract_local_house_token(address) or _parsed_house
|
||||
hit = await run_db_thread(_local_houses_match, db, local_street, local_house)
|
||||
hit = await asyncio.to_thread(_local_houses_match, db, local_street, local_house)
|
||||
if hit is not None:
|
||||
result = GeocodeResult(
|
||||
lat=hit.lat,
|
||||
|
|
@ -2328,7 +2112,7 @@ async def reverse_geocode(
|
|||
"""
|
||||
# 1. Cadastral FDW primary (без внешнего API, возвращает жилой дом not POI)
|
||||
if db is not None:
|
||||
cad = await run_db_thread(_cadastral_reverse_sync_full, db, lat, lon)
|
||||
cad = await asyncio.to_thread(_cadastral_reverse_sync_full, db, lat, lon)
|
||||
if cad is not None:
|
||||
address, snap_lat, snap_lon = cad
|
||||
return ReverseGeocodeResult(
|
||||
|
|
|
|||
|
|
@ -142,8 +142,7 @@ class LocationIndexResult(BaseModel):
|
|||
sample_size: int
|
||||
radius_m: int
|
||||
nearby_poi: list[NearbyPoi]
|
||||
poi_status: str # "ok" | "unavailable" (osm_poi_ekb_local пуста/не отрефрешена
|
||||
# ДЛЯ ПРОДУКТ-ЯДРА РЕГИОНА точки — не глобальный count(*) по таблице)
|
||||
poi_status: str # "ok" | "unavailable" (osm_poi_ekb_local пуста/не отрефрешена)
|
||||
|
||||
|
||||
def _pct_deviation(local_median_ppm2: float, city_median_ppm2: float) -> float:
|
||||
|
|
@ -208,27 +207,9 @@ def _pct_deviation(local_median_ppm2: float, city_median_ppm2: float) -> float:
|
|||
# упирается в отказ редко — прод-симуляция на 246 реальных точках оценок:
|
||||
# insufficient_data 0 → 1 точка (0.4%), 800м хватает 241 точке из 246.
|
||||
#
|
||||
# bbox-фильтр (lat/lon) — сопоставимые листинги считаются ТОЛЬКО в продукт-ядре региона,
|
||||
# даже если сам продукт уже скрейпит соседние города/области (city-sweep): географию
|
||||
# location_index явно ограничил владелец продукта.
|
||||
#
|
||||
# region_code (дефект Москвы, прод-замер 13.09.2026): bbox продукт-ядра — геометрический
|
||||
# прямоугольник, а границы регионов НЕ прямоугольны — в московское ядро (55.55..55.95 /
|
||||
# 37.30..37.90) попадают Химки/Реутов/Котельники/Люберцы (region_code=50). Внутри ядра 77
|
||||
# лежало 16 801 лот региона 50 (медиана 251 295 ₽/м²) и 82 719 лотов региона 77 (медиана
|
||||
# 458 208) — примесь заниженная городскую медиану до 422 222 (−7.9%). У областных строк
|
||||
# `city IS NULL`, фильтровать по имени города нельзя — только по region_code.
|
||||
#
|
||||
# СТРОГОЕ равенство, БЕЗ `OR region_code IS NULL`: строка без региона не считается ни за
|
||||
# один регион. Второй прод-замер (13.09.2026, полный набор фильтров модуля — is_active,
|
||||
# price sanity, geo_precision, свежесть 14 дней, сегмент, bbox ядра 66): 15 858 строк
|
||||
# проходят фильтры, из них 3 с NULL region_code; медиана с ними 151 101 ₽/м², без них
|
||||
# 151 103 — сдвиг 2 рубля на 151 тысяче (0.001%), статистически ничто для 66. Взамен —
|
||||
# `region_code IS NULL` НЕ постоянная лазейка того же класса, что и сам дефект: в
|
||||
# `listings` 16 930 NULL-region строк Avito, 24 из них лежат в bbox Москвы и сегодня не
|
||||
# проходят по свежести — но могут завтра. Мягкий `OR NULL` тихо открыл бы им дорогу
|
||||
# обратно в московскую медиану ровно тем же путём, каким туда попадала Московская
|
||||
# область. Три рубля на 66 — цена закрытия дыры, а не повод её оставить.
|
||||
# bbox-фильтр (lat/lon) — сопоставимые листинги считаются ТОЛЬКО по Екатеринбургу, даже если
|
||||
# сам продукт уже скрейпит соседние города области (city-sweep): географию location_index
|
||||
# явно ограничил владелец продукта.
|
||||
_MEDIAN_PPM2_LOCAL_SQL = text(
|
||||
"""
|
||||
SELECT
|
||||
|
|
@ -242,7 +223,6 @@ _MEDIAN_PPM2_LOCAL_SQL = text(
|
|||
AND (geo_precision IS DISTINCT FROM 'city')
|
||||
AND scraped_at > NOW() - (:fresh_days || ' days')::interval
|
||||
AND (listing_segment IS NULL OR listing_segment = 'vtorichka')
|
||||
AND region_code = CAST(:region_code AS integer)
|
||||
AND lat BETWEEN CAST(:bbox_south AS double precision)
|
||||
AND CAST(:bbox_north AS double precision)
|
||||
AND lon BETWEEN CAST(:bbox_west AS double precision)
|
||||
|
|
@ -268,7 +248,6 @@ _MEDIAN_PPM2_CITYWIDE_SQL = text(
|
|||
AND (geo_precision IS DISTINCT FROM 'city')
|
||||
AND scraped_at > NOW() - (:fresh_days || ' days')::interval
|
||||
AND (listing_segment IS NULL OR listing_segment = 'vtorichka')
|
||||
AND region_code = CAST(:region_code AS integer)
|
||||
AND lat BETWEEN CAST(:bbox_south AS double precision)
|
||||
AND CAST(:bbox_north AS double precision)
|
||||
AND lon BETWEEN CAST(:bbox_west AS double precision)
|
||||
|
|
@ -276,17 +255,6 @@ _MEDIAN_PPM2_CITYWIDE_SQL = text(
|
|||
"""
|
||||
)
|
||||
|
||||
_POI_COUNT_IN_REGION_SQL = text(
|
||||
"""
|
||||
SELECT count(*) AS n
|
||||
FROM osm_poi_ekb_local
|
||||
WHERE lat BETWEEN CAST(:bbox_south AS double precision)
|
||||
AND CAST(:bbox_north AS double precision)
|
||||
AND lon BETWEEN CAST(:bbox_west AS double precision)
|
||||
AND CAST(:bbox_east AS double precision)
|
||||
"""
|
||||
)
|
||||
|
||||
_NEAREST_POI_SQL = text(
|
||||
"""
|
||||
SELECT
|
||||
|
|
@ -325,7 +293,6 @@ def _local_median_ppm2(
|
|||
"fresh_days": LISTINGS_FRESH_DAYS,
|
||||
"price_min": _PRICE_PER_M2_SANITY_MIN,
|
||||
"price_max": _PRICE_PER_M2_SANITY_MAX,
|
||||
"region_code": region.code,
|
||||
"bbox_south": lat_min,
|
||||
"bbox_north": lat_max,
|
||||
"bbox_west": lon_min,
|
||||
|
|
@ -350,7 +317,6 @@ def _citywide_median_ppm2(db: Any, region: regions_mod.Region) -> tuple[float |
|
|||
"fresh_days": LISTINGS_FRESH_DAYS,
|
||||
"price_min": _PRICE_PER_M2_SANITY_MIN,
|
||||
"price_max": _PRICE_PER_M2_SANITY_MAX,
|
||||
"region_code": region.code,
|
||||
"bbox_south": lat_min,
|
||||
"bbox_north": lat_max,
|
||||
"bbox_west": lon_min,
|
||||
|
|
@ -367,38 +333,18 @@ def _citywide_median_ppm2(db: Any, region: regions_mod.Region) -> tuple[float |
|
|||
|
||||
|
||||
def _fetch_nearby_poi(
|
||||
db: Any, lat: float, lon: float, radius_m: int, top_n: int, region: regions_mod.Region
|
||||
db: Any, lat: float, lon: float, radius_m: int, top_n: int
|
||||
) -> tuple[list[NearbyPoi], str]:
|
||||
"""Top-N POI поблизости — качественная справка «что рядом», не числовой показатель.
|
||||
|
||||
Graceful fallback → ([], "unavailable") вместо 500 или сфабрикованного списка. Дефект
|
||||
(прод 13.09.2026): гейт раньше смотрел на count(*) ПО ВСЕЙ osm_poi_ekb_local (4 850
|
||||
строк, все екатеринбургские) — для Москвы это count > 0 (таблица не пуста), и статус
|
||||
молча становился "ok" с пустым списком, хотя внутри московского продукт-ядра лежит 0
|
||||
POI. Гейт обязан смотреть на наличие POI В РЕЛЕВАНТНОЙ области (bbox_product_core
|
||||
региона точки), а не на размер таблицы целиком. Загрузка московских POI — отдельная
|
||||
задача; здесь только честная деградация тем же статусом "unavailable" (терминология
|
||||
не расширяется — trade_in.py и так трактует его как «нет данных», см. #2131).
|
||||
Graceful fallback: osm_poi_ekb_local пуста (рефреш ещё не запускался на этом окружении)
|
||||
→ ([], "unavailable") вместо 500 или сфабрикованного списка.
|
||||
"""
|
||||
lat_min, lat_max, lon_min, lon_max = region.bbox_product_core
|
||||
in_region = (
|
||||
db.execute(
|
||||
_POI_COUNT_IN_REGION_SQL,
|
||||
{
|
||||
"bbox_south": lat_min,
|
||||
"bbox_north": lat_max,
|
||||
"bbox_west": lon_min,
|
||||
"bbox_east": lon_max,
|
||||
},
|
||||
).scalar()
|
||||
or 0
|
||||
)
|
||||
if in_region == 0:
|
||||
total = db.execute(text("SELECT count(*) FROM osm_poi_ekb_local")).scalar() or 0
|
||||
if total == 0:
|
||||
logger.warning(
|
||||
"location_index: osm_poi_ekb_local has no rows in region=%s product core "
|
||||
"(empty or refresh job not yet run for this region) — nearby_poi unavailable, "
|
||||
"no fabricated factors",
|
||||
region.code,
|
||||
"location_index: osm_poi_ekb_local is empty (refresh job not yet run on this "
|
||||
"environment) — nearby_poi unavailable, no fabricated factors"
|
||||
)
|
||||
return [], "unavailable"
|
||||
|
||||
|
|
@ -477,7 +423,7 @@ def compute_location_index(
|
|||
poi_status="unavailable",
|
||||
)
|
||||
|
||||
nearby_poi, poi_status = _fetch_nearby_poi(db, lat, lon, poi_radius_m, poi_top_n, region)
|
||||
nearby_poi, poi_status = _fetch_nearby_poi(db, lat, lon, poi_radius_m, poi_top_n)
|
||||
|
||||
city_median, city_n = _citywide_median_ppm2(db, region)
|
||||
if city_median is None or city_n < MIN_SAMPLE_SIZE:
|
||||
|
|
|
|||
|
|
@ -126,14 +126,7 @@ class TBankClient:
|
|||
try:
|
||||
async with httpx.AsyncClient(timeout=self._timeout) as client:
|
||||
response = await client.post(url, json=body)
|
||||
# Родитель всех транспортных отказов, а не пара TimeoutException +
|
||||
# NetworkError: RemoteProtocolError (банк оборвал ответ), ProxyError и
|
||||
# UnsupportedProtocol мимо той пары летели наружу голым httpx-исключением.
|
||||
# Вызывающая сторона ловит только TBankApiError, поэтому строка платежа
|
||||
# оставалась NEW без payment_url — то есть невидимой для
|
||||
# _find_live_payment, но видимой предикату UNIQUE миграции 279, и
|
||||
# покупатель запирался на _ABANDONED_AFTER_MINUTES из-за сбоя банка.
|
||||
except httpx.TransportError as exc:
|
||||
except (httpx.TimeoutException, httpx.NetworkError) as exc:
|
||||
if attempt > max_retries:
|
||||
logger.error(
|
||||
"tbank client: %s — network error после %d попыток: %s",
|
||||
|
|
|
|||
|
|
@ -3,12 +3,8 @@
|
|||
`build_product_handlers(ctx)` собирает реестр НЕ-sweep source'ов, тело которых
|
||||
осталось в `app` (rosreestr_dkp / sber_index / deactivate_stale_* / *_backfill /
|
||||
cadastral_geo_match / house_* / proxy_healthcheck / …). Kit-native sweep-оркестраторы
|
||||
(avito/yandex/cian/domclick full-load) регистрируются самим `build_registry` через
|
||||
`_default_kit_handlers` — здесь их НЕТ. Исключение: `domclick_city_sweep` (#3264) —
|
||||
kit-native тело осталось прежним (`run_domclick_city_sweep`), но здесь переопределён
|
||||
Handler, который ДО вызова читает БД за куки сессии (kit не имеет права на app.*/БД,
|
||||
см. докстринг `_job_domclick_city_sweep` ниже); `build_registry` явно допускает такое
|
||||
переопределение продуктовым ключом.
|
||||
(avito/yandex/cian/domclick city/full-load) регистрируются самим `build_registry`
|
||||
через `_default_kit_handlers` — здесь их НЕТ.
|
||||
|
||||
Дизайн-инвариант: НЕ дублируем логику. Каждый `job` переиспользует существующую боевую
|
||||
джоб-функцию (`app.services.scheduler.import_rosreestr_dkp`, `app.tasks.*`,
|
||||
|
|
@ -36,12 +32,6 @@ from scraper_kit.orchestration.scheduler import (
|
|||
from scraper_kit.orchestration.scheduler import (
|
||||
_defer_next_run_at as kit_defer_next_run_at,
|
||||
)
|
||||
from scraper_kit.orchestration.scheduler import (
|
||||
_pick_resume as kit_pick_resume,
|
||||
)
|
||||
from scraper_kit.orchestration.scheduler import (
|
||||
_resolve_region_code as kit_resolve_region_code,
|
||||
)
|
||||
|
||||
if TYPE_CHECKING:
|
||||
from scraper_kit.orchestration.scheduler import SchedulerContext
|
||||
|
|
@ -328,34 +318,6 @@ async def _job_landing_stats(
|
|||
await loop.run_in_executor(None, refresh_landing_stats, db, run_id, params)
|
||||
|
||||
|
||||
# ── landing_showcase_deals — sync пересчёт витрины сделок в executor ─────────
|
||||
async def _job_landing_showcase_deals(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
) -> None:
|
||||
"""Пересчёт витрины сделок публичного лэндинга (#3469).
|
||||
|
||||
ЛАЙФСАЙКЛ ПРОГОНА ВЕДЁТ HANDLER, а не задача. `refresh_landing_showcase_deals`
|
||||
писалась под ручной запуск (`python -m app.tasks.landing_showcase_deals`) и про
|
||||
`run_id` ничего не знает — тот же случай, что у `_job_refresh_search_matview`,
|
||||
и решается так же: done/failed ставим здесь.
|
||||
|
||||
Параметры берём ИЗ РАСПИСАНИЯ только те, что в нём есть: дефолты живут в
|
||||
сигнатуре задачи, и повтор их здесь дал бы два места, которые разъедутся.
|
||||
"""
|
||||
from app.tasks.landing_showcase_deals import refresh_landing_showcase_deals
|
||||
|
||||
kwargs = {k: params[k] for k in ("sample", "since", "limit", "city") if k in params}
|
||||
loop = asyncio.get_event_loop()
|
||||
try:
|
||||
counters = await loop.run_in_executor(
|
||||
None, lambda: refresh_landing_showcase_deals(db, **kwargs)
|
||||
)
|
||||
ctx.runs.mark_done(db, run_id, counters)
|
||||
except Exception:
|
||||
logger.exception("scheduler: landing_showcase_deals crashed run_id=%d", run_id)
|
||||
ctx.runs.mark_failed(db, run_id, "landing_showcase_deals failed", {})
|
||||
|
||||
|
||||
# ── sber_freshness_monitor — sync DB-only freshness check в executor ──────────
|
||||
async def _job_sber_freshness_monitor(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
|
|
@ -398,27 +360,7 @@ async def _job_yandex_newbuilding_sweep(
|
|||
# исход — назвать прогон неуспешным, а не дотянуть succeeded до ненуля.
|
||||
processed = int(counters.get("processed") or 0)
|
||||
succeeded = int(counters.get("succeeded") or 0)
|
||||
if result.no_proxy_stop:
|
||||
# #3197: прогон оборван на пустом пуле — к площадке не ходили вовсе.
|
||||
# Это отказ нашей инфраструктуры, а не «ЖК не разрешились»: называть
|
||||
# такой прогон успешным нельзя, и причина должна быть отличима.
|
||||
#
|
||||
# INFO, как у соседей (scheduler.py:175, avito_detail_backfill.py:1050,
|
||||
# domclick:626): причина уже записана в mark_failed + counters.no_proxy_stop=1,
|
||||
# а ERROR ставил её в один разряд с падением задачи (logger.exception ниже).
|
||||
logger.info(
|
||||
"yandex_newbuilding_sweep run_id=%d: пул прокси пуст — прогон оборван "
|
||||
"(обработано %d)",
|
||||
run_id,
|
||||
processed,
|
||||
)
|
||||
ctx.runs.mark_failed(
|
||||
db,
|
||||
run_id,
|
||||
"пул прокси пуст — прогон оборван, к площадке не ходили",
|
||||
counters,
|
||||
)
|
||||
elif processed > 0 and succeeded == 0:
|
||||
if processed > 0 and succeeded == 0:
|
||||
logger.warning(
|
||||
"yandex_newbuilding_sweep run_id=%d: обработано %d, разрешено 0 — "
|
||||
"помечаю прогон неуспешным",
|
||||
|
|
@ -477,53 +419,6 @@ async def _job_domclick_detail_backfill(
|
|||
await run_domclick_detail_backfill(db, run_id=run_id, params=params)
|
||||
|
||||
|
||||
# ── domclick_city_sweep — override kit-native с инъекцией куки сессии (#3264) ─
|
||||
# Kit-native `_job_domclick_city_sweep` (scraper_kit.orchestration.scheduler) ходит на
|
||||
# bff-search-web.domclick.ru БЕЗ кук: kit не имеет права импортировать app.* / читать БД
|
||||
# (strangler-инвариант #2133). Каждый запрос свипа поэтому был обязан решать QRATOR PoW
|
||||
# с нуля — прод 30.08 (прогон 5330): 9/9 запросов зависли на challenge, 0 листингов.
|
||||
# `domclick_detail_backfill` (добор карточек) уже решает эту задачу инъекцией того же
|
||||
# снимка (domclick_session.load_session) — здесь тот же приём для свипа.
|
||||
#
|
||||
# Регистрируем ЗДЕСЬ (app-side) под тем же ключом "domclick_city_sweep", а не правим
|
||||
# kit: build_registry явно допускает переопределение kit-native продуктовым Handler'ом
|
||||
# (см. докстринг build_registry — "последнее слово за продуктом"), а строгий запрет на
|
||||
# app.* внутри kit при этом не нарушается — БД читает только этот модуль.
|
||||
async def _job_domclick_city_sweep(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
) -> None:
|
||||
from scraper_kit.orchestration.pipeline import run_domclick_city_sweep
|
||||
|
||||
from app.services import domclick_session as domclick_session_svc
|
||||
|
||||
# None — сессии в БД нет либо протухла (load_session сам фильтрует
|
||||
# expires_at_estimate > NOW()). Это НЕ авария: свип продолжает работать без
|
||||
# инъекции, ровно как до #3264, только логируем факт один раз для видимости.
|
||||
cookies = domclick_session_svc.load_session(db)
|
||||
if cookies is None:
|
||||
logger.info(
|
||||
"domclick_city_sweep run_id=%d: куки Sber ID сессии отсутствуют/протухли — "
|
||||
"свип идёт без инъекции (см. #3264)",
|
||||
run_id,
|
||||
)
|
||||
|
||||
await run_domclick_city_sweep(
|
||||
db,
|
||||
run_id=run_id,
|
||||
config=ctx.config,
|
||||
matcher=ctx.matcher,
|
||||
shutdown_requested=ctx.shutdown_requested,
|
||||
proxy_provider=ctx.proxy_provider,
|
||||
city_id=int(params.get("city_id", 4)),
|
||||
rooms=params.get("rooms"),
|
||||
pages=int(params.get("pages_per_anchor", 5)),
|
||||
request_delay_sec=float(params.get("request_delay_sec", 6.0)),
|
||||
region_code=kit_resolve_region_code(params),
|
||||
resume_run_id=kit_pick_resume(db, run_id),
|
||||
cookies=cookies,
|
||||
)
|
||||
|
||||
|
||||
# ── house_coords_from_listings — sync set-based UPDATE в executor (#2771) ─────
|
||||
async def _job_house_coords_from_listings(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
|
|
@ -576,19 +471,6 @@ async def _job_osm_poi_ekb_refresh(
|
|||
)
|
||||
|
||||
|
||||
# ── dtp_stat_refresh — sync ZIP-скачивание+парс ДТП в executor ────────────────
|
||||
async def _job_dtp_stat_refresh(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
) -> None:
|
||||
from app.tasks.dtp_stat_refresh import run_dtp_stat_refresh
|
||||
|
||||
loop = asyncio.get_event_loop()
|
||||
await loop.run_in_executor(
|
||||
None,
|
||||
lambda: run_dtp_stat_refresh(db, run_id=run_id, params=params),
|
||||
)
|
||||
|
||||
|
||||
# ── house_imv_backfill — async Avito-IMV с heartbeat, lifecycle в job ─────────
|
||||
async def _job_house_imv_backfill(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
|
|
@ -706,133 +588,6 @@ async def _job_domrf_kapremont_load(
|
|||
ctx.runs.mark_failed(db, run_id, str(exc)[:1000], {})
|
||||
|
||||
|
||||
# ── fns_opendata_load — bulk-дампы ФНС по юрлицам → fns_legal_entity_facts ────
|
||||
# Открытые данные ФНС по ЮРЛИЦАМ (лицензия nalog.gov.ru/opendata разрешает
|
||||
# переработку/перераспространение) — легальный обход того, что открытых данных
|
||||
# ЕГРН по правообладателям-физлицам не существует (218-ФЗ ст. 62). Потребителя у
|
||||
# fns_legal_entity_facts на момент добавления НЕТ (см. docstring
|
||||
# app/services/fns_opendata_loader.py и fns_lookup.py) — расписание сидируется
|
||||
# enabled=false, включение отдельным осознанным шагом.
|
||||
async def _job_fns_opendata_load(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
) -> None:
|
||||
"""Скачать наборы ФНС opendata (revexp/sshr2019/debtam/snr) → fns_legal_entity_facts.
|
||||
|
||||
Тело переиспользует load_dataset (тот же дизайн-инвариант модуля, что у
|
||||
_job_domrf_kapremont_load: не дублируем логику CLI). commit() после каждого
|
||||
набора — сбой на debtam не должен откатывать уже загруженный revexp.
|
||||
"""
|
||||
from app.services.fns_opendata_loader import DATASET_SLUGS, load_dataset
|
||||
|
||||
datasets = params.get("datasets") or list(DATASET_SLUGS)
|
||||
|
||||
def _run() -> dict[str, int]:
|
||||
total_records = 0
|
||||
total_upserted = 0
|
||||
for slug in datasets:
|
||||
result = load_dataset(db, slug)
|
||||
db.commit()
|
||||
total_records += int(result["records"])
|
||||
total_upserted += int(result["upserted"])
|
||||
return {
|
||||
"records": total_records,
|
||||
"upserted": total_upserted,
|
||||
# см. докстринг _job_domrf_kapremont_load: выделенные колонки прогона +
|
||||
# гейт «три подряд нулевых прогона».
|
||||
"total_seen": total_records,
|
||||
"new_count": total_upserted,
|
||||
}
|
||||
|
||||
loop = asyncio.get_event_loop()
|
||||
try:
|
||||
counters = await loop.run_in_executor(None, _run)
|
||||
ctx.runs.mark_done(db, run_id, counters)
|
||||
except Exception as exc:
|
||||
logger.exception("scheduler: fns_opendata_load crashed run_id=%d", run_id)
|
||||
db.rollback()
|
||||
ctx.runs.mark_failed(db, run_id, str(exc)[:1000], {})
|
||||
|
||||
|
||||
# ── frt_mkd_load — АИС ППК ФРТ, реестр МКД region 66 (issue #frt-mkd) ────────
|
||||
async def _job_frt_mkd_load(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
) -> None:
|
||||
"""Скачать реестр МКД АИС ФРТ (node_id) → staging frt_mkd → backfill houses.
|
||||
|
||||
Тело переиспользует те же функции, что и CLI (app/tasks/frt_mkd_load.py) — не
|
||||
дублируем логику. node_id/region_code берутся из scrape_schedules.default_params
|
||||
(мигр. 291), с фоллбеком на дефолты loader'а.
|
||||
"""
|
||||
from app.services.frt_mkd_loader import (
|
||||
DEFAULT_NODE_ID,
|
||||
DEFAULT_REGION_CODE,
|
||||
backfill_houses,
|
||||
load_frt_mkd,
|
||||
)
|
||||
|
||||
node_id = int(params.get("node_id", DEFAULT_NODE_ID))
|
||||
region_code = int(params.get("region_code", DEFAULT_REGION_CODE))
|
||||
|
||||
def _run() -> dict[str, int]:
|
||||
load_counts = load_frt_mkd(db, node_id=node_id, region_code=region_code)
|
||||
db.commit()
|
||||
houses_counts = backfill_houses(db)
|
||||
db.commit()
|
||||
return {
|
||||
"rows": load_counts["rows"],
|
||||
"upserted": load_counts["upserted"],
|
||||
"houses_updated": houses_counts["houses_updated"],
|
||||
"total_seen": load_counts["rows"],
|
||||
"new_count": houses_counts["houses_updated"],
|
||||
}
|
||||
|
||||
loop = asyncio.get_event_loop()
|
||||
try:
|
||||
counters = await loop.run_in_executor(None, _run)
|
||||
ctx.runs.mark_done(db, run_id, counters)
|
||||
except Exception as exc:
|
||||
logger.exception("scheduler: frt_mkd_load crashed run_id=%d", run_id)
|
||||
db.rollback()
|
||||
ctx.runs.mark_failed(db, run_id, str(exc)[:1000], {})
|
||||
|
||||
|
||||
# ── cbr_macro_pull — макро-ряды ЦБ РФ (ипотека по субъектам + ключевая ставка) ─
|
||||
async def _job_cbr_macro_pull(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
) -> None:
|
||||
"""Ипотечные ряды (XLSX) + ключевая ставка (SOAP) → cbr_mortgage_series/cbr_key_rate.
|
||||
|
||||
Тело переиспользует те же функции, что и CLI (app/tasks/cbr_macro_pull.py) —
|
||||
дизайн-инвариант модуля: не дублируем логику. Lifecycle не свой —
|
||||
mark_done/mark_failed здесь, как у _job_domrf_kapremont_load.
|
||||
"""
|
||||
from app.services.cbr_macro import load_key_rate, pull_cbr_mortgage
|
||||
|
||||
def _run() -> dict[str, int]:
|
||||
mortgage_counts = pull_cbr_mortgage(db)
|
||||
db.commit()
|
||||
key_rate_counts = load_key_rate(db)
|
||||
db.commit()
|
||||
return {
|
||||
"mortgage_upserted": mortgage_counts["upserted"],
|
||||
"mortgage_skipped": mortgage_counts["skipped"],
|
||||
"mortgage_errors": mortgage_counts["errors"],
|
||||
"key_rate_upserted": key_rate_counts["upserted"],
|
||||
# выделенные колонки прогона + гейт «три подряд нулевых прогона» (#2625).
|
||||
"total_seen": mortgage_counts["upserted"] + key_rate_counts["rows"],
|
||||
"new_count": mortgage_counts["upserted"] + key_rate_counts["upserted"],
|
||||
}
|
||||
|
||||
loop = asyncio.get_event_loop()
|
||||
try:
|
||||
counters = await loop.run_in_executor(None, _run)
|
||||
ctx.runs.mark_done(db, run_id, counters)
|
||||
except Exception as exc:
|
||||
logger.exception("scheduler: cbr_macro_pull crashed run_id=%d", run_id)
|
||||
db.rollback()
|
||||
ctx.runs.mark_failed(db, run_id, str(exc)[:1000], {})
|
||||
|
||||
|
||||
# ── purge_expired_trade_in_data — ЭТАП 4 B2C retention (152-ФЗ) ───────────────
|
||||
async def _job_purge_expired_trade_in_data(
|
||||
db: Session, run_id: int, params: dict[str, Any], ctx: SchedulerContext
|
||||
|
|
@ -898,37 +653,7 @@ def build_product_handlers(ctx: SchedulerContext) -> dict[str, Handler]:
|
|||
"cian_history_backfill",
|
||||
pre_claim=_cian_pre_claim,
|
||||
),
|
||||
# #3284: то же тело, другая очередь. Разные source нужны именно как РАЗНЫЕ
|
||||
# строки расписания — у них свои окна, свой next_run_at и свой счётчик
|
||||
# прогонов; гонять оба режима под одним source нельзя, планировщик держит
|
||||
# на source ровно один активный прогон.
|
||||
# Каденс — в минутах (замер прода 31.08.2026): та же суточная дыра
|
||||
# compute_next_run_at, что у avito/yandex_detail_backfill — Циан держит
|
||||
# темп ~23 с/карточку при очереди 20 501 и НОЛЕ блоков за неделю.
|
||||
#
|
||||
# 360 минут (4 прогона/сутки), НЕ 180 как у Яндекса — АСИММЕТРИЯ ниже
|
||||
# ОБЯЗАТЕЛЬНА к прочтению перед тем, как выравнивать эти два интервала:
|
||||
# Циан ходит через BrowserFetcher и ДЕРЖИТ lease узла на ВЕСЬ прогон, а
|
||||
# не только берёт URL прокси (как Яндекс через resolve_proxy_url/
|
||||
# proxy_egress). Пул сейчас 3 живых узла — дефицитный ресурс, который
|
||||
# Циан на время прогона отбирает у avito_detail_backfill и
|
||||
# domclick_detail_backfill. Учащение Циана до 180 мин без замера того,
|
||||
# как это скажется на соседях по пулу, — прямой риск сжечь мощность,
|
||||
# которой и так не хватает на троих.
|
||||
"cian_detail_backfill": Handler(
|
||||
_job_cian_history_backfill,
|
||||
"cian_detail_backfill",
|
||||
pre_claim=_cian_pre_claim,
|
||||
post_claim=reschedule_after_minutes(param="interval_minutes", default=360),
|
||||
),
|
||||
"rosreestr_dkp_import": Handler(_job_rosreestr_dkp, "rosreestr_dkp_import"),
|
||||
# Wildcard (#3051 п.3): rosreestr_dkp_import_77 (Москва, миграция 288) и любой
|
||||
# будущий region_code-суффикс из той же семьи резолвятся сюда через
|
||||
# resolve_handler по префиксу (тот же механизм, что deactivate_stale_* /
|
||||
# avito_city_sweep_* — см. scraper_kit.orchestration.scheduler.resolve_handler).
|
||||
# region_code берётся из default_params строки расписания (import_rosreestr_dkp
|
||||
# сам валидирует его через app.services.regions.REGIONS), Handler-тело общее.
|
||||
"rosreestr_dkp_import_*": Handler(_job_rosreestr_dkp, "rosreestr_dkp_import_*"),
|
||||
"listing_source_snapshot": Handler(_job_listing_source_snapshot, "listing_source_snapshot"),
|
||||
"asking_to_sold_ratio_refresh": Handler(
|
||||
_job_asking_to_sold_ratio, "asking_to_sold_ratio_refresh"
|
||||
|
|
@ -943,7 +668,6 @@ def build_product_handlers(ctx: SchedulerContext) -> dict[str, Handler]:
|
|||
"deals_freshness_monitor": Handler(_job_deals_freshness_monitor, "deals_freshness_monitor"),
|
||||
"sber_freshness_monitor": Handler(_job_sber_freshness_monitor, "sber_freshness_monitor"),
|
||||
"landing_stats_refresh": Handler(_job_landing_stats, "landing_stats_refresh"),
|
||||
"landing_showcase_deals": Handler(_job_landing_showcase_deals, "landing_showcase_deals"),
|
||||
"newbuilding_enrich": Handler(_job_newbuilding_enrich, "newbuilding_enrich"),
|
||||
"yandex_newbuilding_sweep": Handler(
|
||||
_job_yandex_newbuilding_sweep, "yandex_newbuilding_sweep"
|
||||
|
|
@ -981,35 +705,15 @@ def build_product_handlers(ctx: SchedulerContext) -> dict[str, Handler]:
|
|||
"avito_detail_backfill",
|
||||
post_claim=reschedule_after_minutes(param="interval_minutes", default=180),
|
||||
),
|
||||
# Каденс — в минутах (замер прода 31.08.2026), тот же дефект, что у
|
||||
# avito_detail_backfill выше: без post_claim compute_next_run_at держит
|
||||
# суточную гранулярность, а прогон Яндекса разбирает 375-450 карточек в
|
||||
# час (budget_sec=3600) при очереди 11 110 и НУЛЕ блоков за неделю — узкое
|
||||
# место чисто в частоте запуска, не в самом фетчере.
|
||||
#
|
||||
# 180 минут (8 прогонов/сутки) безопасны именно из-за асимметрии с Циан:
|
||||
# Яндекс ходит через resolve_proxy_url (proxy_egress) — берёт URL прокси,
|
||||
# но НЕ держит lease узла на весь прогон, поэтому учащение не отнимает
|
||||
# узел у других source.
|
||||
"yandex_detail_backfill": Handler(
|
||||
_job_yandex_detail_backfill,
|
||||
"yandex_detail_backfill",
|
||||
post_claim=reschedule_after_minutes(param="interval_minutes", default=180),
|
||||
),
|
||||
"yandex_detail_backfill": Handler(_job_yandex_detail_backfill, "yandex_detail_backfill"),
|
||||
"domclick_detail_backfill": Handler(
|
||||
_job_domclick_detail_backfill, "domclick_detail_backfill"
|
||||
),
|
||||
# Override kit-native (#3264) — инъекция куки сессии, см. докстринг job'а выше.
|
||||
"domclick_city_sweep": Handler(_job_domclick_city_sweep, "domclick_city_sweep"),
|
||||
"cadastral_geo_match": Handler(_job_cadastral_geo_match, "cadastral_geo_match"),
|
||||
"osm_poi_ekb_refresh": Handler(_job_osm_poi_ekb_refresh, "osm_poi_ekb_refresh"),
|
||||
"dtp_stat_refresh": Handler(_job_dtp_stat_refresh, "dtp_stat_refresh"),
|
||||
"house_imv_backfill": Handler(_job_house_imv_backfill, "house_imv_backfill"),
|
||||
"house_dedup_merge": Handler(_job_house_dedup_merge, "house_dedup_merge"),
|
||||
"domrf_kapremont_load": Handler(_job_domrf_kapremont_load, "domrf_kapremont_load"),
|
||||
"frt_mkd_load": Handler(_job_frt_mkd_load, "frt_mkd_load"),
|
||||
"cbr_macro_pull": Handler(_job_cbr_macro_pull, "cbr_macro_pull"),
|
||||
"fns_opendata_load": Handler(_job_fns_opendata_load, "fns_opendata_load"),
|
||||
"purge_expired_trade_in_data": Handler(
|
||||
_job_purge_expired_trade_in_data, "purge_expired_trade_in_data"
|
||||
),
|
||||
|
|
|
|||
|
|
@ -302,7 +302,7 @@ def resolve_proxy_url(db: Session, source: str) -> str | None:
|
|||
|
||||
# Сценарий 2: пул РЕАЛЬНО не пуст, но для source не осталось ни одного
|
||||
# здорового/небаненного узла -- fail-closed (#2616), НЕ fallback на env.
|
||||
logger.warning(
|
||||
logger.error(
|
||||
"proxy_egress: source=%s -- пул scrape_proxies НЕ пуст (%d узлов), но НИ ОДИН "
|
||||
"не прошёл фильтр для этого источника (banned_for_source=%d, "
|
||||
"unhealthy_or_disabled=%d) -- FAIL-CLOSED (#2616): отказ, БЕЗ обхода через "
|
||||
|
|
|
|||
|
|
@ -54,10 +54,7 @@ Self-healing (#2600):
|
|||
WARNING (пул надо пополнять, #2638).
|
||||
- Ручное снятие — `clear_source_bans` (ложный бан детектора капчи, #2642) плюс
|
||||
автоматическое после успешной ротации exit-IP: бан привязан к proxy_id, а банился
|
||||
IP, поэтому смена адреса делает строку недействительной. С #3404 «снятие» гасит
|
||||
строку (`banned_until = now()`, `ban_count = 0`, `cleared_at`/`cleared_reason`),
|
||||
а не удаляет её — строка живёт до штатного purge (SOURCE_BAN_PURGE_DAYS), но для
|
||||
выдачи и для эскалации следующего бана это неотличимо от прежнего DELETE.
|
||||
IP, поэтому смена адреса делает строку недействительной.
|
||||
|
||||
Ручное выключение vs авто-выключение (#2610):
|
||||
- scrape_proxies.disabled_reason (миграция 209) различает ДВЕ разные причины
|
||||
|
|
@ -146,7 +143,6 @@ __all__ = [
|
|||
"STALE_LEASE_MINUTES",
|
||||
"ProxyLease",
|
||||
"acquire",
|
||||
"attribute_run_proxy",
|
||||
"clear_source_bans",
|
||||
"mark_banned",
|
||||
"mark_browser_health",
|
||||
|
|
@ -296,13 +292,6 @@ def acquire(db: Session, provider: str, *, run_id: int | None = None) -> ProxyLe
|
|||
остаётся полноценным кандидатом для Яндекса и остальных источников. Бан по чужому
|
||||
source на выдачу не влияет вообще.
|
||||
|
||||
ОБА запроса также отсекают узлы с истёкшей арендой порта у провайдера
|
||||
(expires_at IS NOT NULL AND expires_at <= now()) — иначе после истечения аренды
|
||||
площадка отвечает 407/рвёт соединение, а пул продолжает выдавать этот узел до
|
||||
ручного вмешательства. expires_at IS NULL ("срок не отслеживается") выдаче не
|
||||
мешает. Перед отбором отдельным запросом логируется WARNING по каждому такому
|
||||
узлу — иначе сужение пула из-за истёкшей аренды прошло бы для оператора молча.
|
||||
|
||||
Конкурентные acquire не дерутся за одну строку: SKIP LOCKED пропускает залоченную
|
||||
другим вызовом строку, второй параллельный acquire берёт следующую свободную.
|
||||
|
||||
|
|
@ -310,34 +299,6 @@ def acquire(db: Session, provider: str, *, run_id: int | None = None) -> ProxyLe
|
|||
"""
|
||||
lease_marker = run_id if run_id is not None else NON_RUN_LEASE_MARKER
|
||||
|
||||
# Просроченные (expires_at в прошлом) enabled-узлы никогда не попадут ни в основной,
|
||||
# ни в fallback-отбор ниже (оба фильтруют expires_at). Без явного WARNING сужение пула
|
||||
# прошло бы молча — площадка начинает отдавать 407/рвать соединение по истёкшему
|
||||
# порту, а pull продолжал бы его выдавать, пока человек не заметит руками.
|
||||
expired_rows = (
|
||||
db.execute(
|
||||
text(
|
||||
"""
|
||||
SELECT id
|
||||
FROM scrape_proxies
|
||||
WHERE enabled
|
||||
AND leased_by IS NULL
|
||||
AND expires_at IS NOT NULL
|
||||
AND expires_at <= now()
|
||||
"""
|
||||
)
|
||||
)
|
||||
.mappings()
|
||||
.all()
|
||||
)
|
||||
for expired_row in expired_rows:
|
||||
logger.warning(
|
||||
"proxy_pool: proxy id=%d skipped for acquire(provider=%s) — lease expired "
|
||||
"(expires_at <= now()), not eligible until renewed or disabled",
|
||||
int(expired_row["id"]),
|
||||
provider,
|
||||
)
|
||||
|
||||
row = (
|
||||
db.execute(
|
||||
text(
|
||||
|
|
@ -348,7 +309,6 @@ def acquire(db: Session, provider: str, *, run_id: int | None = None) -> ProxyLe
|
|||
AND consecutive_fails < CAST(:max_fails AS integer)
|
||||
AND provider_affinity IN (:provider, 'any')
|
||||
AND leased_by IS NULL
|
||||
AND (expires_at IS NULL OR expires_at > now())
|
||||
AND NOT EXISTS (
|
||||
SELECT 1
|
||||
FROM scrape_proxy_source_bans b
|
||||
|
|
@ -384,7 +344,6 @@ def acquire(db: Session, provider: str, *, run_id: int | None = None) -> ProxyLe
|
|||
WHERE sp.enabled
|
||||
AND sp.consecutive_fails < CAST(:max_fails AS integer)
|
||||
AND sp.leased_by IS NULL
|
||||
AND (sp.expires_at IS NULL OR sp.expires_at > now())
|
||||
AND NOT EXISTS (
|
||||
SELECT 1
|
||||
FROM scrape_proxy_source_bans b
|
||||
|
|
@ -445,11 +404,6 @@ def acquire(db: Session, provider: str, *, run_id: int | None = None) -> ProxyLe
|
|||
{"run_id": lease_marker, "id": proxy_id},
|
||||
)
|
||||
db.commit()
|
||||
if run_id is not None and run_id != NON_RUN_LEASE_MARKER:
|
||||
# #3404: одна точка, покрывающая ВСЕ пути выдачи (curl — acquire на каждый
|
||||
# вызов, браузер — sticky lease на весь прогон, ре-acquire при ротации узла
|
||||
# mid-run) — см. attribute_run_proxy docstring.
|
||||
attribute_run_proxy(db, run_id, proxy_id)
|
||||
if fallback_used:
|
||||
logger.warning(
|
||||
"proxy_pool: leased proxy id=%d provider=%s by=%s — FALLBACK affinity "
|
||||
|
|
@ -483,78 +437,6 @@ def acquire(db: Session, provider: str, *, run_id: int | None = None) -> ProxyLe
|
|||
)
|
||||
|
||||
|
||||
def attribute_run_proxy(db: Session, run_id: int, proxy_id: int) -> None:
|
||||
"""Записать узел, через который идёт прогон run_id, в scrape_runs (#3404).
|
||||
|
||||
Единственный писатель — `acquire()` сразу после выдачи lease'а: покрывает и
|
||||
curl-путь (acquire на каждый вызов), и браузерный sticky lease (один acquire на
|
||||
весь прогон), и ре-acquire при ротации узла mid-run (`browser_fetcher`,
|
||||
`_LEASE_ROTATE_AFTER_FAILS`) — то есть смена узла ЗА прогон фиксируется сама,
|
||||
без отдельного вызова с чьей-либо стороны.
|
||||
|
||||
`scrape_runs.proxy_id` — ПОСЛЕДНИЙ использованный узел (перезаписывается при
|
||||
каждой новой выдаче); полная цепочка узлов, если она менялась, — в
|
||||
`counters.proxy_ids` (список id, без дублей). Пишем через `||`-мерж
|
||||
`counters` (тот же контракт, что у `runs.update_heartbeat`/`mark_done`) —
|
||||
чужие ключи (чекпоинт, метка interrupted) не затираются.
|
||||
|
||||
Идемпотентно: повторная выдача ТОГО ЖЕ узла не дублирует его в `proxy_ids`
|
||||
(`@>`-проверка перед append). Best-effort: любой сбой (например, run_id уже
|
||||
не существует — гонка с финализацией) логируется WARNING и проглатывается —
|
||||
атрибуция прогону не должна ронять выдачу прокси, это диагностика, а не
|
||||
часть контракта lease'а. 0 rows (run_id не найден) — DEBUG, не ошибка: сама
|
||||
выдача при этом уже произошла и коммитнута предыдущим db.commit() в acquire().
|
||||
"""
|
||||
try:
|
||||
# Строку прогона параллельно обновляет heartbeat/финализатор из ДРУГОЙ сессии
|
||||
# (короткие транзакции, каждая со своим commit). Пересечение маловероятно, но
|
||||
# ждать на блокировке в пути выдачи прокси нельзя — диагностика не должна
|
||||
# тормозить сбор. Не дождались за 2с — уходим в except ниже (WARNING, lease цел).
|
||||
db.execute(text("SET LOCAL lock_timeout = '2s'"))
|
||||
row = db.execute(
|
||||
text(
|
||||
"""
|
||||
UPDATE scrape_runs
|
||||
SET proxy_id = CAST(:proxy_id AS bigint),
|
||||
counters = COALESCE(counters, '{}'::jsonb) || jsonb_build_object(
|
||||
'proxy_ids',
|
||||
CASE
|
||||
WHEN COALESCE(counters -> 'proxy_ids', '[]'::jsonb)
|
||||
@> to_jsonb(CAST(:proxy_id AS bigint))
|
||||
THEN COALESCE(counters -> 'proxy_ids', '[]'::jsonb)
|
||||
ELSE COALESCE(counters -> 'proxy_ids', '[]'::jsonb)
|
||||
|| jsonb_build_array(CAST(:proxy_id AS bigint))
|
||||
END
|
||||
)
|
||||
WHERE id = CAST(:run_id AS bigint)
|
||||
RETURNING id
|
||||
"""
|
||||
),
|
||||
{"proxy_id": proxy_id, "run_id": run_id},
|
||||
).first()
|
||||
db.commit()
|
||||
if row is None:
|
||||
logger.debug(
|
||||
"proxy_pool: attribute_run_proxy no-op — run_id=%d not found (already "
|
||||
"finalized?)",
|
||||
run_id,
|
||||
)
|
||||
except Exception:
|
||||
# Best-effort (см. docstring) — атрибуция диагностическая, не часть
|
||||
# контракта lease'а: lease уже выдан и не должен теряться из-за неё.
|
||||
logger.warning(
|
||||
"proxy_pool: attribute_run_proxy failed run_id=%d proxy_id=%d — lease "
|
||||
"issued regardless",
|
||||
run_id,
|
||||
proxy_id,
|
||||
exc_info=True,
|
||||
)
|
||||
try:
|
||||
db.rollback()
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
def release(db: Session, proxy_id: int) -> None:
|
||||
"""Освободить прокси (leased_by/leased_at → NULL). Идемпотентно (0-row если уже свободен)."""
|
||||
db.execute(
|
||||
|
|
@ -654,20 +536,8 @@ def mark_health(
|
|||
SET consecutive_fails = 0,
|
||||
last_ok_at = now(),
|
||||
last_check_at = now(),
|
||||
-- COALESCE, а не присваивание (#3283): подавляющее
|
||||
-- большинство вызовов приходит НЕ из healthcheck'а, а из
|
||||
-- _report_fetch_result на КАЖДЫЙ успешный /fetch и из
|
||||
-- finally у curl_proxy_url — они зовут mark_health(lease, ok)
|
||||
-- БЕЗ exit_ip/latency_ms, и адаптер подставляет None. Голое
|
||||
-- присваивание затирало этим None адрес, записанный
|
||||
-- proxy_rotation._update_exit_ip минутой раньше, так что
|
||||
-- exit_ip в базе жил до первого же успешного запроса
|
||||
-- (прод 31.08: у обоих живых узлов NULL при new_ip=
|
||||
-- 31.173.86.74 в логе ротации). Явное значение по-прежнему
|
||||
-- пишется; очистить поле через mark_health больше нельзя —
|
||||
-- для этого есть прямой UPDATE.
|
||||
exit_ip = COALESCE(CAST(:exit_ip AS text), exit_ip),
|
||||
latency_ms = COALESCE(CAST(:latency_ms AS integer), latency_ms),
|
||||
exit_ip = CAST(:exit_ip AS text),
|
||||
latency_ms = CAST(:latency_ms AS integer),
|
||||
enabled = CASE
|
||||
WHEN disabled_reason IS NULL THEN true ELSE enabled
|
||||
END,
|
||||
|
|
@ -1016,21 +886,15 @@ def mark_banned(db: Session, proxy_id: int, *, source: str, reason: str | None =
|
|||
)
|
||||
)
|
||||
ON CONFLICT (proxy_id, source) DO UPDATE
|
||||
SET ban_count = scrape_proxy_source_bans.ban_count + 1,
|
||||
banned_until = now() + make_interval(hours => CAST(
|
||||
SET ban_count = scrape_proxy_source_bans.ban_count + 1,
|
||||
banned_until = now() + make_interval(hours => CAST(
|
||||
LEAST(
|
||||
CAST(:base_hours AS integer)
|
||||
* power(2, LEAST(scrape_proxy_source_bans.ban_count, 16)),
|
||||
CAST(:max_hours AS integer)
|
||||
) AS integer)),
|
||||
reason = CAST(:reason AS text),
|
||||
-- #3404: строка могла быть погашена clear_source_bans (banned_until
|
||||
-- в прошлом попадает в WHERE ниже) — новый бан затирает её метки
|
||||
-- гашения, иначе на СНОВА забаненной паре висели бы cleared_at/
|
||||
-- cleared_reason от предыдущего, уже неактуального гашения.
|
||||
cleared_at = NULL,
|
||||
cleared_reason = NULL,
|
||||
updated_at = now()
|
||||
reason = CAST(:reason AS text),
|
||||
updated_at = now()
|
||||
-- Владельца АКТИВНОЙ строки не меняем: берём истёкшую (владельца нет),
|
||||
-- свою же (обычная эскалация) или перебиваем боевым сбором — он сильнее
|
||||
-- пробы. Иначе 0 rows и ветка "deferred" ниже (дефект #2803).
|
||||
|
|
@ -1145,25 +1009,12 @@ def clear_source_bans(
|
|||
банила IP, а строка бана привязана к proxy_id и пережила бы смену адреса,
|
||||
держа узел вне выдачи уже без причины.
|
||||
|
||||
source=None — снять все баны узла; конкретный source — только его. Гасим строку
|
||||
(`banned_until = now()`, `ban_count = 0`, `cleared_at`/`cleared_reason`), а НЕ
|
||||
удаляем (#3404, было DELETE): строка доживает до штатного purge'а
|
||||
(`run_proxy_healthcheck`, SOURCE_BAN_PURGE_DAYS), но перестаёт блокировать
|
||||
выдачу немедленно и перестаёт нести историю эскалации — `ban_count = 0` даёт
|
||||
следующему бану той же пары ровно те же SOURCE_BAN_BASE_HOURS, что и раньше
|
||||
после DELETE (формула `mark_banned` берёт ПРЕДЫДУЩИЙ ban_count показателем
|
||||
степени: 0 → база, без множителя). Причина держать строку — трассируемость
|
||||
(видно, что бан БЫЛ и когда/кем снят), а не поведение: для читателей ниже
|
||||
погашенная строка неотличима от отсутствующей (см. риски в шапке PR #3404).
|
||||
source=None — снять все баны узла; конкретный source — только его. DELETE, а не
|
||||
`banned_until = now()`: строка живёт ещё и ради `ban_count` (память об эскалации),
|
||||
а здесь мы как раз объявляем историю недействительной — новый бан начнётся с базовых
|
||||
SOURCE_BAN_BASE_HOURS.
|
||||
|
||||
Идемпотентно и в другую сторону: повторный вызов на уже погашенной строке
|
||||
(последний предикат в WHERE) её не трогает — 0 rows, `banned_until` НЕ
|
||||
сдвигается вперёд. Без этого условия повторный `PATCH enabled=true` двигал бы
|
||||
`banned_until` на каждый вызов и отодвигал бы purge на неопределённый срок.
|
||||
|
||||
`reason` идёт в лог (человекочитаемый повод — «manual enable», «ip rotated») и
|
||||
теперь ЕЩЁ в колонку `cleared_reason` — постоянный след того, кто и почему
|
||||
погасил бан.
|
||||
`reason` идёт только в лог (человекочитаемый повод — «manual enable», «ip rotated»).
|
||||
|
||||
`only_reason` — ФИЛЬТР по колонке reason, т.е. «снимать только строки, которые
|
||||
написал я» (#2800). Нужен браузерной пробе: её успешный robots.txt — слабое
|
||||
|
|
@ -1175,22 +1026,14 @@ def clear_source_bans(
|
|||
rows = db.execute(
|
||||
text(
|
||||
"""
|
||||
UPDATE scrape_proxy_source_bans
|
||||
SET banned_until = now(),
|
||||
ban_count = 0,
|
||||
cleared_at = now(),
|
||||
cleared_reason = CAST(:reason AS text),
|
||||
updated_at = now()
|
||||
DELETE FROM scrape_proxy_source_bans
|
||||
WHERE proxy_id = CAST(:proxy_id AS bigint)
|
||||
AND (CAST(:source AS text) IS NULL OR source = CAST(:source AS text))
|
||||
AND (CAST(:only_reason AS text) IS NULL OR reason = CAST(:only_reason AS text))
|
||||
-- Уже погашенная строка (гейт покоя, см. докстринг) — не трогаем: без
|
||||
-- него повторный вызов сдвигал бы banned_until вперёд и отодвигал purge.
|
||||
AND NOT (cleared_at IS NOT NULL AND ban_count = 0 AND banned_until <= now())
|
||||
RETURNING source
|
||||
"""
|
||||
),
|
||||
{"proxy_id": proxy_id, "source": source, "only_reason": only_reason, "reason": reason},
|
||||
{"proxy_id": proxy_id, "source": source, "only_reason": only_reason},
|
||||
).fetchall()
|
||||
db.commit()
|
||||
if rows:
|
||||
|
|
@ -1309,8 +1152,6 @@ async def _probe_proxy(url: str) -> tuple[bool, str | None, int | None, str | No
|
|||
транзиентный сбой узла ≠ перманентный бан, используется пока только для логов):
|
||||
- "timeout" — сеть недоступна/медленная (httpx.TimeoutException)
|
||||
- "connect_error" — прокси не поднят/не слушает/DNS (httpx.ConnectError)
|
||||
- "proxy_error" — сам прокси отверг соединение (httpx.ProxyError, напр. 407 от
|
||||
провайдера — это состояние пула, а не инцидент; #3471)
|
||||
- "http_error" — ipify ответил ошибкой через прокси (auth/upstream)
|
||||
- "other" — прочее
|
||||
|
||||
|
|
@ -1330,14 +1171,6 @@ async def _probe_proxy(url: str) -> tuple[bool, str | None, int | None, str | No
|
|||
except httpx.ConnectError:
|
||||
logger.warning("proxy_pool: health probe connect_error proxy=%s", _mask(url))
|
||||
return False, None, None, "connect_error"
|
||||
except httpx.ProxyError as exc:
|
||||
# #3471: сам прокси-провайдер отверг соединение (чаще всего 407 —
|
||||
# исчерпан лимит/просрочен пакет) — штатный исход health-пробы, не
|
||||
# инцидент приложения. Одна строка без трейса: узел + причина текстом
|
||||
# исключения, полный traceback здесь не несёт новой информации и только
|
||||
# засорял логи (184 строки/сутки, #3471).
|
||||
logger.warning("proxy_pool: health probe proxy_error proxy=%s reason=%s", _mask(url), exc)
|
||||
return False, None, None, "proxy_error"
|
||||
except httpx.HTTPStatusError as exc:
|
||||
logger.warning(
|
||||
"proxy_pool: health probe http_error proxy=%s status=%s",
|
||||
|
|
@ -1583,11 +1416,6 @@ async def run_proxy_healthcheck(db: Session) -> dict[str, int]:
|
|||
# Снесём раньше — узел, который площадка банит каждые сутки, каждый раз начинал бы с
|
||||
# 6 часов и никогда не доходил до длинных пауз. Отложенный purge и есть механизм сброса:
|
||||
# неделя без нового бана = пара считается чистой, эскалация с нуля. НЕ «оптимизировать».
|
||||
# #3404: под этот же порог теперь попадают и ПОГАШЕННЫЕ clear_source_bans строки —
|
||||
# для них banned_until == момент гашения (== cleared_at), т.е. таймер до purge
|
||||
# отсчитывается от гашения, а не от исходного истечения бана. ban_count у них уже
|
||||
# 0 к моменту гашения, так что покидающий purge их не «сбрасывает» повторно —
|
||||
# он просто убирает уже неактуальный след из таблицы.
|
||||
purged = len(
|
||||
db.execute(
|
||||
text(
|
||||
|
|
|
|||
|
|
@ -1,13 +1,8 @@
|
|||
"""Ротация exit-IP прокси по требованию, со счётчиком и громким отказом (#2600 п.5).
|
||||
"""Ротация exit-IP прокси ASocks по требованию, со счётчиком и громким отказом (#2600 п.5).
|
||||
|
||||
АДДИТИВНО. НЕ трогает app.services.proxy_pool (pick/lease/health — параллельный
|
||||
PR #2609, конфликт исключён: вся новая логика тут, в новом модуле).
|
||||
|
||||
Два провайдера, диспетчеризуются по хосту scrape_proxies.rotate_url (см.
|
||||
"⛔ Хост-пиннинг" ниже) — секрет каждого провайдера уходит ТОЛЬКО на его хост.
|
||||
|
||||
── ASocks (api.asocks.com) ────────────────────────────────────────────────────
|
||||
|
||||
Контекст (эмпирика, issue #2600 п.5 — проверено владельцем аккаунта/пробой):
|
||||
- Документированный публичный API ASocks (GET /v2/proxy/refresh/{portId}?apiKey=)
|
||||
для безлимитных портов НЕ работает.
|
||||
|
|
@ -24,34 +19,12 @@ PR #2609, конфликт исключён: вся новая логика ту
|
|||
Когда это случится, провайдер ответит 401 — это ГРОМКИЙ отказ ниже
|
||||
(logger.error + Sentry/GlitchTip capture_message), а не молчаливая остановка.
|
||||
|
||||
── mobileproxy.space (aproxy.site) ─────────────────────────────────────────────
|
||||
|
||||
Протокол ротации (эмпирика, проверено вживую на проде):
|
||||
- GET <rotate_url>&format=json — БЕЗ заголовков авторизации, секрет (proxy_key)
|
||||
уже внутри URL в query-string. Без format=json провайдер отдаёт HTML-страницу
|
||||
вместо JSON.
|
||||
- Успех: {"status": "OK", "code": 200, "new_ip": "...", "rt": "2.41", "proxy_id": N}.
|
||||
Признак успеха — ИМЕННО status == "OK" в теле, не HTTP-код ответа.
|
||||
"rt" — секунды на переподключение канала (2.4-11.7 в замерах), отдаём
|
||||
вызывающему как RotationResult.reconnect_delay_s — следующая задача
|
||||
(интеграция в скраперы) должна выждать это время перед повторным запросом.
|
||||
- Кулдауна у провайдера не обнаружено (13 ротаций подряд — 13 уникальных IP,
|
||||
две подряд прошли за 5 и 8 секунд). MOBILEPROXY_DAILY_ROTATION_LIMIT (200) —
|
||||
это ТОЛЬКО наш предохранитель от runaway-цикла, не лимит провайдера.
|
||||
- Домен changeip.mobileproxy.space из прод-сети не резолвится/не отвечает —
|
||||
поддерживаем только aproxy.site.
|
||||
- proxy_key — секрет ровно как ASOCKS_API_TOKEN: не должен появиться ни в
|
||||
reason, ни в исключениях, ни в scrape_proxy_rotations, ни в логах (см.
|
||||
"⛔ Токен никогда не должен появиться..." ниже — тот же принцип).
|
||||
|
||||
Суточный лимит и таблица истории (scrape_proxy_rotations, миграция 198):
|
||||
Против лимита (3/сутки ASocks, 200/сутки mobileproxy) считаются ТОЛЬКО попытки,
|
||||
реально дошедшие до провайдера и обработанные им — т.е. любой HTTP-ответ
|
||||
провайдера, КРОМЕ 401. Обоснование: 401 — это буквально описание провайдера
|
||||
"Unauthenticated": запрос отсеян на уровне аутентификации ДО обращения к самой
|
||||
логике ротации порта, провайдер не мог засчитать использование ротации тому,
|
||||
кого даже не подтвердил (у mobileproxy авторизации нет вовсе, поэтому 401 для
|
||||
него не ожидается, но правило проверки общее для обоих провайдеров). Сетевые
|
||||
Против лимита 3/сутки считаются ТОЛЬКО попытки, реально дошедшие до провайдера
|
||||
и обработанные им — т.е. любой HTTP-ответ провайдера, КРОМЕ 401. Обоснование:
|
||||
401 — это буквально описание провайдера "Unauthenticated": запрос отсеян на
|
||||
уровне аутентификации ДО обращения к самой логике ротации порта, провайдер не
|
||||
мог засчитать использование ротации тому, кого даже не подтвердил. Сетевые
|
||||
ошибки (таймаут / разрыв соединения — ответа вообще нет) по той же логике не
|
||||
считаются: нет подтверждения, что запрос вообще дошёл до провайдера. Локальные
|
||||
отказы (нет rotate_url / нет токена / лимит уже исчерпан) до HTTP-вызова не
|
||||
|
|
@ -62,27 +35,27 @@ PR #2609, конфликт исключён: вся новая логика ту
|
|||
если провайдер прошёл auth и ответил бизнес-ошибкой, запрос точно дошёл до
|
||||
реальной rotate-логики и мог быть учтён в лимите на его стороне).
|
||||
|
||||
⛔ Токен/ключ провайдера никогда не должен появиться в возвращаемом клиенту
|
||||
reason, в тексте исключения, ни в одной записи scrape_proxy_rotations. Прецедент
|
||||
утечки через str(exc) — тот же паттерн, что закрывал (до удаления #2616 шаг 3)
|
||||
changeip-путь admin.rotate_proxy_ip: httpx-исключения несут полный request
|
||||
URL/детали, поэтому наружу — только нейтральный reason, полные детали — в лог с
|
||||
exc_info=True.
|
||||
⛔ Токен никогда не должен появиться в возвращаемом клиенту reason, в тексте
|
||||
исключения, ни в одной записи scrape_proxy_rotations. Прецедент утечки через
|
||||
str(exc) — тот же паттерн, что закрывал (до удаления #2616 шаг 3) changeip-путь
|
||||
admin.rotate_proxy_ip: httpx-исключения несут полный request URL/детали,
|
||||
поэтому наружу — только нейтральный reason, полные детали — в лог с exc_info=True.
|
||||
|
||||
⛔ Хост-пиннинг (security review PR #2611): scrape_proxies.rotate_url колонка
|
||||
НЕОДНОРОДНА — часть строк пула несёт ASocks-ссылки, часть — mobileproxy
|
||||
aproxy.site-ссылки (`https://aproxy.site/?proxy_key=<секрет>`), формат которых
|
||||
похож на старый (ныне неподдерживаемый) changeip.mobileproxy.space путь, но это
|
||||
ДРУГОЙ хост с ДРУГИМ протоколом ротации (GET, без заголовков).
|
||||
Без явной проверки хоста наш `Authorization: Bearer <ASOCKS_API_TOKEN>` мог бы
|
||||
уйти на ЧУЖОЙ провайдер. rotate_proxy ПЕРЕД любым HTTP-вызовом определяет
|
||||
провайдера по urlparse(rotate_url).hostname (https-only, exact match) через
|
||||
_rotate_provider_for_host — несовпадение ни с одним известным хостом это ОТКАЗ
|
||||
(ok=False, нейтральный reason), а НЕ попытка безголового запроса: смысл ручной
|
||||
ротации — конкретный провайдер, молчаливый вызов чужой ручки — это сюрприз
|
||||
оператору (он думает "ASocks ротировал", а фактически задел другого
|
||||
провайдера), которого проще не допустить, чем потом объяснять админу
|
||||
расхождение счётчиков.
|
||||
НЕОДНОРОДНА — часть строк пула (id 3/4/5 на проде) несёт mobileproxy changeip-
|
||||
ссылки (`https://changeip.mobileproxy.space/?proxy_key=<секрет mobileproxy>`,
|
||||
тот же формат, что читал удалённый #2616 шаг 2/3 admin.rotate_proxy_ip /
|
||||
Settings.avito_proxy_rotate_url), не ASocks.
|
||||
Без явной проверки хоста наш `Authorization: Bearer <ASOCKS_API_TOKEN>` ушёл бы
|
||||
на ЧУЖОЙ провайдер (mobileproxy) — плюс сам GET/POST по их changeip, вероятно,
|
||||
реально ротирует ИХ IP и тратит ИХ суточный лимит, а мы бы записали это как
|
||||
успех ASocks. rotate_proxy ПЕРЕД любым HTTP-вызовом проверяет
|
||||
urlparse(rotate_url).hostname == ALLOWED_ROTATE_HOST (https-only) — несовпадение
|
||||
это ОТКАЗ (ok=False, нейтральный reason), а НЕ попытка безголового запроса без
|
||||
Authorization: смысл ручной ротации — конкретный провайдер (ASocks), молчаливый
|
||||
вызов чужой ручки без авторизации — это сюрприз оператору (он думает "ASocks
|
||||
ротировал", а фактически задел mobileproxy), которого проще не допустить, чем
|
||||
потом объяснять админу расхождение счётчиков.
|
||||
|
||||
psycopg v3 / SQLAlchemy text(): все параметры через CAST(:x AS type), НЕ :x::type.
|
||||
"""
|
||||
|
|
@ -104,10 +77,8 @@ from app.services.proxy_pool import clear_source_bans
|
|||
logger = logging.getLogger(__name__)
|
||||
|
||||
__all__ = [
|
||||
"ALLOWED_MOBILEPROXY_ROTATE_HOST",
|
||||
"ALLOWED_ROTATE_HOST",
|
||||
"DAILY_ROTATION_LIMIT",
|
||||
"MOBILEPROXY_DAILY_ROTATION_LIMIT",
|
||||
"RotationResult",
|
||||
"rotate_proxy",
|
||||
]
|
||||
|
|
@ -115,42 +86,23 @@ __all__ = [
|
|||
# Лимит провайдера (ASocks, безлимитные порты): 3 ротации в сутки на порт (эмпирика).
|
||||
DAILY_ROTATION_LIMIT = 3
|
||||
|
||||
# У mobileproxy.space кулдауна/лимита провайдера не обнаружено (эмпирика: 13 ротаций
|
||||
# подряд дали 13 уникальных IP). Это наш собственный предохранитель от runaway-цикла
|
||||
# ротаций, НЕ ограничение провайдера.
|
||||
MOBILEPROXY_DAILY_ROTATION_LIMIT = 200
|
||||
|
||||
# Таймаут HTTP-вызова ротации (оба провайдера). Пункт задачи требует "~30с".
|
||||
# Таймаут POST refresh-ip. Пункт задачи требует "~30с".
|
||||
_ROTATE_TIMEOUT_S = 30.0
|
||||
|
||||
# Единственный хост, на который разрешено уходить с ASOCKS_API_TOKEN в заголовке
|
||||
# (см. "⛔ Хост-пиннинг" в docstring модуля). scrape_proxies.rotate_url может
|
||||
# нести ЧУЖИЕ rotate-ссылки (mobileproxy и т.п.) — сравнение ДО HTTP-вызова.
|
||||
# нести ЧУЖИЕ changeip-ссылки (mobileproxy и т.п.) — сравнение ДО HTTP-вызова.
|
||||
ALLOWED_ROTATE_HOST = "api.asocks.com"
|
||||
|
||||
# Единственный хост mobileproxy.space, поддерживаемый нашей ротацией. Домен
|
||||
# changeip.mobileproxy.space из прод-сети не резолвится/не отвечает — НЕ добавлять.
|
||||
ALLOWED_MOBILEPROXY_ROTATE_HOST = "aproxy.site"
|
||||
|
||||
|
||||
def _rotate_provider_for_host(url: str) -> str | None:
|
||||
"""Определить провайдера ротации по хосту rotate_url (https-only, exact match,
|
||||
без исключений на кривом url — см. "⛔ Хост-пиннинг" в docstring модуля).
|
||||
|
||||
Возвращает "asocks" / "mobileproxy" / None (неизвестный/неразрешённый хост —
|
||||
отказ ДО любого HTTP-вызова, чтобы не увести чужой секрет на непроверенный хост).
|
||||
"""
|
||||
def _is_allowed_rotate_url(url: str) -> bool:
|
||||
"""https-only + hostname точно ALLOWED_ROTATE_HOST (регистронезависимо —
|
||||
urlparse().hostname уже лоуеркейзит). Не бросает исключений на кривом url."""
|
||||
try:
|
||||
parsed = urlparse(url)
|
||||
except ValueError:
|
||||
return None
|
||||
if parsed.scheme != "https":
|
||||
return None
|
||||
if parsed.hostname == ALLOWED_ROTATE_HOST:
|
||||
return "asocks"
|
||||
if parsed.hostname == ALLOWED_MOBILEPROXY_ROTATE_HOST:
|
||||
return "mobileproxy"
|
||||
return None
|
||||
return False
|
||||
return parsed.scheme == "https" and parsed.hostname == ALLOWED_ROTATE_HOST
|
||||
|
||||
|
||||
@dataclass
|
||||
|
|
@ -164,15 +116,7 @@ class RotationResult:
|
|||
# Сколько quota-consuming попыток остаётся сегодня ПОСЛЕ этой попытки (см. модуль
|
||||
# docstring за определением quota-consuming). Для локально отклонённых попыток
|
||||
# (no rotate_url/no token) не относится к текущему прокси — просто текущий остаток.
|
||||
# Лимит зависит от провайдера (DAILY_ROTATION_LIMIT для ASocks,
|
||||
# MOBILEPROXY_DAILY_ROTATION_LIMIT для mobileproxy) — значение по умолчанию тут
|
||||
# используется только до определения провайдера, вызывающая ветка всегда
|
||||
# подставляет правильное число.
|
||||
rotations_remaining_today: int = DAILY_ROTATION_LIMIT
|
||||
# mobileproxy-only: секунды на переподключение канала после ротации ("rt" в
|
||||
# ответе провайдера) — следующая задача (интеграция в скраперы) ждёт это время
|
||||
# перед повторным запросом через прокси. None для ASocks и для неуспешных попыток.
|
||||
reconnect_delay_s: float | None = None
|
||||
|
||||
|
||||
def _quota_used_today(db: Session, proxy_id: int) -> int:
|
||||
|
|
@ -229,21 +173,6 @@ def _record_attempt(
|
|||
db.commit()
|
||||
|
||||
|
||||
def _update_exit_ip(db: Session, proxy_id: int, new_ip: str) -> None:
|
||||
"""Обновить scrape_proxies.exit_ip после успешной ротации (mobileproxy)."""
|
||||
db.execute(
|
||||
text(
|
||||
"""
|
||||
UPDATE scrape_proxies
|
||||
SET exit_ip = CAST(:exit_ip AS text), updated_at = now()
|
||||
WHERE id = CAST(:proxy_id AS bigint)
|
||||
"""
|
||||
),
|
||||
{"exit_ip": new_ip, "proxy_id": proxy_id},
|
||||
)
|
||||
db.commit()
|
||||
|
||||
|
||||
def _alert_stale_token(proxy_id: int) -> None:
|
||||
"""Громкий отказ на 401: logger.error + событие в Sentry/GlitchTip (best-effort).
|
||||
|
||||
|
|
@ -293,30 +222,29 @@ def _extract_new_ip(resp: httpx.Response) -> str | None:
|
|||
return None
|
||||
|
||||
|
||||
def _parse_rt(raw: Any) -> float | None:
|
||||
"""Распарсить "rt" (секунды переподключения канала) из ответа mobileproxy.
|
||||
Формат не документирован — best-effort, неудача не является ошибкой ротации."""
|
||||
if raw is None:
|
||||
return None
|
||||
try:
|
||||
return float(raw)
|
||||
except (TypeError, ValueError):
|
||||
return None
|
||||
|
||||
|
||||
async def rotate_proxy(db: Session, proxy_id: int) -> RotationResult:
|
||||
"""Сменить exit-IP одного прокси пула — диспетчер по провайдеру (#2600 п.5).
|
||||
"""Сменить exit-IP одного прокси пула через ASocks refresh-ip (#2600 п.5).
|
||||
|
||||
Порядок:
|
||||
1. proxy_id не найден в scrape_proxies → ok=False, reason нейтральный.
|
||||
2. rotate_url пусто → ok=False, "ротация не поддерживается" (НЕ ошибка).
|
||||
3. rotate_url хост определяет провайдера (_rotate_provider_for_host) ДО
|
||||
любого HTTP-вызова — секрет провайдера не должен уйти на чужой хост
|
||||
(см. "⛔ Хост-пиннинг" в docstring модуля). Неизвестный хост → ok=False.
|
||||
4. Известный провайдер → делегируем в _rotate_via_asocks /
|
||||
_rotate_via_mobileproxy (детали протокола — там и в docstring модуля).
|
||||
3. rotate_url хост != ALLOWED_ROTATE_HOST (https://api.asocks.com) → ok=False
|
||||
ДО HTTP-вызова — токен не должен уйти на чужой провайдер (mobileproxy
|
||||
changeip и т.п. в этой же колонке пула, см. "⛔ Хост-пиннинг" в модуле).
|
||||
4. ASOCKS_API_TOKEN не задан (settings.asocks_api_token) → ok=False,
|
||||
внятный отказ, ничего не ломается.
|
||||
5. Суточный лимит (см. _quota_used_today) исчерпан → ok=False, отказ БЕЗ
|
||||
обращения к API.
|
||||
6. POST rotate_url с Authorization: Bearer <token>, timeout ~30с.
|
||||
- Сетевая ошибка (нет ответа) → ok=False, аудит-запись http_status=NULL
|
||||
(НЕ считается в лимите), нейтральный reason, детали в лог exc_info=True.
|
||||
- 401 → громкий отказ (_alert_stale_token) + аудит-запись (НЕ считается
|
||||
в лимите), нейтральный reason.
|
||||
- Другой 4xx/5xx → аудит-запись (считается в лимите — провайдер прошёл
|
||||
auth и ответил своей бизнес-логикой), нейтральный reason.
|
||||
- 2xx → аудит-запись success=True (считается в лимите), new_ip best-effort.
|
||||
|
||||
Ни в одном из reason/логов НЕ появляется токен/ключ.
|
||||
Ни в одном из reason/логов НЕ появляется токен.
|
||||
"""
|
||||
row = (
|
||||
db.execute(
|
||||
|
|
@ -338,51 +266,24 @@ async def rotate_proxy(db: Session, proxy_id: int) -> RotationResult:
|
|||
ok=False, reason="rotation not supported for this proxy (no rotate_url configured)"
|
||||
)
|
||||
|
||||
provider = _rotate_provider_for_host(rotate_url)
|
||||
if not _is_allowed_rotate_url(rotate_url):
|
||||
# scrape_proxies.rotate_url колонка неоднородна (другие строки пула несут
|
||||
# mobileproxy changeip-ссылки с ИХ секретом) — отправлять наш
|
||||
# Authorization: Bearer <ASOCKS_API_TOKEN> на непроверенный хост нельзя.
|
||||
# Логируем ТОЛЬКО hostname (не полный url — на других провайдерах он
|
||||
# несёт их собственный секрет в query-string, тот же класс утечки, что
|
||||
# и в rotate_proxy_ip, см. модуль docstring).
|
||||
logger.warning(
|
||||
"proxy_rotation: proxy_id=%d rotate_url host=%r is not the allowed ASocks host "
|
||||
"(%s) — refusing before any HTTP call to avoid leaking the token to it",
|
||||
proxy_id,
|
||||
urlparse(rotate_url).hostname,
|
||||
ALLOWED_ROTATE_HOST,
|
||||
)
|
||||
return RotationResult(
|
||||
ok=False, reason="rotation not supported for this proxy (unexpected rotate host)"
|
||||
)
|
||||
|
||||
if provider == "asocks":
|
||||
return await _rotate_via_asocks(db, proxy_id, rotate_url)
|
||||
|
||||
if provider == "mobileproxy":
|
||||
return await _rotate_via_mobileproxy(db, proxy_id, rotate_url)
|
||||
|
||||
# scrape_proxies.rotate_url колонка неоднородна (другие строки пула несут
|
||||
# ссылки других провайдеров) — отправлять секрет ЛЮБОГО провайдера на
|
||||
# непроверенный хост нельзя. Логируем ТОЛЬКО hostname (не полный url — на
|
||||
# других провайдерах он несёт их собственный секрет в query-string, тот же
|
||||
# класс утечки, что и в rotate_proxy_ip, см. модуль docstring).
|
||||
logger.warning(
|
||||
"proxy_rotation: proxy_id=%d rotate_url host=%r is not a recognised rotation "
|
||||
"provider (allowed: %s, %s) — refusing before any HTTP call to avoid leaking "
|
||||
"credentials to it",
|
||||
proxy_id,
|
||||
urlparse(rotate_url).hostname,
|
||||
ALLOWED_ROTATE_HOST,
|
||||
ALLOWED_MOBILEPROXY_ROTATE_HOST,
|
||||
)
|
||||
return RotationResult(
|
||||
ok=False, reason="rotation not supported for this proxy (unexpected rotate host)"
|
||||
)
|
||||
|
||||
|
||||
async def _rotate_via_asocks(db: Session, proxy_id: int, rotate_url: str) -> RotationResult:
|
||||
"""ASocks refresh-ip (см. docstring модуля § ASocks). rotate_url уже проверен
|
||||
вызывающим (_rotate_provider_for_host == "asocks").
|
||||
|
||||
Порядок:
|
||||
1. ASOCKS_API_TOKEN не задан (settings.asocks_api_token) → ok=False,
|
||||
внятный отказ, ничего не ломается.
|
||||
2. Суточный лимит (см. _quota_used_today, DAILY_ROTATION_LIMIT) исчерпан →
|
||||
ok=False, отказ БЕЗ обращения к API.
|
||||
3. POST rotate_url с Authorization: Bearer <token>, timeout ~30с.
|
||||
- Сетевая ошибка (нет ответа) → ok=False, аудит-запись http_status=NULL
|
||||
(НЕ считается в лимите), нейтральный reason, детали в лог exc_info=True.
|
||||
- 401 → громкий отказ (_alert_stale_token) + аудит-запись (НЕ считается
|
||||
в лимите), нейтральный reason.
|
||||
- Другой 4xx/5xx → аудит-запись (считается в лимите — провайдер прошёл
|
||||
auth и ответил своей бизнес-логикой), нейтральный reason.
|
||||
- 2xx → аудит-запись success=True (считается в лимите), new_ip best-effort.
|
||||
"""
|
||||
token = settings.asocks_api_token
|
||||
if not token:
|
||||
logger.warning(
|
||||
|
|
@ -473,136 +374,3 @@ async def _rotate_via_asocks(db: Session, proxy_id: int, rotate_url: str) -> Rot
|
|||
new_ip=new_ip,
|
||||
rotations_remaining_today=max(0, DAILY_ROTATION_LIMIT - (used + 1)),
|
||||
)
|
||||
|
||||
|
||||
async def _rotate_via_mobileproxy(db: Session, proxy_id: int, rotate_url: str) -> RotationResult:
|
||||
"""mobileproxy.space (aproxy.site) rotation (см. docstring модуля § mobileproxy).
|
||||
rotate_url уже проверен вызывающим (_rotate_provider_for_host == "mobileproxy").
|
||||
|
||||
Порядок:
|
||||
1. Предохранительный суточный лимит (см. _quota_used_today,
|
||||
MOBILEPROXY_DAILY_ROTATION_LIMIT) исчерпан → ok=False, отказ БЕЗ
|
||||
обращения к API (это наш собственный runaway-guard, не лимит провайдера).
|
||||
2. GET rotate_url&format=json, БЕЗ заголовков, timeout ~30с.
|
||||
- Сетевая ошибка (нет ответа) → ok=False, аудит-запись http_status=NULL
|
||||
(НЕ считается в лимите), нейтральный reason, детали в лог exc_info=True.
|
||||
- HTTP 4xx/5xx → аудит-запись (считается в лимите), нейтральный reason.
|
||||
- HTTP 2xx, но JSON status != "OK" → аудит-запись success=False (считается
|
||||
в лимите — провайдер ответил, просто бизнес-неудача), нейтральный reason.
|
||||
- HTTP 2xx и status == "OK" → аудит-запись success=True, new_ip записывается
|
||||
в scrape_proxies.exit_ip, бан-история узла снимается (тот же принцип,
|
||||
что и у ASocks), rt возвращается вызывающему как reconnect_delay_s.
|
||||
"""
|
||||
used = _quota_used_today(db, proxy_id)
|
||||
if used >= MOBILEPROXY_DAILY_ROTATION_LIMIT:
|
||||
logger.warning(
|
||||
"proxy_rotation: mobileproxy daily limit reached proxy_id=%d used=%d/%d — "
|
||||
"skipping API call",
|
||||
proxy_id,
|
||||
used,
|
||||
MOBILEPROXY_DAILY_ROTATION_LIMIT,
|
||||
)
|
||||
return RotationResult(
|
||||
ok=False,
|
||||
reason=f"daily rotation limit reached ({MOBILEPROXY_DAILY_ROTATION_LIMIT}/day)",
|
||||
rotations_remaining_today=0,
|
||||
)
|
||||
|
||||
# proxy_key живёт в query-string самого rotate_url — request_url несёт его
|
||||
# так же, как и исходный url. НИКОГДА не логировать/не возвращать request_url
|
||||
# или rotate_url целиком (см. "⛔ Токен..." в docstring модуля).
|
||||
request_url = httpx.URL(rotate_url).copy_merge_params({"format": "json"})
|
||||
|
||||
try:
|
||||
async with httpx.AsyncClient(timeout=_ROTATE_TIMEOUT_S) as client:
|
||||
resp = await client.get(request_url)
|
||||
except Exception as exc:
|
||||
# Тот же принцип, что и у ASocks выше: str(exc) может нести полный URL
|
||||
# (значит и proxy_key) — наружу только exc_info=True в лог,
|
||||
# type(exc).__name__ в note (не секрет, полезен оператору).
|
||||
logger.warning(
|
||||
"proxy_rotation: mobileproxy request failed (no response) proxy_id=%d",
|
||||
proxy_id,
|
||||
exc_info=True,
|
||||
)
|
||||
_record_attempt(
|
||||
db,
|
||||
proxy_id,
|
||||
success=False,
|
||||
http_status=None,
|
||||
note=f"request failed: {type(exc).__name__}",
|
||||
)
|
||||
return RotationResult(
|
||||
ok=False,
|
||||
reason="rotation request failed (network error)",
|
||||
rotations_remaining_today=max(0, MOBILEPROXY_DAILY_ROTATION_LIMIT - used),
|
||||
)
|
||||
|
||||
status = resp.status_code
|
||||
remaining_after = max(0, MOBILEPROXY_DAILY_ROTATION_LIMIT - (used + 1))
|
||||
|
||||
if status >= 400:
|
||||
logger.warning(
|
||||
"proxy_rotation: mobileproxy provider returned error proxy_id=%d status=%d",
|
||||
proxy_id,
|
||||
status,
|
||||
)
|
||||
_record_attempt(
|
||||
db, proxy_id, success=False, http_status=status, note="provider returned error"
|
||||
)
|
||||
return RotationResult(
|
||||
ok=False,
|
||||
reason=f"rotation request failed (provider status {status})",
|
||||
rotations_remaining_today=remaining_after,
|
||||
)
|
||||
|
||||
data: Any
|
||||
try:
|
||||
data = resp.json()
|
||||
except Exception:
|
||||
data = None
|
||||
|
||||
provider_status = data.get("status") if isinstance(data, dict) else None
|
||||
if provider_status != "OK":
|
||||
logger.warning(
|
||||
"proxy_rotation: mobileproxy provider reported non-OK status proxy_id=%d status=%r",
|
||||
proxy_id,
|
||||
provider_status,
|
||||
)
|
||||
_record_attempt(
|
||||
db,
|
||||
proxy_id,
|
||||
success=False,
|
||||
http_status=status,
|
||||
note=f"provider status={provider_status!r}",
|
||||
)
|
||||
return RotationResult(
|
||||
ok=False,
|
||||
reason="rotation request failed (provider reported failure)",
|
||||
rotations_remaining_today=remaining_after,
|
||||
)
|
||||
|
||||
raw_new_ip = data.get("new_ip")
|
||||
new_ip = str(raw_new_ip) if raw_new_ip else None
|
||||
reconnect_delay_s = _parse_rt(data.get("rt"))
|
||||
|
||||
logger.info(
|
||||
"proxy_rotation: mobileproxy rotated proxy_id=%d status=%d new_ip=%s rt=%s",
|
||||
proxy_id,
|
||||
status,
|
||||
new_ip,
|
||||
reconnect_delay_s,
|
||||
)
|
||||
_record_attempt(db, proxy_id, success=True, http_status=status, note=None)
|
||||
if new_ip:
|
||||
_update_exit_ip(db, proxy_id, new_ip)
|
||||
# Тот же принцип, что и у ASocks (см. docstring модуля): IP сменился → баны
|
||||
# площадок на СТАРОМ адресе недействительны.
|
||||
clear_source_bans(db, proxy_id, reason=f"exit ip rotated (mobileproxy status={status})")
|
||||
return RotationResult(
|
||||
ok=True,
|
||||
reason=None,
|
||||
new_ip=new_ip,
|
||||
rotations_remaining_today=remaining_after,
|
||||
reconnect_delay_s=reconnect_delay_s,
|
||||
)
|
||||
|
|
|
|||
|
|
@ -28,18 +28,9 @@ class Region:
|
|||
"""Один регион покрытия продукта.
|
||||
|
||||
bbox_tight — ядро города: geocoder-фильтрация фуззи-матчей провайдеров
|
||||
(не принять соседний город за совпадение по опечатке). У
|
||||
региона БЕЗ одного центрального города (50 — область, много
|
||||
сопоставимых по объёму городов, ни один не «ядро») — равен
|
||||
bbox_product_core: эмпирический пояс, где данные РЕАЛЬНО
|
||||
наблюдались (перцентили 0.5..99.5 координат сырья), а не
|
||||
административная граница — см. REGIONS[50] и обоснование там.
|
||||
(не принять соседний город за совпадение по опечатке).
|
||||
bbox_wide — город + легитимное приграничье: ingest-guard координат,
|
||||
ПРИШЕДШИХ ИЗВНЕ (detail-страницы площадок). Содержит tight.
|
||||
У 50 — полный наблюдённый диапазон координат (min..max, без
|
||||
перцентильной обрезки) вместо «город + отступ»: без своего
|
||||
города отступать не от чего, поэтому граница «легитимности»
|
||||
здесь тоже эмпирическая, просто менее обрезанная, чем tight.
|
||||
bbox_region — генеральный bbox региона: fallback-accept для провайдеров без
|
||||
структурного region-поля. Содержит wide.
|
||||
bbox_product_core — гео-охват ПРОДУКТА в этом регионе: location_index
|
||||
|
|
@ -47,29 +38,15 @@ class Region:
|
|||
out_of_coverage. У 66 УЖЕ (не равен) tight: исторический bbox
|
||||
location_index (56.70..56.95/60.50..60.75), синхронизирован с
|
||||
EKB_BBOX Overpass-загрузчика POI основного gendesign-бэкенда
|
||||
(комментарий в обе стороны, см. site_finder/poi_loader.py). У
|
||||
50 — намеренно НЕ административный bbox (обещать охват там,
|
||||
где нет ни одного объявления, нельзя) — эмпирический пояс
|
||||
фактических данных, см. REGIONS[50].
|
||||
(комментарий в обе стороны, см. site_finder/poi_loader.py).
|
||||
city_token — нормализованный токен главного города (нижний регистр, е==ё
|
||||
нормализует потребитель — matching.normalize). У региона без
|
||||
единого центра (50) — самый объёмный по данным город, который
|
||||
ОДНОВРЕМЕННО де-факто административный: см. REGIONS[50].
|
||||
нормализует потребитель — matching.normalize).
|
||||
cities — узнаваемые города региона (для city_hint / prefix-логики
|
||||
геокодера). НЕ исчерпывающий список — основные центры.
|
||||
enrichment_tiers — какие тиры обогащения РЕАЛЬНО доступны региону.
|
||||
Регион без тира должен деградировать ЯВНО (потребитель
|
||||
спрашивает unsupported_tier_reason и логирует/маркирует),
|
||||
а не молча считать дальше без источника.
|
||||
canonical_city — #3051: имя города, которым ПЕРЕЗАПИСЫВАЕТСЯ `city`
|
||||
строк, приходящих из источника без надёжного city-поля
|
||||
(Росреестр по Москве отдаёт муниципальный округ/поселение
|
||||
вместо города — «Раменки», «Сосенское» — а не «Москва»).
|
||||
None — источник несёт свой city как есть, без override
|
||||
(регион 66: byte-for-byte прежнее поведение). Not-None —
|
||||
потребитель (import_rosreestr_dkp) подставляет это имя
|
||||
вместо city источника и НЕ фильтрует по city IS NOT NULL
|
||||
(иначе на 77 теряется ~10% строк с пустым city).
|
||||
"""
|
||||
|
||||
code: int
|
||||
|
|
@ -81,7 +58,6 @@ class Region:
|
|||
city_token: str
|
||||
cities: frozenset[str]
|
||||
enrichment_tiers: frozenset[str]
|
||||
canonical_city: str | None = None
|
||||
|
||||
|
||||
def is_within_bbox(lat: float, lon: float, bbox: BBox) -> bool:
|
||||
|
|
@ -168,127 +144,20 @@ REGIONS: dict[int, Region] = {
|
|||
# sber_index покрывают регион 66. Пустое множество здесь — не заглушка,
|
||||
# а ФАКТ, который потребители обязаны озвучивать (см. класс-докстринг).
|
||||
enrichment_tiers=frozenset(),
|
||||
# #3051: Росреестр по Москве отдаёт в city муниципальный округ/поселение
|
||||
# ("муниципальный округ Раменки", "поселение Сосенское"), не сам город —
|
||||
# import_rosreestr_dkp подставляет каноничное имя вместо city источника.
|
||||
canonical_city="Москва",
|
||||
),
|
||||
50: Region(
|
||||
code=50,
|
||||
name="Московская область",
|
||||
# У области НЕТ города-ядра (в отличие от 66/77) — 20 сопоставимых по
|
||||
# объёму городов-спутников. Поэтому tight/wide/product_core здесь не
|
||||
# «город + отступ», а ЭМПИРИЧЕСКИЙ пояс данных: разброс координат
|
||||
# подмосковного сырья Циан (45 294 строки, отбор по городскому
|
||||
# поддомену ссылки ≠ www, замер на дату добавления региона):
|
||||
# полный диапазон: lat 54.673..56.762, lon 35.920..39.888
|
||||
# перцентили 0.5..99.5: lat 54.834..56.728, lon 36.193..39.545
|
||||
# tight = product_core = перцентильный пояс (без выбросов из хвоста
|
||||
# распределения — то немногое, что уверенно наблюдали). wide = полный
|
||||
# диапазон (min..max) — легитимное приграничье для ingest-guard шире
|
||||
# tight, но всё ещё эмпирическое, не административное.
|
||||
bbox_tight=(54.834, 56.728, 36.193, 39.545),
|
||||
bbox_wide=(54.673, 56.762, 35.920, 39.888),
|
||||
# region — административный bbox МО целиком (fallback-accept должен
|
||||
# покрывать всю область, а не только пояс, где уже есть данные):
|
||||
# lat 54.20..56.96, lon 35.14..40.21.
|
||||
bbox_region=(54.20, 56.96, 35.14, 40.21),
|
||||
# product_core НЕ равен bbox_region: location_index не должен обещать
|
||||
# медианы там, где по факту нет ни одного объявления (deals=0,
|
||||
# listings=0 на дату добавления — импорт 411 056 сделок Росреестра из
|
||||
# FDW идёт отдельным PR). Равен tight — см. выше.
|
||||
bbox_product_core=(54.834, 56.728, 36.193, 39.545),
|
||||
# Красногорск: и самый объёмный город по факту сырья (см. cities ниже,
|
||||
# по убыванию объёма), и де-факто административный центр региона —
|
||||
# Правительство Московской области физически размещается в Красногорске
|
||||
# с 2013 г. (Москва как формальный административный центр — экстра-
|
||||
# территориальна и уже занята регионом 77). Единственный кандидат,
|
||||
# обоснованный ОБОИМИ критериями сразу.
|
||||
city_token="красногорск",
|
||||
cities=frozenset(
|
||||
{
|
||||
"красногорск",
|
||||
"балашиха",
|
||||
"видное",
|
||||
"люберцы",
|
||||
"звенигород",
|
||||
"химки",
|
||||
"мытищи",
|
||||
"подольск",
|
||||
"одинцово",
|
||||
"солнечногорск",
|
||||
"домодедово",
|
||||
"королёв",
|
||||
"королев",
|
||||
"котельники",
|
||||
"дмитров",
|
||||
"электросталь",
|
||||
"реутов",
|
||||
"щёлково",
|
||||
"щелково",
|
||||
"серпухов",
|
||||
"ногинск",
|
||||
"железнодорожный",
|
||||
}
|
||||
),
|
||||
# Тиров обогащения у области пока НЕТ ни одного: IMV/квартальный
|
||||
# индекс/кадастр/POI не заведены (проверено — frozenset() пуст
|
||||
# намеренно, не заглушка). Ряд Сбериндекса по области с 12.09.2026 в
|
||||
# карте _SBER_REGION_SERIES эстиматора есть, но тиром он от этого не
|
||||
# становится: у Москвы набор тиров тоже пуст, а свой ряд она читает —
|
||||
# поправка по времени идёт мимо enrichment_tiers (TIER_SBER_INDEX нигде
|
||||
# за пределами этого реестра не спрашивают).
|
||||
enrichment_tiers=frozenset(),
|
||||
# Источники по области несут настоящий city (Химки, Балашиха — не
|
||||
# муниципальный округ/поселение, в отличие от Москвы) — перезаписывать
|
||||
# нечего и незачем, в отличие от 77.
|
||||
canonical_city=None,
|
||||
),
|
||||
}
|
||||
|
||||
DEFAULT_REGION_CODE = 66
|
||||
|
||||
|
||||
def _bbox_area(bbox: BBox) -> float:
|
||||
"""Грубая «площадь» bbox в кв. градусах (lat_range * lon_range).
|
||||
|
||||
Не учитывает сжатие долготы на широте (cos(lat)) — не нужно: значение
|
||||
используется ТОЛЬКО чтобы сравнить специфичность bbox'ов разного порядка
|
||||
(город vs область), не как настоящая площадь в км²."""
|
||||
lat_min, lat_max, lon_min, lon_max = bbox
|
||||
return (lat_max - lat_min) * (lon_max - lon_min)
|
||||
|
||||
|
||||
# Порядок обхода для region_for_point: от САМОГО специфичного (маленький
|
||||
# bbox_region) к самому общему — НЕ sorted(REGIONS) по числовому коду.
|
||||
#
|
||||
# Почему код региона как ключ порядка сломался: bbox_region(50) (Московская
|
||||
# область целиком, lat 54.20..56.96/lon 35.14..40.21) геометрически СОДЕРЖИТ
|
||||
# bbox_region(77) (Москва, 55.10..56.10/36.80..38.10) как прямоугольники — а
|
||||
# 50 < 66 < 77 по числу. При обходе `sorted(REGIONS)` регион 50 проверялся бы
|
||||
# ПЕРВЫМ (50 < 77) и забирал бы себе ВСЕ точки Москвы, включая центр
|
||||
# (55.75, 37.62) — она лежит в bbox_region обоих регионов одновременно. Старый
|
||||
# докстринг называл это «на случай, если когда-нибудь пересекутся» — случай
|
||||
# наступил прямо при добавлении региона 50, не гипотетически.
|
||||
#
|
||||
# Площадь bbox_region (см. `_bbox_area`) как ключ сортировки решает это БЕЗ
|
||||
# ручного списка: чем компактнее регион, тем раньше его проверяют, поэтому
|
||||
# вложенный регион (77 внутри 50) всегда выигрывает у объемлющего, а будущий
|
||||
# новый регион сам встанет в верную позицию по своей площади — правку этого
|
||||
# места повторять не придётся.
|
||||
_POINT_LOOKUP_ORDER: tuple[int, ...] = tuple(
|
||||
sorted(REGIONS, key=lambda code: (_bbox_area(REGIONS[code].bbox_region), code))
|
||||
)
|
||||
|
||||
|
||||
def region_for_point(lat: float, lon: float) -> Region | None:
|
||||
"""Регион покрытия, которому принадлежит точка (по bbox_region), или None.
|
||||
|
||||
Обход — `_POINT_LOOKUP_ORDER` (компактный bbox_region раньше обширного), а
|
||||
не числовой код региона: код как ключ порядка ломается ровно на паре
|
||||
50/77, см. комментарий у `_POINT_LOOKUP_ORDER`.
|
||||
Регионы географически не пересекаются; порядок обхода детерминирован кодом
|
||||
региона на случай, если когда-нибудь пересекутся (первый по коду выигрывает
|
||||
— и это станет видно в тестах реестра, а не в проде).
|
||||
"""
|
||||
for code in _POINT_LOOKUP_ORDER:
|
||||
for code in sorted(REGIONS):
|
||||
if is_within_bbox(lat, lon, REGIONS[code].bbox_region):
|
||||
return REGIONS[code]
|
||||
return None
|
||||
|
|
@ -296,16 +165,7 @@ def region_for_point(lat: float, lon: float) -> Region | None:
|
|||
|
||||
def region_by_city(city: str | None) -> Region | None:
|
||||
"""Регион, в чьём списке городов есть `city` (нормализованный нижний
|
||||
регистр, е/ё не различаются). None — город не узнан ни одним регионом.
|
||||
|
||||
В отличие от `region_for_point`, здесь нет геометрической вложенности —
|
||||
сравнение точное (токен строки), не bbox-containment, поэтому порядок по
|
||||
коду региона не создаёт баг ordering'а САМ ПО СЕБЕ. Он МОГ бы сломаться,
|
||||
если бы одно имя города оказалось в `cities` двух регионов (тогда побеждал
|
||||
бы меньший код) — список городов 50 сверен вручную с `cities` регионов 66
|
||||
и 77, пересечений нет (закреплено test_no_city_name_duplicated_across_regions
|
||||
в tests/test_3051_region_registry_moscow_oblast.py).
|
||||
"""
|
||||
регистр, е/ё не различаются). None — город не узнан ни одним регионом."""
|
||||
if not city:
|
||||
return None
|
||||
token = " ".join(city.lower().replace("ё", "е").split())
|
||||
|
|
|
|||
|
|
@ -40,18 +40,6 @@ REF_AREA codes (sberindex internal region IDs, not ОКАТО/ISO):
|
|||
77 = Москва — verified 2026-05-31 brute-force against /api/sowa
|
||||
(region name from ref_area field of response);
|
||||
real_estate_deals: 2017-01 148 471 → 2026-04 309 510 руб/м².
|
||||
50 = Московская область — verified live 2026-09-12 (все три дашборда, ref_area
|
||||
в ответе = «Московская область»); real_estate_deals 116 месячных точек
|
||||
2017-01..2026-08, residential_real_estate_prices 47 (2022-10..2026-08),
|
||||
dinamika-tsen-obyavlenii 56 (2021-12..2026-07) — та же глубина и свежесть,
|
||||
что у Москвы.
|
||||
|
||||
Область заведена ЗАРАНЕЕ, до появления региона 50 в реестре regions.REGIONS. Ряд
|
||||
источника наполняется месяцами и задним числом не восстанавливается, поэтому
|
||||
загружать его надо начинать раньше, чем он понадобится оценщику. На саму оценку
|
||||
это не влияет: estimator берёт ряды через _SBER_REGION_SERIES, кода 50 там нет, и
|
||||
до его появления область в расчёт не попадает. Мониторинг свежести тоже не
|
||||
затронут — SBER_REQUIRED_REGIONS считается от карты ЭСТИМАТОРА, а не отсюда.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
|
@ -83,7 +71,6 @@ SBER_REF_AREAS: dict[str, str] = {
|
|||
"643": "Россия",
|
||||
"66": "Свердловская область",
|
||||
"77": "Москва",
|
||||
"50": "Московская область",
|
||||
}
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -25,16 +25,13 @@ Zombie-reap, advisory-lock claim и tick-loop теперь целиком в
|
|||
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
from typing import Any
|
||||
|
||||
# kit_runs — ТОТ ЖЕ модуль, что и runs_mod ниже: с #3390 `app.services.scrape_runs`
|
||||
# его алиас, реализация одна и counters везде МЕРЖАТСЯ (`counters || :counters`). До
|
||||
# #3390 копии было две, и app-копия counters ЗАМЕНЯЛА — тогда чекпоинт курсора
|
||||
# import_rosreestr_dkp (#3168) обязан был писаться именно kit-именем, иначе resume-вердикт
|
||||
# со старта затирался первым же per-batch пульсом. Имя оставлено как есть: теперь это
|
||||
# один объект, и переименование в runs_mod ничего не чинит и ничего не ломает.
|
||||
# kit_runs.update_heartbeat (в отличие от локального runs_mod.update_heartbeat) мержит
|
||||
# counters (`counters || :counters`) вместо замены — нужен для чекпоинта курсора
|
||||
# import_rosreestr_dkp (issue #3168), чтобы resume-вердикт, записанный на старте, не
|
||||
# затирался последующими per-batch heartbeat'ами того же прогона.
|
||||
from scraper_kit.orchestration import runs as kit_runs
|
||||
|
||||
# compute_next_run_at жил здесь ВТОРОЙ, побайтово одинаковой копией kit-версии (#2674).
|
||||
|
|
@ -45,13 +42,11 @@ from scraper_kit.orchestration import runs as kit_runs
|
|||
# такта снова разъедется по одному из них. Re-export (а не правка импорта у вызывающих)
|
||||
# сохраняет `from app.services.scheduler import compute_next_run_at` в admin.py и тестах.
|
||||
from scraper_kit.orchestration.scheduler import compute_next_run_at
|
||||
from scraper_kit.proxy_errors import caused_by_no_proxy
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from app.core.shutdown import shutdown_requested
|
||||
from app.services import scrape_runs as runs_mod
|
||||
from app.services.regions import REGIONS
|
||||
|
||||
__all__ = ["compute_next_run_at", "has_running_run"]
|
||||
|
||||
|
|
@ -104,18 +99,10 @@ async def _execute_cian_backfill(
|
|||
|
||||
Params (from default_params jsonb):
|
||||
batch_size: int — rows per run (listings + houses counted separately).
|
||||
listings_pending: str — "history" (дефолт) | "detail", см. #3284.
|
||||
do_houses: bool — дефолт true; у cian_detail_backfill выключен.
|
||||
"""
|
||||
from app.tasks.cian_history_backfill import CianBackfillResult, backfill_cian_history
|
||||
|
||||
batch_size = int(params.get("batch_size", 100))
|
||||
# #3284: одно тело обслуживает ДВА расписания. cian_history_backfill идёт с
|
||||
# дефолтами (история + дома), cian_detail_backfill — с listings_pending="detail"
|
||||
# и do_houses=false: дома у него уже разбирает суточный сосед, а гонять их
|
||||
# круглосуточно незачем.
|
||||
listings_pending = str(params.get("listings_pending", "history"))
|
||||
do_houses = bool(params.get("do_houses", True))
|
||||
|
||||
def _counters(result: CianBackfillResult) -> dict[str, int]:
|
||||
return {
|
||||
|
|
@ -131,16 +118,8 @@ async def _execute_cian_backfill(
|
|||
"""Сигнал живости из середины батча. Best-effort: сбой heartbeat не должен
|
||||
ронять уже идущую работу — прогон в худшем случае вернётся к прежнему
|
||||
поведению (пометка 'zombie' на 6-м часу)."""
|
||||
nonlocal counters
|
||||
# #3384: снимок измеренного едет не только в БД, но и в `counters` — этот словарь
|
||||
# уезжает в mark_failed из общего except ниже. Мерж (#3390) спасает лишь ключи,
|
||||
# которых в payload нет; одноимённые он ПЕРЕЗАПИСЫВАЕТ, поэтому предынициализированные
|
||||
# нули без этого присваивания легли бы поверх измеренного, и SQL-разбор простоя
|
||||
# (#3288/#3367) прочитал бы «к площадке не ходили» про прогон, который ходил.
|
||||
# Присваивание ДО записи в БД: сбой heartbeat'а не должен стирать сам факт замера.
|
||||
counters = _counters(progress)
|
||||
try:
|
||||
runs_mod.update_heartbeat(db, run_id, counters)
|
||||
runs_mod.update_heartbeat(db, run_id, _counters(progress))
|
||||
except Exception:
|
||||
logger.warning(
|
||||
"scheduler: cian_history_backfill run_id=%d heartbeat failed (ignored)",
|
||||
|
|
@ -148,8 +127,6 @@ async def _execute_cian_backfill(
|
|||
exc_info=True,
|
||||
)
|
||||
|
||||
# Стартовые нули: прогон виден в админке до первого прогресса. Держатся здесь ровно
|
||||
# до первого `_heartbeat` — дальше в `counters` лежит измеренное (см. выше).
|
||||
counters: dict[str, int] = {
|
||||
"listings_processed": 0,
|
||||
"listings_succeeded": 0,
|
||||
|
|
@ -166,38 +143,15 @@ async def _execute_cian_backfill(
|
|||
db,
|
||||
batch_size=batch_size,
|
||||
do_listings=True,
|
||||
do_houses=do_houses,
|
||||
do_houses=True,
|
||||
do_valuations=False,
|
||||
on_progress=_heartbeat,
|
||||
listings_pending=listings_pending,
|
||||
)
|
||||
|
||||
counters = {**_counters(result), "duration_sec": int(result.duration_sec)}
|
||||
# #3196: отказ detail-фетча теперь несёт диагноз (HTTP-статус последнего ответа
|
||||
# сайдкара). В 'banned' переводим ТОЛЬКО прогон, который отказы видел и не
|
||||
# обогатил НИЧЕГО, — частичный успех остаётся 'done', как и был.
|
||||
if result.no_proxy_stop:
|
||||
# #3197 (как #3288 у avito / #3283 у домклика): остановка из-за пустого пула —
|
||||
# НЕ блок, поэтому и не mark_banned: иначе прогон уйдёт в 'banned' и запись
|
||||
# будет утверждать про площадку то, чего не было. Это отказ нашей стороны.
|
||||
counters["no_proxy_stop"] = 1
|
||||
runs_mod.mark_failed(
|
||||
db, run_id, "пул прокси пуст — к площадке не ходили (#3197)", counters
|
||||
)
|
||||
# INFO, как у соседей (avito_detail_backfill.py:1050, domclick:626): причина
|
||||
# уже записана в mark_failed + counters.no_proxy_stop, а ERROR на финальной
|
||||
# строке ставил в один разряд с падением задачи (logger.exception ниже).
|
||||
logger.info(
|
||||
"scheduler: cian_history_backfill run_id=%d СТОП (пул пуст) — "
|
||||
"listings=%d/%d houses=%d/%d %.1fs",
|
||||
run_id,
|
||||
result.listings_succeeded,
|
||||
result.listings_total,
|
||||
result.houses_succeeded,
|
||||
result.houses_total,
|
||||
result.duration_sec,
|
||||
)
|
||||
return
|
||||
if result.ban_kinds and (result.listings_succeeded + result.houses_succeeded) == 0:
|
||||
counters["blocked"] = result.listings_blocked
|
||||
# Полная перепись диагнозов, а не только доминирующий вид (#3196) — иначе
|
||||
|
|
@ -223,41 +177,12 @@ async def _execute_cian_backfill(
|
|||
)
|
||||
except Exception as exc:
|
||||
logger.exception("scheduler: cian_history_backfill run_id=%d failed", run_id)
|
||||
if caused_by_no_proxy(exc):
|
||||
# #3384: пул был пуст ещё ДО первого объявления — lease берётся в
|
||||
# BrowserFetcher.__aenter__, поэтому NoProxyAvailableError вылетает из
|
||||
# самого `async with` (cian_history_backfill.py:218) мимо стоп-механики
|
||||
# внутри цикла, которая и ставит no_proxy_stop. Без этого ключа прогон,
|
||||
# который к площадке не ходил ВООБЩЕ, неотличим от любого другого падения:
|
||||
# причина только в тексте, а разбор простоя идёт SQL'ём по
|
||||
# counters.no_proxy_stop (#3288/#3367). Ключ тот же, что у ветки выше.
|
||||
# Флаг ДОБАВЛЯЕТСЯ к последнему снимку `_heartbeat`, а не подменяет его:
|
||||
# опустевший между стадиями пул — это отказ ПОСЛЕ реальной работы.
|
||||
counters["no_proxy_stop"] = 1
|
||||
runs_mod.mark_failed(db, run_id, str(exc)[:1000], counters)
|
||||
raise
|
||||
|
||||
|
||||
_DKP_SOURCE = "rosreestr_dkp_import"
|
||||
|
||||
|
||||
def _dkp_source_for_region(region_code: int) -> str:
|
||||
"""Имя scrape_runs.source для чекпоинта данного региона (#3051 п.3).
|
||||
|
||||
66 — байт-в-байт прежнее имя ('rosreestr_dkp_import'), под которым годами
|
||||
писались scrape_runs. Остальные регионы получают суффикс кода — тот же
|
||||
формат, что и у строки scrape_schedules ('rosreestr_dkp_import_77',
|
||||
seed — миграция 289), которую резолвит wildcard 'rosreestr_dkp_import_*'
|
||||
в product_handlers.py. Изоляция чекпоинтов между регионами держится именно
|
||||
на разных source: _resume_dkp_cursor ищет ПРЕДЫДУЩИЙ прогон с ТЕМ ЖЕ source,
|
||||
поэтому курсор региона 77 никогда не подхватит last_id региона 66 (и
|
||||
наоборот) — они просто разные строки в scrape_runs.source.
|
||||
"""
|
||||
if region_code == 66:
|
||||
return _DKP_SOURCE
|
||||
return f"{_DKP_SOURCE}_{region_code}"
|
||||
|
||||
|
||||
# Потолок возраста чекпоинта: старше — last_id прошлого прогона не подхватываем, прогон
|
||||
# стартует с id=0 (issue #3168). У предиката `id > last_id` нет протухания в смысле
|
||||
# свипов (он остаётся корректным сколь угодно долго), но апстрим
|
||||
|
|
@ -283,9 +208,7 @@ _DKP_RESUME_CANDIDATE_SQL = text("""
|
|||
""")
|
||||
|
||||
|
||||
def _resume_dkp_cursor(
|
||||
db: Session, run_id: int, source: str = _DKP_SOURCE
|
||||
) -> tuple[int, dict[str, Any]]:
|
||||
def _resume_dkp_cursor(db: Session, run_id: int) -> tuple[int, dict[str, Any]]:
|
||||
"""Продолжить last_id прошлого прогона или начать с 0 — решение + explain (issue #3168).
|
||||
|
||||
last_id раньше жил только в памяти процесса (init на 0 при каждом запуске): heartbeat
|
||||
|
|
@ -293,14 +216,7 @@ def _resume_dkp_cursor(
|
|||
обратно. Обрыв (деплой/OOM/рестарт хоста) откатывал прогресс на 0 и заставлял
|
||||
пере-сканировать источник с начала.
|
||||
|
||||
`source` (#3051 п.3) — per-region ключ чекпоинта (см. _dkp_source_for_region):
|
||||
дефолт _DKP_SOURCE сохраняет прежнее поведение вызовов без явного аргумента
|
||||
(регион 66). Кандидат ищется СТРОГО по этому source — прогон региона 77
|
||||
(source='rosreestr_dkp_import_77') никогда не видит last_id региона 66
|
||||
(source='rosreestr_dkp_import') и наоборот: разные регионы физически не
|
||||
матчат друг друга в WHERE source = :source ниже.
|
||||
|
||||
Кандидат — ПОСЛЕДНИЙ прогон ЭТОГО source (тот же принцип, что и
|
||||
Кандидат — ПОСЛЕДНИЙ прогон этого source (тот же принцип, что и
|
||||
scraper_kit.orchestration.scheduler._pick_resume, локальная копия ладдера — контракт
|
||||
другой: нет params/interval_days, курсор числовой, а не bucket-set):
|
||||
- 'running' / 'zombie' — прогон, которого не завершили штатно.
|
||||
|
|
@ -314,7 +230,7 @@ def _resume_dkp_cursor(
|
|||
кодом (kit_runs.update_heartbeat — merge, не замена), чтобы решение было видно в
|
||||
scrape_runs, а не только в логе.
|
||||
"""
|
||||
row = db.execute(_DKP_RESUME_CANDIDATE_SQL, {"source": source, "rid": run_id}).fetchone()
|
||||
row = db.execute(_DKP_RESUME_CANDIDATE_SQL, {"source": _DKP_SOURCE, "rid": run_id}).fetchone()
|
||||
verdict: dict[str, Any] = {"resume_from": None}
|
||||
|
||||
if row is None:
|
||||
|
|
@ -351,92 +267,48 @@ def import_rosreestr_dkp(
|
|||
) -> None:
|
||||
"""Import ДКП-сделок из gendesign rosreestr_deals через postgres_fdw.
|
||||
|
||||
Python-порт import-rosreestr.sh (Variant C из #563). #3051 п.3: параметризовано
|
||||
по региону (params["region_code"], реестр — app.services.regions.REGIONS) —
|
||||
было хардкод region_code=66.
|
||||
Python-порт import-rosreestr.sh (Variant C из #563).
|
||||
|
||||
Источник: foreign table gendesign_rosreestr_deals (создана в migration 072,
|
||||
okato/quarter_cad_number/district добавлены миграцией 289).
|
||||
Источник: foreign table gendesign_rosreestr_deals (создана в migration 072).
|
||||
SERVER gendesign_remote настроен в 060_postgres_fdw_extension.sql.
|
||||
USER MAPPING создаётся при startup в core/fdw.py (tradein_fdw_reader).
|
||||
|
||||
Область покрытия задаётся параметром, а не литералом (#3051 п.6): region_code
|
||||
приходит из params, дефолт 66 = вся Свердловская область (не только Екатеринбург —
|
||||
прежний ILIKE-фильтр по подстроке города снят, unlocks +47183 сделок вне ЕКБ уже
|
||||
сидящих в source foreign table). Неизвестный код региона (нет в REGIONS) — ValueError,
|
||||
прогон падает явно, а не молча импортирует мусор с чужим region_code.
|
||||
|
||||
region_code=66 (регион БЕЗ canonical_city в реестре) — поведение байт-в-байт
|
||||
прежнее: city/address строятся из city источника, обязателен фильтр
|
||||
city IS NOT NULL AND trim(city) != ''.
|
||||
|
||||
Регион С canonical_city (77 — Москва): Росреестр отдаёт в city муниципальный
|
||||
округ/поселение ("муниципальный округ Раменки", "поселение Сосенское"), НЕ
|
||||
город — city/address подставляют region.canonical_city, а не city источника;
|
||||
фильтр city IS NOT NULL НЕ применяется (иначе теряется ~10% строк с пустым
|
||||
city источника). Исходные city/okato/quarter_cad_number/district уходят в
|
||||
raw_payload (jsonb) — единственная ветка SQL решает это через bind-параметр
|
||||
:canonical_city (CASE WHEN ... IS NOT NULL), а не отдельный Python if/else на
|
||||
конкретный код региона.
|
||||
|
||||
Типы документов тоже параметр (#3051 п.3): doc_types, дефолт ['ДКП'] = прежнее
|
||||
поведение (только вторичка — #549 / Fix_Rosreestr_Dkp_Filter_May24). Для Москвы
|
||||
ДДУ идут по ценам котлована и медиану развалят, поэтому смешивать их с ДКП можно
|
||||
только осознанно и с колонкой deals.doc_type (миграция 288), которая теперь
|
||||
заполняется на импорте.
|
||||
Область покрытия: вся Свердловская область (region_code=66), не только Екатеринбург —
|
||||
прежний ILIKE-фильтр по подстроке города (ограничивавший импорт одним Екатеринбургом)
|
||||
снят (Mera trade-in расширяется на весь регион, unlocks +47183 сделок вне ЕКБ уже
|
||||
сидящих в source foreign table). address и deals.city строятся из реального city
|
||||
источника (не хардкод "Екатеринбург"), deals.region_code заполняется из строки
|
||||
источника (= 66 при текущем фильтре).
|
||||
|
||||
Фильтры (совпадают с import-rosreestr.sh + Fix_Rosreestr_Dkp_Filter_May24):
|
||||
- region_code = :region_code (параметризовано, было хардкод 66)
|
||||
- city IS NOT NULL AND trim(city) != '' — ТОЛЬКО если у региона нет canonical_city
|
||||
- region_code = 66 (вся Свердловская область, все города)
|
||||
- city IS NOT NULL AND trim(city) != '' (непустой город → корректный address)
|
||||
- realestate_type_code = '002001003000' (квартира)
|
||||
- area BETWEEN 18 AND 200
|
||||
- deal_price BETWEEN 1000000 AND 100000000
|
||||
- street IS NOT NULL AND trim(street) != ''
|
||||
- doc_type = ANY(:doc_types) (param, default ['ДКП'])
|
||||
- doc_type = 'ДКП' (только вторичка — #549 / Fix_Rosreestr_Dkp_Filter_May24)
|
||||
- period_start_date >= since (default '2024-01-01')
|
||||
|
||||
dedup_hash: 'ros:dkp:' || id — плоский натуральный ключ (инъективный, без коллизий,
|
||||
human-readable). До #576 здесь был md5('ros:dkp:' || id); миграция 077 конвертировала
|
||||
существующие строки. source_id хранит исходный rosreestr id (дедуп переустанавливаем).
|
||||
Префикс ':dkp:' НАМЕРЕННО оставлен неизменным после параметризации doc_types: id
|
||||
уникален в источнике сам по себе, независимо от типа документа, поэтому ключ и без
|
||||
того не коллизирует; а вот смена формы ключа осиротила бы все уже загруженные строки
|
||||
(их пришлось бы конвертировать ещё одной миграцией — ровно то, что делала 077).
|
||||
Rooms: выводятся из площади (Росреестр не отдаёт кол-во комнат).
|
||||
|
||||
Batch-процессинг: читаем из FDW батчами по batch_size через cursor-based пагинацию
|
||||
(WHERE id > last_id ORDER BY id). Heartbeat обновляется каждый батч (= checkpoint),
|
||||
мержем (kit_runs.update_heartbeat), а не заменой. На старте _resume_dkp_cursor решает
|
||||
продолжить с last_id прошлого прогона или начать с 0 — чекпоинт переживает рестарт
|
||||
процесса (деплой/OOM/SIGTERM), пока не старше суток (issue #3168). Курсор — ПЕР
|
||||
РЕГИОН (#3051 п.3): _resume_dkp_cursor вызывается с source=_dkp_source_for_region
|
||||
(region_code), поэтому last_id региона 77 никогда не подхватывает last_id региона
|
||||
66 — они разные scrape_runs.source ('rosreestr_dkp_import' vs
|
||||
'rosreestr_dkp_import_77'), см. докстринг _dkp_source_for_region.
|
||||
процесса (деплой/OOM/SIGTERM), пока не старше суток (issue #3168).
|
||||
SAVEPOINT per row — один сбойный row не откатывает батч.
|
||||
|
||||
Координаты: NULL после импорта — геокодинг остаётся follow-up (geocode-deals).
|
||||
TODO (follow-up): запустить geocode backfill после import.
|
||||
|
||||
Cleanup: удаляет legacy строки address='Екатеринбург, реальная сделка' (pre-#549,
|
||||
region-agnostic — синтетические строки существовали только для ЕКБ).
|
||||
Cleanup: удаляет legacy строки address='Екатеринбург, реальная сделка' (pre-#549).
|
||||
"""
|
||||
since: str = str(params.get("since", "2024-01-01"))
|
||||
batch_size: int = int(params.get("batch_size", 2000))
|
||||
# #3051 п.6: регион — параметр, дефолт 66 сохраняет текущее прод-поведение
|
||||
# (расписание получает явный region_code в миграции 288).
|
||||
region_code: int = int(params.get("region_code", 66))
|
||||
# #3051 п.3: типы документов — параметр, дефолт ['ДКП'] = прежний литерал.
|
||||
doc_types: list[str] = [str(t) for t in params.get("doc_types") or ["ДКП"]]
|
||||
region = REGIONS.get(region_code)
|
||||
if region is None:
|
||||
raise ValueError(
|
||||
f"rosreestr_dkp_import: region_code={region_code} не найден в "
|
||||
f"app.services.regions.REGIONS (известны: {sorted(REGIONS)}) — "
|
||||
"прогон остановлен, чтобы не импортировать сделки с неизвестным "
|
||||
"региональным контекстом (city/address-правила для него не определены)"
|
||||
)
|
||||
dkp_source = _dkp_source_for_region(region_code)
|
||||
|
||||
counters: dict[str, int] = {
|
||||
"rows_fetched": 0,
|
||||
|
|
@ -473,7 +345,7 @@ def import_rosreestr_dkp(
|
|||
)
|
||||
db.rollback()
|
||||
|
||||
last_id, resume_verdict = _resume_dkp_cursor(db, run_id, source=dkp_source)
|
||||
last_id, resume_verdict = _resume_dkp_cursor(db, run_id)
|
||||
total_batches = 0
|
||||
kit_runs.update_heartbeat(db, run_id, resume_verdict)
|
||||
logger.info(
|
||||
|
|
@ -523,20 +395,9 @@ def import_rosreestr_dkp(
|
|||
id,
|
||||
id AS source_id_src,
|
||||
'ros:dkp:' || CAST(id AS text) AS dedup_hash,
|
||||
-- #3051: регион с canonical_city (Москва) подставляет его вместо
|
||||
-- city источника (округ/поселение, не город) — CASE на bind-параметре,
|
||||
-- не Python if/else на код региона.
|
||||
CASE
|
||||
WHEN CAST(:canonical_city AS text) IS NOT NULL
|
||||
THEN CAST(:canonical_city AS text) || ', ' || trim(street)
|
||||
ELSE trim(city) || ', ' || trim(street)
|
||||
END AS address,
|
||||
trim(city) || ', ' || trim(street) AS address,
|
||||
region_code,
|
||||
CASE
|
||||
WHEN CAST(:canonical_city AS text) IS NOT NULL
|
||||
THEN CAST(:canonical_city AS text)
|
||||
ELSE trim(city)
|
||||
END AS city,
|
||||
trim(city) AS city,
|
||||
CASE
|
||||
WHEN area < 30 THEN 0
|
||||
WHEN area < 44 THEN 1
|
||||
|
|
@ -556,45 +417,21 @@ def import_rosreestr_dkp(
|
|||
year_build AS year_built,
|
||||
round(deal_price)::bigint AS price_rub,
|
||||
round(price_per_sqm)::int AS price_per_m2,
|
||||
period_start_date AS deal_date,
|
||||
doc_type,
|
||||
-- Исходный city/okato/quarter_cad_number/district — ТОЛЬКО когда
|
||||
-- city перезаписан canonical_city выше (иначе NULL, регион 66
|
||||
-- byte-for-byte прежний: raw_payload не заполнялся и не заполняется).
|
||||
CASE
|
||||
WHEN CAST(:canonical_city AS text) IS NOT NULL THEN
|
||||
jsonb_build_object(
|
||||
'src_city', city,
|
||||
'okato', okato,
|
||||
'quarter_cad_number', quarter_cad_number,
|
||||
'district', district
|
||||
)
|
||||
ELSE NULL
|
||||
END AS raw_payload
|
||||
period_start_date AS deal_date
|
||||
FROM gendesign_rosreestr_deals
|
||||
WHERE region_code = CAST(:region_code AS int)
|
||||
AND (
|
||||
CAST(:canonical_city AS text) IS NOT NULL
|
||||
OR (city IS NOT NULL AND trim(city) <> '')
|
||||
)
|
||||
WHERE region_code = 66
|
||||
AND city IS NOT NULL AND trim(city) <> ''
|
||||
AND realestate_type_code = '002001003000'
|
||||
AND area BETWEEN 18 AND 200
|
||||
AND deal_price BETWEEN 1000000 AND 100000000
|
||||
AND street IS NOT NULL AND trim(street) <> ''
|
||||
AND doc_type = ANY(CAST(:doc_types AS text[]))
|
||||
AND doc_type = 'ДКП'
|
||||
AND period_start_date >= CAST(:since AS date)
|
||||
AND id > CAST(:last_id AS bigint)
|
||||
ORDER BY id
|
||||
LIMIT CAST(:batch_size AS int)
|
||||
"""),
|
||||
{
|
||||
"since": since,
|
||||
"last_id": last_id,
|
||||
"batch_size": batch_size,
|
||||
"region_code": region_code,
|
||||
"canonical_city": region.canonical_city,
|
||||
"doc_types": doc_types,
|
||||
},
|
||||
{"since": since, "last_id": last_id, "batch_size": batch_size},
|
||||
)
|
||||
.mappings()
|
||||
.all()
|
||||
|
|
@ -632,7 +469,7 @@ def import_rosreestr_dkp(
|
|||
INSERT INTO deals (
|
||||
source, dedup_hash, source_id, address, region_code, city,
|
||||
rooms, area_m2, floor, year_built, price_rub, price_per_m2,
|
||||
deal_date, doc_type, raw_payload
|
||||
deal_date
|
||||
)
|
||||
VALUES (
|
||||
'rosreestr',
|
||||
|
|
@ -647,9 +484,7 @@ def import_rosreestr_dkp(
|
|||
CAST(:year_built AS int),
|
||||
CAST(:price_rub AS bigint),
|
||||
CAST(:price_per_m2 AS int),
|
||||
CAST(:deal_date AS date),
|
||||
CAST(:doc_type AS text),
|
||||
CAST(:raw_payload AS jsonb)
|
||||
CAST(:deal_date AS date)
|
||||
)
|
||||
ON CONFLICT (dedup_hash) DO UPDATE SET
|
||||
address = EXCLUDED.address,
|
||||
|
|
@ -661,9 +496,7 @@ def import_rosreestr_dkp(
|
|||
year_built = EXCLUDED.year_built,
|
||||
price_rub = EXCLUDED.price_rub,
|
||||
price_per_m2 = EXCLUDED.price_per_m2,
|
||||
deal_date = EXCLUDED.deal_date,
|
||||
doc_type = EXCLUDED.doc_type,
|
||||
raw_payload = EXCLUDED.raw_payload
|
||||
deal_date = EXCLUDED.deal_date
|
||||
WHERE deals.address IS DISTINCT FROM EXCLUDED.address
|
||||
OR deals.region_code IS DISTINCT FROM EXCLUDED.region_code
|
||||
OR deals.city IS DISTINCT FROM EXCLUDED.city
|
||||
|
|
@ -674,8 +507,6 @@ def import_rosreestr_dkp(
|
|||
OR deals.price_rub IS DISTINCT FROM EXCLUDED.price_rub
|
||||
OR deals.price_per_m2 IS DISTINCT FROM EXCLUDED.price_per_m2
|
||||
OR deals.deal_date IS DISTINCT FROM EXCLUDED.deal_date
|
||||
OR deals.doc_type IS DISTINCT FROM EXCLUDED.doc_type
|
||||
OR deals.raw_payload IS DISTINCT FROM EXCLUDED.raw_payload
|
||||
RETURNING (xmax = 0) AS was_inserted
|
||||
"""),
|
||||
{
|
||||
|
|
@ -691,12 +522,6 @@ def import_rosreestr_dkp(
|
|||
"price_rub": row["price_rub"],
|
||||
"price_per_m2": row["price_per_m2"],
|
||||
"deal_date": row["deal_date"],
|
||||
"doc_type": row["doc_type"],
|
||||
"raw_payload": (
|
||||
json.dumps(row["raw_payload"], ensure_ascii=False)
|
||||
if row["raw_payload"] is not None
|
||||
else None
|
||||
),
|
||||
},
|
||||
).fetchone()
|
||||
if result is None:
|
||||
|
|
@ -730,9 +555,8 @@ def import_rosreestr_dkp(
|
|||
counters["last_id"] = last_id # type: ignore[assignment]
|
||||
|
||||
# Heartbeat = checkpoint: allows zombie detection + resume visibility.
|
||||
# Пульс МЕРЖИТ counters (`counters || :counters`), поэтому resume_verdict,
|
||||
# записанный _resume_dkp_cursor'ом перед циклом, переживает per-batch запись
|
||||
# (issue #3168; с #3390 мерж — единственная семантика, см. scrape_runs).
|
||||
# kit_runs (merge, не замена) — иначе этот REPLACE стёр бы resume_verdict,
|
||||
# записанный _resume_dkp_cursor'ом перед циклом (issue #3168).
|
||||
kit_runs.update_heartbeat(db, run_id, counters)
|
||||
logger.info(
|
||||
"rosreestr_dkp_import run_id=%d: batch=%d fetched=%d "
|
||||
|
|
|
|||
File diff suppressed because it is too large
Load diff
|
|
@ -221,17 +221,10 @@ class RealProxyProvider:
|
|||
|
||||
def acquire(self, provider: str) -> ProxyLease | None:
|
||||
from scraper_kit.contracts import ProxyLease as _KitProxyLease
|
||||
from scraper_kit.orchestration.run_context import current_run_id
|
||||
|
||||
# #3404: протокол ProxyProvider.acquire(provider) не несёт run_id (этот
|
||||
# адаптер — один объект на весь scheduler_main.py), поэтому берём его из
|
||||
# ContextVar, который выставляет runs.create_run. None — вызов вне прогона
|
||||
# (health-check, эстиматор) — proxy_pool.acquire в этом случае лизит под
|
||||
# NON_RUN_LEASE_MARKER, как и раньше, атрибуцию в scrape_runs не пишет.
|
||||
run_id = current_run_id.get()
|
||||
db = _SessionLocal()
|
||||
try:
|
||||
lease = _proxy_pool.acquire(db, provider, run_id=run_id)
|
||||
lease = _proxy_pool.acquire(db, provider)
|
||||
finally:
|
||||
db.close()
|
||||
if lease is None:
|
||||
|
|
|
|||
|
|
@ -1,328 +0,0 @@
|
|||
"""Схема улицы сделки: готовые SVG-пути для карточки лэндинга.
|
||||
|
||||
ЗАЧЕМ ГОТОВАЯ СХЕМА, А НЕ ГЕОМЕТРИЯ. Отдать фронту GeoJSON окна 840×840 м —
|
||||
это десятки килобайт на КАЖДУЮ строку витрины плюс проекция в рантайме. Здесь
|
||||
всё считается один раз при пересчёте витрины и хранится строкой SVG-путей;
|
||||
порядок величины на прототипе — 4 КБ на сделку.
|
||||
|
||||
ЧТО ЭТА СХЕМА ЗАЯВЛЯЕТ, А ЧТО НЕТ
|
||||
---------------------------------
|
||||
* ДОМА В НЕЙ НЕТ И БЫТЬ НЕ МОЖЕТ. `deals.address` — уровня улицы
|
||||
(«Екатеринбург, Краснолесья»), номер дома известен у 2.7% сделок. Точка
|
||||
дома была бы выдумана, поэтому её не рисует даже фронт: в схеме нет ни
|
||||
координат окна, ни констант проекции — по ней физически нельзя положить
|
||||
(lon, lat) в её систему координат. Это не забывчивость, а замок.
|
||||
* ЗДАНИЙ В НЕЙ НЕТ. Замер 2026-08-29: `cad_buildings` содержит 18 307
|
||||
контуров на весь ЕКБ, в плотном центре это 51 здание на радиус 450 м, где
|
||||
их в разы больше. Нарисованная застройка заявляла бы полноту, которой в
|
||||
данных нет, и показывала бы пустые кварталы там, где стоят дома.
|
||||
* УЛИЦЫ — ФИЛЬТРОВАННАЯ ВЫГРУЗКА. `osm_noise_sources_ekb` собиралась как
|
||||
«источники шума»: 10 025 линий, 1377 различных названий. Именованные улицы
|
||||
покрыты хорошо, дворовые проезды и служебные отсутствуют. Схема — это
|
||||
именно улицы района, а не полная уличная сеть.
|
||||
* УЛИЦА СМАТЧИЛАСЬ НЕ ВСЕГДА. Нормализация даёт совпадение у 550 названий из
|
||||
654 — это 31 410 сделок из 34 021 (92.3%, замер на проде 2026-08-29 по той
|
||||
же выборке, из которой набирается витрина). Оставшиеся 8% — штатный
|
||||
случай: схемы нет, фронт показывает район.
|
||||
|
||||
ПРОЕКЦИЯ — та же равнопромежуточная с поправкой cos(широты), что в
|
||||
`scripts/export_ekb_districts_svg.py`. Второй проекции в проекте нет намеренно.
|
||||
Окно квадратное в метрах, поэтому viewBox тоже квадратный: 1000×1000.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
import math
|
||||
import re
|
||||
from dataclasses import dataclass
|
||||
from typing import Any
|
||||
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# Полуразмер окна в метрах. 420 м на 1000 единиц viewBox — это ~1.2 м на
|
||||
# единицу: улица читается как улица, а соседние кварталы попадают в кадр.
|
||||
RADIUS_M = 420.0
|
||||
VIEWBOX = 1000.0
|
||||
# Метров в градусе широты (сфера). Долгота — то же, делённое на cos(широты).
|
||||
M_PER_DEG_LAT = 111_320.0
|
||||
# Допуск упрощения в градусах ≈ 3 м: меньше трёх единиц viewBox, то есть тоньше
|
||||
# линии. Смена значения обязана сопровождаться замером размера схемы.
|
||||
SIMPLIFY_DEG = 0.00003
|
||||
# Сколько подписей соседних улиц кладём в схему. Больше — каша на карточке
|
||||
# 320 px и лишние байты; отбираем самые длинные в кадре.
|
||||
MAX_LABELS = 7
|
||||
|
||||
# Родовые слова, которые в `deals.address` и в OSM пишутся по-разному
|
||||
# («Краснолесья» ↔ «улица Краснолесья»). Снимаем с обеих сторон.
|
||||
_STREET_TYPES = frozenset(
|
||||
{
|
||||
"улица",
|
||||
"ул",
|
||||
"проспект",
|
||||
"пр",
|
||||
"пр-кт",
|
||||
"пркт",
|
||||
"проспкт",
|
||||
"переулок",
|
||||
"пер",
|
||||
"бульвар",
|
||||
"бул",
|
||||
"б-р",
|
||||
"шоссе",
|
||||
"ш",
|
||||
"проезд",
|
||||
"набережная",
|
||||
"наб",
|
||||
"тракт",
|
||||
"аллея",
|
||||
"площадь",
|
||||
"пл",
|
||||
"тупик",
|
||||
}
|
||||
)
|
||||
|
||||
_KEEP = re.compile(r"[^0-9a-zа-я\s-]")
|
||||
|
||||
|
||||
def normalize_street(address: str | None) -> str | None:
|
||||
"""`'Екатеринбург, ул. Краснолесья'` → ``'краснолесья'``. Нет улицы — None.
|
||||
|
||||
Что делает и почему именно так:
|
||||
* берёт часть ПОСЛЕ последней запятой — в `deals.address` город стоит
|
||||
первым («Екатеринбург, 8 Марта»);
|
||||
* ПЕРЕКРЁСТОК берёт первой улицей. «Екатеринбург, Челюскинцев/Шейнкмана»
|
||||
→ «челюскинцев». Таких адресов в выборке ТРИ на 34 021 сделку (по
|
||||
одной сделке на каждый, замер 2026-08-29), и обе улицы одинаково
|
||||
верны: адрес и так уровня улицы, а не дома. Рисовать перекрёсток
|
||||
точкой значило бы заявить точность, которой в остальных 34 018 строках
|
||||
нет, ради трёх;
|
||||
* складывает ё→е: «Королёва» в адресе и «Королева» в OSM — одна улица;
|
||||
* снимает родовое слово (улица/проспект/…), потому что в адресе его
|
||||
обычно нет, а в OSM обычно есть;
|
||||
* цифры оставляет: «8 Марта» и «22 Партсъезда» — названия, а не номера.
|
||||
"""
|
||||
if not address:
|
||||
return None
|
||||
tail = address.rsplit(",", 1)[-1]
|
||||
tail = tail.split("/")[0]
|
||||
tail = tail.replace("ё", "е").replace("Ё", "Е").lower()
|
||||
tail = _KEEP.sub(" ", tail)
|
||||
words = [w for w in tail.split() if w.strip("-") not in _STREET_TYPES]
|
||||
return " ".join(words) or None
|
||||
|
||||
|
||||
# ── Запросы ──────────────────────────────────────────────────────────────────
|
||||
#
|
||||
# Обе идут в foreign table `gendesign_osm_roads_ekb` (миграция 281) над вьюхой
|
||||
# `v_tradein_osm_roads_ekb` чужой базы. Сервер `gendesign_remote` объявлен с
|
||||
# OPTIONS (extensions 'postgis'), поэтому PostGIS-операторы shippable: `&&` с
|
||||
# готовым конвертом уходит на ту сторону и попадает в GiST-индекс, а обратно
|
||||
# едет уже обрезанный GeoJSON, а не десять тысяч линий.
|
||||
|
||||
_NAMES_SQL = text("SELECT DISTINCT name FROM gendesign_osm_roads_ekb WHERE name IS NOT NULL")
|
||||
|
||||
_CENTER_SQL = text(
|
||||
"""
|
||||
SELECT ST_X(p) AS lon, ST_Y(p) AS lat
|
||||
FROM (
|
||||
SELECT ST_ClosestPoint(g, ST_Centroid(g)) AS p
|
||||
FROM (
|
||||
SELECT ST_Collect(geom) AS g
|
||||
FROM gendesign_osm_roads_ekb
|
||||
WHERE name = ANY(CAST(:names AS text[]))
|
||||
) t
|
||||
WHERE g IS NOT NULL
|
||||
) q
|
||||
"""
|
||||
)
|
||||
|
||||
_WINDOW_SQL = text(
|
||||
"""
|
||||
SELECT name, road_class,
|
||||
ST_AsGeoJSON(
|
||||
ST_SimplifyPreserveTopology(
|
||||
ST_Intersection(
|
||||
geom,
|
||||
ST_MakeEnvelope(:min_lon, :min_lat, :max_lon, :max_lat, 4326)
|
||||
),
|
||||
CAST(:tol AS double precision)
|
||||
), 6
|
||||
) AS gj
|
||||
FROM gendesign_osm_roads_ekb
|
||||
WHERE geom && ST_MakeEnvelope(:min_lon, :min_lat, :max_lon, :max_lat, 4326)
|
||||
"""
|
||||
)
|
||||
|
||||
# Классы из `osm_noise_sources_ekb`, которые рисуются водой. Остальные (trunk /
|
||||
# primary / secondary / tertiary / residential) — дороги. Разделение
|
||||
# перечислением, а не «всё, что не дорога»: во вьюху могут доехать новые классы,
|
||||
# и тогда лучше не нарисовать, чем нарисовать реку поверх улицы.
|
||||
_WATER_CLASSES = frozenset({"river", "canal", "stream", "lake_or_pond"})
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class StreetIndex:
|
||||
"""Нормализованное название → как эта улица называется в OSM.
|
||||
|
||||
Строится ОДИН раз на прогон: 1377 названий на всю базу, тянуть их на каждую
|
||||
из двадцати сделок незачем.
|
||||
"""
|
||||
|
||||
by_norm: dict[str, list[str]]
|
||||
|
||||
def lookup(self, address: str | None) -> tuple[str, list[str]] | None:
|
||||
key = normalize_street(address)
|
||||
if key is None:
|
||||
return None
|
||||
raw = self.by_norm.get(key)
|
||||
return (key, raw) if raw else None
|
||||
|
||||
|
||||
def load_street_index(db: Session) -> StreetIndex:
|
||||
"""Список названий улиц из FDW-вьюхи. Недоступна — пустой индекс.
|
||||
|
||||
SAVEPOINT ИМЕННО ЗДЕСЬ, на месте глушения: провалившийся SELECT переводит
|
||||
транзакцию в aborted, и следующий запрос упал бы уже не по своей вине.
|
||||
Гранты на той стороне уже терялись при пересоздании объекта (#3227).
|
||||
"""
|
||||
try:
|
||||
with db.begin_nested():
|
||||
rows = db.execute(_NAMES_SQL).all()
|
||||
except Exception as exc:
|
||||
logger.warning("улицы не резолвятся (витрина будет без схем): %s", exc)
|
||||
return StreetIndex(by_norm={})
|
||||
by_norm: dict[str, list[str]] = {}
|
||||
for (name,) in rows:
|
||||
key = normalize_street(name)
|
||||
if key:
|
||||
by_norm.setdefault(key, []).append(name)
|
||||
return StreetIndex(by_norm=by_norm)
|
||||
|
||||
|
||||
def _parts(gj: dict[str, Any]) -> list[list[list[float]]]:
|
||||
"""GeoJSON любой из встречающихся форм → список цепочек точек."""
|
||||
t = gj.get("type")
|
||||
c = gj.get("coordinates") or []
|
||||
if t == "LineString":
|
||||
return [c]
|
||||
if t == "MultiLineString":
|
||||
return list(c)
|
||||
if t == "Polygon":
|
||||
return list(c)
|
||||
if t == "MultiPolygon":
|
||||
return [ring for poly in c for ring in poly]
|
||||
if t == "GeometryCollection":
|
||||
return [p for g in gj.get("geometries", []) for p in _parts(g)]
|
||||
return []
|
||||
|
||||
|
||||
def _length(chain: list[list[float]]) -> float:
|
||||
return sum(math.dist(chain[i], chain[i + 1]) for i in range(len(chain) - 1))
|
||||
|
||||
|
||||
def build_street_scheme(db: Session, index: StreetIndex, address: str | None) -> dict | None:
|
||||
"""Схема улицы для одной сделки, либо None — и None это ШТАТНО.
|
||||
|
||||
None означает ровно одно: «улицы сделки в геометрии нет» (нет адреса, не
|
||||
сматчилось название, вьюха недоступна, у улицы нет геометрии). Витрина в
|
||||
этом случае отдаёт строку без схемы, а фронт показывает район — запасной
|
||||
вариант, который для этого и оставлен.
|
||||
"""
|
||||
found = index.lookup(address)
|
||||
if found is None:
|
||||
return None
|
||||
key, raw_names = found
|
||||
try:
|
||||
with db.begin_nested():
|
||||
center = db.execute(_CENTER_SQL, {"names": raw_names}).mappings().first()
|
||||
if center is None:
|
||||
return None
|
||||
lat, lon = float(center["lat"]), float(center["lon"])
|
||||
dlat = RADIUS_M / M_PER_DEG_LAT
|
||||
k = math.cos(math.radians(lat))
|
||||
dlon = dlat / k
|
||||
bounds = {
|
||||
"min_lon": lon - dlon,
|
||||
"max_lon": lon + dlon,
|
||||
"min_lat": lat - dlat,
|
||||
"max_lat": lat + dlat,
|
||||
"tol": SIMPLIFY_DEG,
|
||||
}
|
||||
rows = db.execute(_WINDOW_SQL, bounds).mappings().all()
|
||||
except Exception as exc:
|
||||
logger.warning("схема улицы %r не собралась: %s", key, exc)
|
||||
return None
|
||||
|
||||
min_lon, max_lat = bounds["min_lon"], bounds["max_lat"]
|
||||
# Окно квадратное в метрах, значит после поправки cos(широты) его ширина и
|
||||
# высота в единицах viewBox равны: масштаб один на обе оси.
|
||||
scale = VIEWBOX / (2 * dlat)
|
||||
|
||||
def path(chain: list[list[float]]) -> str:
|
||||
out = []
|
||||
for i, (plon, plat) in enumerate(chain):
|
||||
x = round((plon - min_lon) * k * scale, 1)
|
||||
y = round((max_lat - plat) * scale, 1)
|
||||
out.append(f"{'M' if i == 0 else 'L'}{x} {y}")
|
||||
return "".join(out)
|
||||
|
||||
target: list[str] = []
|
||||
roads: list[dict[str, str]] = []
|
||||
water: list[str] = []
|
||||
label_pool: list[tuple[float, str, list[float]]] = []
|
||||
targets = set(raw_names)
|
||||
|
||||
for row in rows:
|
||||
if not row["gj"]:
|
||||
continue
|
||||
chains = [c for c in _parts(json.loads(row["gj"])) if len(c) > 1]
|
||||
if not chains:
|
||||
continue
|
||||
cls = row["road_class"]
|
||||
is_target = row["name"] in targets
|
||||
for chain in chains:
|
||||
d = path(chain)
|
||||
if is_target:
|
||||
target.append(d)
|
||||
elif cls in _WATER_CLASSES:
|
||||
water.append(d)
|
||||
else:
|
||||
roads.append({"c": cls or "residential", "d": d})
|
||||
if row["name"] and not is_target and cls not in _WATER_CLASSES:
|
||||
longest = max(chains, key=_length)
|
||||
label_pool.append((_length(longest), row["name"], longest[len(longest) // 2]))
|
||||
|
||||
if not target:
|
||||
return None
|
||||
|
||||
# Подписи: самые длинные в кадре, по одной на название.
|
||||
labels: list[dict[str, Any]] = []
|
||||
seen: set[str] = set()
|
||||
for _, name, point in sorted(label_pool, key=lambda t: -t[0]):
|
||||
if name in seen:
|
||||
continue
|
||||
seen.add(name)
|
||||
labels.append(
|
||||
{
|
||||
"t": name,
|
||||
"x": round((point[0] - min_lon) * k * scale, 1),
|
||||
"y": round((max_lat - point[1]) * scale, 1),
|
||||
}
|
||||
)
|
||||
if len(labels) >= MAX_LABELS:
|
||||
break
|
||||
|
||||
return {
|
||||
"street": raw_names[0],
|
||||
"w": VIEWBOX,
|
||||
"h": VIEWBOX,
|
||||
"target": target,
|
||||
"roads": roads,
|
||||
"water": water,
|
||||
"labels": labels,
|
||||
}
|
||||
Some files were not shown because too many files have changed in this diff Show more
Loading…
Add table
Reference in a new issue