|
All checks were successful
CI Trade-In / changes (pull_request) Successful in 8s
CI / changes (pull_request) Successful in 10s
CI Trade-In / browser-tests (pull_request) Has been skipped
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / backend-tests (pull_request) Successful in 5m19s
Замер прода за сутки 12.09.2026: 576 строк `network error` в логе `tradein-tgbot` и 7 полных исчерпаний бюджета ретраев, после которых падала итерация poll loop. Три причины, все подтверждены на коде и в рантайме. ## Ответ оператора мог пропасть навсегда `process_update` заканчивался безусловным `finally: save_offset(update_id)`. Замысел верный — «ядовитый» апдейт не должен блокировать поток, — но он не отличал неисправимый апдейт от транзиентного сетевого отказа. Оператор отвечает клиенту в топике, `copy_message` падает по сети, `TelegramNetworkError` улетает в общий `except Exception`, offset сдвигается. Telegram этот апдейт больше не отдаст, `record_message` не выполнился, оператор уверен, что ответил. Следа нет нигде, кроме строчки в логе. Теперь `process_update` возвращает `bool`. На `TelegramNetworkError` делается `rollback()`, offset НЕ сохраняется, возвращается `False`, и `run_poll_loop` прерывает разбор пачки — offset у Telegram единая «высшая отметка», подтверждение любого следующего апдейта неявно подтвердило бы и этот. Остаток пачки Telegram отдаст заново. Переигрывания ограничены сверху `_MAX_NETWORK_REPLAYS = 3`: без потолка «вечно недоставляемый» апдейт заклинил бы очередь навсегда, а это хуже потери одного сообщения. На потолке offset всё-таки двигается, но с `logger.error` и с `chat_id`/`message_id`, по которым человек найдёт ответ в топике и перешлёт руками. Текст переписки в лог по-прежнему не идёт. Дубли: `TelegramNetworkError` означает исчерпанный бюджет ретраев, при этом запрос мог дойти до Telegram, а ответ потеряться. Переигрывание тогда доставит сообщение второй раз. Это осознанный at-least-once компромисс — дубль видят и клиент, и оператор, а тихая потеря не видна никому. Полная идемпотентность по паре (update_id, target_chat_id) потребовала бы новой персистентной таблицы ради редкого случая; вместо неё число дублей жёстко ограничено сверху. Ветка `except TelegramApiError` с разбором `error_code == 403` («бот заблокирован») не тронута — там повтор действительно ничего не изменит. ## Таймаут задавался скаляром, поэтому connect ждал сорок секунд `httpx.AsyncClient(timeout=effective_timeout)` разворачивается в connect=read=write=pool. Для `getUpdates` бюджет ответа 40 секунд (30 держит Telegram плюс запас), и те же 40 секунд уходили на установку соединения — при живом connect в 0.036 секунды. Худший цикл: четыре попытки по 40 секунд плюс backoff, около трёх минут, в течение которых бот не видит ответов оператора. В логе это ровно те разрывы: 06:40:10, 06:42:22, 06:43:35. Теперь `httpx.Timeout(connect=5, read=<бюджет вызывающего>, write=10, pool=5)`, значения в именованных константах. Запас `+10s` у `get_updates` относится к read, докстринг поправлен. ## Клиент создавался заново на каждую попытку `httpx.AsyncClient` стоял ВНУТРИ цикла ретраев — keep-alive не было вовсе: полный TCP+TLS-хендшейк на каждый запрос и на каждый повтор, и заново кидался кубик «встанет ли коннект». Для long-polling это была основная статья сетевых отказов. Плюс три HTTP-ручки создавали `TelegramClient` на каждый входящий запрос. Теперь один ленивый переиспользуемый `AsyncClient` на экземпляр, с `aclose()` и `async with`. Общий клиент приложения живёт в новом `app/services/tgbot/shared.py`, создаётся и закрывается в lifespan; воркер бота держит свой на время поллинга. `keepalive_expiry` задан явно: дефолт httpx — 5 секунд, и с ним пул не давал бы ничего там, где нужнее всего. Poll loop переиспользует соединение и так, а вот веб-поддержка шлёт раз в минуты и за 5 секунд теряла бы его каждый раз. Плата за длинный keep-alive — шанс взять из пула закрытое той стороной соединение; httpx отдаёт это как `RemoteProtocolError`, который ретраится с #3457. ## Уведомления оператору шли с воркерным бюджетом внутри poll loop Обе отправки в топик («бот заблокирован», «веб-чат не поддерживает медиа») звались без своего бюджета, то есть с дефолтом в 5 ретраев и backoff до 30 секунд. Одна такая отправка стопорила весь цикл на минуты, а её отказ решал судьбу апдейта. Вынесены в `_notify_topic` с узким бюджетом и собственным `except`: провал вторичного действия больше не отменяет основную ветку. ## Тесты `tests/services/tgbot/test_shared.py` — новый, на жизненный цикл общего клиента. В `test_bridge.py` — сетевой отказ оставляет offset нетронутым и апдейт переигрывается, потолок разблокирует поток, отказ уведомления не отменяет основную ветку, прежнее поведение на 403 не изменилось. В `test_client.py` — раздельные таймауты доезжают до httpx per-request, два вызова используют один `AsyncClient`, `aclose()` его закрывает. Прогон по затронутым файлам: 127 passed. Ruff check и format чистые. Прокси намеренно не добавлялся: замер был на восьми запросах, это не статистика, и решение инфраструктурное. Если обрывы останутся — мерить сотней попыток отдельно. |
||
|---|---|---|
| .. | ||
| backend | ||
| browser | ||
| deploy | ||
| docs | ||
| frontend | ||
| ops | ||
| packages/scraper-kit | ||
| scripts | ||
| .dockerignore | ||
| .env.example | ||
| .gitignore | ||
| CHANGELOG.md | ||
| DEPLOY.md | ||
| docker-compose.prod.yml | ||
| docker-compose.selectel.yml | ||
| docker-compose.yml | ||
| Makefile | ||
| pyproject.toml | ||
| README.md | ||
| uv.lock | ||
| VERSION | ||
Trade-In MVP
Локальный standalone-форк фичи Trade-In Estimator из проекта gendesign — оценка выкупной стоимости квартиры на вторичном рынке по аналогам и реальным сделкам. Layout повторяет PDF-отчёт «Брусника.Обмен» (см. docs/).
Что это и откуда взято
| Источник | Что | Где |
|---|---|---|
gendesign/main PR #316 TI-1 |
mock endpoint + Pydantic + SQL migration | backend/ |
gendesign/main PR #317 TI-3 |
Next.js страница + 5 компонентов + hooks | frontend/ |
gendesign/main PR #319 TI-2 |
PDF export 4 страницы (как у Брусники) | backend/app/services/exporters/ |
gendesign/main PR #283 |
статичный tradein.html mockup (для Геныча) |
frontend/public/tradein.html |
| Встреча 19.05.2026 («Птица») | требования к MVP оценки вторички | docs/PTITSA_MEETING_2026-05-19.pdf |
| PDF Брусники EКБ-2485 | референс layout-а отчёта | docs/BRUSNIKA_REFERENCE_EKB-2485.pdf |
Быстрый старт
make up # build + up весь стек (caddy + frontend + backend + postgres)
open http://localhost:8080
Откроется / → автоматически редирект на /trade-in. Заполняешь форму (адрес/площадь/комнаты/этаж/...), нажимаешь «Оценить» — backend возвращает mock-оценку, фронт показывает median + диапазон цен + список аналогов.
Проверка backend напрямую:
make test-estimate
# или вручную:
curl -sS -X POST http://localhost:8080/api/v1/trade-in/estimate \
-H 'Content-Type: application/json' \
-d '{"address":"ул. Малышева, 1","area_m2":54,"rooms":2,"floor":5,"total_floors":17}' \
| python3 -m json.tool
OpenAPI документация: http://localhost:8000/docs
Для сравнения макет vs реальная фича:
Структура
tradein-mvp/
├── docker-compose.yml # caddy + frontend + backend + postgres
├── Makefile # удобные команды (up/down/logs/test-estimate)
├── deploy/
│ └── Caddyfile # local reverse-proxy на http://localhost:8080
├── backend/ # FastAPI + WeasyPrint
│ ├── Dockerfile
│ ├── pyproject.toml
│ ├── app/
│ │ ├── main.py # FastAPI entry — только trade-in router
│ │ ├── core/
│ │ │ ├── config.py # минимальный pydantic-settings
│ │ │ └── db.py # SQLAlchemy engine + get_db
│ │ ├── api/v1/
│ │ │ └── trade_in.py # 3 endpoint'а: POST /estimate, GET /estimate/{id}, GET /estimate/{id}/pdf
│ │ ├── schemas/
│ │ │ └── trade_in.py # Pydantic: TradeInEstimateInput / AnalogLot / AggregatedEstimate
│ │ └── services/exporters/
│ │ └── trade_in_pdf.py # WeasyPrint → 4-страничный PDF (cover/listings/deals/offer)
│ └── data/sql/
│ └── 001_trade_in_estimates.sql # CREATE TABLE; применяется при первом старте postgres
├── frontend/ # Next.js 15 + React 19 + TanStack Query
│ ├── Dockerfile
│ ├── package.json
│ ├── next.config.ts # rewrites /api/* → backend
│ ├── tsconfig.json
│ ├── src/
│ │ ├── app/
│ │ │ ├── layout.tsx
│ │ │ ├── page.tsx # redirect → /trade-in
│ │ │ ├── globals.css
│ │ │ ├── providers.tsx # QueryClientProvider
│ │ │ └── trade-in/
│ │ │ └── page.tsx
│ │ ├── components/trade-in/
│ │ │ ├── EstimateForm.tsx # форма ввода (sticky 360px)
│ │ │ ├── EstimateProgress.tsx # индикатор «Парсим Циан → Авито → ...»
│ │ │ ├── EstimateResult.tsx # карточка результата
│ │ │ ├── PriceRangeBar.tsx # визуализация диапазона цен (как у Брусники)
│ │ │ └── AnalogsTable.tsx # таблица аналогов
│ │ ├── lib/
│ │ │ ├── api.ts # apiFetch + HTTPError
│ │ │ ├── sessionId.ts # X-Session-Id из localStorage
│ │ │ └── trade-in-api.ts # useEstimateMutation + useEstimate hooks
│ │ └── types/
│ │ └── trade-in.ts # TS типы зеркалят Pydantic schemas
│ └── public/
│ └── tradein.html # статичный mockup от 17.05 (для side-by-side review)
└── docs/
├── BRUSNIKA_REFERENCE_EKB-2485.pdf # эталон layout-а
└── PTITSA_MEETING_2026-05-19.pdf # AI-протокол встречи с требованиями
API
POST /api/v1/trade-in/estimate — оценить квартиру.
Запрос:
{
"address": "ул. Малышева, 1, кв. 5, Екатеринбург",
"area_m2": 54.0,
"rooms": 2,
"floor": 5,
"total_floors": 17,
"year_built": 1985,
"house_type": "panel",
"repair_state": "good",
"has_balcony": true
}
Ответ:
{
"estimate_id": "...uuid...",
"median_price_rub": 13125000,
"range_low_rub": 11550000,
"range_high_rub": 14700000,
"median_price_per_m2": 243056,
"confidence": "high",
"n_analogs": 8,
"period_months": 24,
"analogs": [ {"address": "...", "area_m2": 56, "price_rub": 12700000, ...} ],
"actual_deals": [ ... ],
"expires_at": "2026-05-20T22:48:00Z"
}
GET /api/v1/trade-in/estimate/{id} — получить сохранённую оценку (TTL 24ч)
GET /api/v1/trade-in/estimate/{id}/pdf — скачать 4-страничный PDF (cover / listings / deals / offer)
Что внутри _mock_estimate() (текущая реализация)
Формула:
price = base_price_by_rooms × floor_factor × repair_factor
| Поле | Значения |
|---|---|
| Базовая цена ЕКБ 2026 | студия 6.5M (260K/м²) · 1к 9.0M (225K/м²) · 2к 12.5M (208K/м²) · 3к 17.0M (213K/м²) |
floor_factor |
1-й этаж = ×0.95, последний = ×0.97, остальные = ×1.00 |
repair_factor |
needs_repair = ×0.90, standard = ×1.00, good = ×1.05, excellent = ×1.10 |
confidence |
1-3 комнаты = high, остальные = medium |
| Улицы аналогов | реальные центральные ЕКБ (Малышева, Куйбышева, 8 Марта, Белинского, пр. Ленина, Толмачёва, Радищева, Мамина-Сибиряка, Луначарского, Первомайская) |
Каждая оценка сохраняется в trade_in_estimates с TTL 24 часа — UUID можно использовать для shareable links и PDF-экспорта.
Roadmap — что доделать
Phase 1 — заменить mock на реальные данные (TODO TI-1b из gendesign)
Сейчас _mock_estimate() возвращает хардкод. На встрече Птица 19.05 решили:
- источники: Циан, Авито, Дом.Клик, Я.Недвижимость, Н1, Дом РФ
- Объектив НЕ использовать на вторичке (он про первичку/ДДУ)
- Росреестр для исторических сделок (квартал глубины)
- картография ЕКБ для проверки этажности/года/планировок
Phase 2 — то что обсуждали на встрече
| Задача | Из протокола Птицы |
|---|---|
| Парольный вход + учёт пользователей + аналитика | 0:23:44, 0:25:54 |
| Доступ только Геныч / Загайнов / Паша (НЕ Рожкова) | 0:25:50, 0:22:35 |
| PDF-отчёт под паролем | 0:08:39 |
| Real-time парсинг ≥1/час чтобы ловить быстрые продажи | 0:40:19 |
| MVP к понедельнику 25.05.2026 | 0:26:12 |
| Демо для девелопера в четверг 28.05.2026 | 0:18:08 |
Phase 3 — следующие продукты (упоминалось на встрече)
- Птица — анализ участков + расселение домов (≥20% квартир дома в продаже → подсветить можно расселять)
- Расселение как сервис — следствие #1 и Птицы
См. полный протокол: docs/PTITSA_MEETING_2026-05-19.pdf.
Как это связано с прод gendesign
| Аспект | Прод (gendsgn.ru) | Этот MVP |
|---|---|---|
| URL | https://gendsgn.ru/trade-in | http://localhost:8080/trade-in |
| Backend | shared FastAPI /api/v1/trade-in/* |
то же самое, standalone |
| Frontend | Next.js 15 в большом monorepo | тот же код, standalone |
| Postgres | 84 таблицы, 6.83M ДДУ partitioned | только trade_in_estimates (1 таблица) |
| Caddy | TLS + 5 доменов + reverse-proxy | local :8080 без TLS |
| Что отрезано | site-finder, analytics, generative, scraper, OSM, NSPD, sentry, celery, redis, playwright | всё это — кроме trade-in |
Важно: эти два инстанса полностью изолированы. Локальный backend пишет в свой Postgres контейнер (порт 5433), не трогает прод. Можно сломать локально что угодно — прод не пострадает.
Лицензия
Internal use only. Forked from gendesign monorepo (private).