bot-backend
683cb50245
Провалидировано вживую: email+пароль без SMS. pre_click один->список (LoginButton->AnotherAccountBtn->SwitchToEmailAuthBtn), 2-step «Введите пароль» retry, реальные селекторы (input[name=username|password], ContinueAuthBtn). M1: 502 detail без page_url. M4: BrowserFetcher импорт наверх.
256 lines
18 KiB
Python
256 lines
18 KiB
Python
"""Минимальный settings для standalone trade-in MVP."""
|
||
|
||
from typing import Literal
|
||
|
||
from pydantic import Field
|
||
from pydantic_settings import BaseSettings, SettingsConfigDict
|
||
|
||
|
||
class Settings(BaseSettings):
|
||
model_config = SettingsConfigDict(env_file=".env", env_file_encoding="utf-8", extra="ignore")
|
||
|
||
# required — задаётся через env DATABASE_URL. Нет дефолта: fail-fast при старте
|
||
# если переменная не задана (C-3 security audit).
|
||
database_url: str
|
||
|
||
# In-app asyncio scheduler enable flag (#581).
|
||
# Set SCHEDULER_ENABLE=false when using the systemd timer trigger instead.
|
||
# Default true preserves existing behaviour.
|
||
scheduler_enable: bool = Field(default=True, validation_alias="SCHEDULER_ENABLE")
|
||
|
||
cors_origins: list[str] = ["http://localhost", "http://localhost:3000", "http://localhost:8080"]
|
||
environment: str = "dev"
|
||
|
||
# Geocoder. Env var name `YANDEX_GEOCODER_API_KEY` — consistent с scripts/
|
||
# backfill_house_coords.py + audit_address_mismatch.py + main backend
|
||
# OpenRouteService_API_KEY pattern. Renamed from YANDEX_GEOCODER_KEY (PR F).
|
||
yandex_geocoder_api_key: str | None = None # 25K req/day free после регистрации
|
||
yandex_suggest_key: str | None = None # для frontend autocomplete (proxy через backend)
|
||
# для User-Agent в Nominatim (Nominatim Usage Policy)
|
||
contact_email: str = "erginrajpopxbe@outlook.com"
|
||
|
||
# Public URL — для QR-кода в PDF, shareable links, etc.
|
||
public_url: str = "http://127.0.0.1:8080"
|
||
|
||
# GlitchTip DSN — мониторинг ошибок (Sentry-совместимый). #396.
|
||
# Пусто = мониторинг выключен (dev). В prod — env GLITCHTIP_DSN из .env.runtime.
|
||
glitchtip_dsn: str | None = None
|
||
|
||
# Ключ шифрования для pgp_sym_encrypt (Cian session cookies).
|
||
# Задаётся через env COOKIE_ENCRYPTION_KEY. Пусто = шифрование не работает.
|
||
cookie_encryption_key: str = ""
|
||
|
||
# Redis URL для hot-cache (Phase 3.2). Задаётся через env REDIS_URL.
|
||
redis_url: str = "redis://localhost:6379/0"
|
||
|
||
# Rate-limit публичного /api/* (per-IP sliding window). ENV: RATE_LIMIT,
|
||
# RATE_LIMIT_WINDOW_S. Не более rate_limit запросов за rate_limit_window_s
|
||
# секунд с одного IP. Аутентифицированный трафик (X-Authenticated-User от
|
||
# Caddy basic_auth) не лимитируется — см. ratelimit.py (#655).
|
||
rate_limit: int = 300
|
||
rate_limit_window_s: float = 60.0
|
||
|
||
# Password for tradein_fdw_reader role — used by backend startup to create/refresh
|
||
# USER MAPPING for postgres_fdw → gendesign DB (gendesign_remote server).
|
||
# Пусто = USER MAPPING не создаётся, gendesign_cad_buildings не работает (dev).
|
||
gendesign_fdw_password: str | None = None
|
||
|
||
# DaData /clean/address — обогащение target-адреса канонической формой,
|
||
# kadastr_num, ФИАС, координатами, метро. Используется в estimator для
|
||
# on-demand enrichment (PR Q1). Demo tier: 100 req/день. Если хотя бы один
|
||
# не задан — service возвращает None gracefully, estimator продолжает.
|
||
# ENV: DADATA_API_TOKEN, DADATA_API_SECRET.
|
||
dadata_api_token: str | None = None
|
||
dadata_api_secret: str | None = None
|
||
|
||
# ── #651: IMV / Yandex blend (killer accuracy fix) ──────────────────────
|
||
# Радиусная медиана ₽/м² системно недооценивает премиум/видовые квартиры
|
||
# (нет class/segment/IMV-коррекции → premium ~2x underestimate, case 50М vs
|
||
# факт ~100М). Если внешний якорь (Avito IMV recommended_price из
|
||
# house_imv_evaluations, либо Yandex sale) выше нашей медианы более чем в
|
||
# `threshold` раз — подмешиваем якорь к медиане с весом `weight` и
|
||
# расширяем верх диапазона. ОДНОНАПРАВЛЕННО: только повышаем (баг — занижение).
|
||
# Полностью за флагами — безопасно выкатить до демо; при отсутствии IMV/Yandex
|
||
# no-op (медиана не меняется).
|
||
estimate_imv_blend_enabled: bool = True
|
||
estimate_imv_blend_weight: float = 0.5 # вес якоря в blend: median*(1-w)+A*w
|
||
estimate_imv_blend_threshold: float = 1.15 # якорь должен быть > медианы ×1.15
|
||
|
||
# ── #651/#652 v2: same-building anchor (validated, 55 golden cases) ──────────
|
||
# Радиусная медиана размывает премию дома/ЖК → премиум ~2.5x недооценка,
|
||
# комфорт −15-25%. v2 берёт PRIMARY якорь из комплов ТОГО ЖЕ ДОМА (Tier A),
|
||
# similarity-weighted по площади/комнатам, premium-uplift к ~p70 для топ-юнита
|
||
# дома, asking→sold haircut (banded по ppm²), hard guardrail (est ≥ min-comp×0.95)
|
||
# и tighter FSD-диапазон. Полностью за флагом — OFF ⇒ точно текущее поведение.
|
||
# Спек+KPI: vault inbox 2026-05-30 tradein-valuation-algorithm-v2.
|
||
estimate_same_building_anchor_enabled: bool = True
|
||
estimate_sb_min_comps: int = 4 # стоп на первом тире с ≥ N активных комплов
|
||
estimate_sb_area_sigma: float = 0.18 # σ log-нормального area-веса (Gaussian)
|
||
estimate_sb_rooms_match_boost: float = 1.6 # ×вес если rooms компла == target
|
||
# #680-WB within-building heterogeneity refine: floor-similarity Gaussian по
|
||
# ОТНОСИТЕЛЬНОЙ вертикальной позиции (floor/total_floors). Прижимает якорь к
|
||
# комплам с похожим этажом — мелкокомнатный/нижний юнит во флагман-доме больше
|
||
# не наследует цену видового топ-этажа. 0.0 → выключено (точно старое поведение).
|
||
# Откалибровано на 55 golden (offline): σ_f=0.25 даёт лучший medAPE без потери
|
||
# покрытия; Хохрякова 3к/153 overshoot 64%→1.5%, флагман 4к 17.5%→5.4%.
|
||
estimate_sb_floor_sigma: float = 0.25
|
||
estimate_sb_guardrail_tol: float = 0.05 # hard floor: est ≥ min(comp ppm²)×(1−tol)
|
||
estimate_sb_mad_k: float = 3.5 # MAD-clip: drop comps с |ppm2−median| > k×MAD
|
||
asking_to_sold_haircut: float = 0.05 # дефолтная asking→sold скидка (banded по ppm²)
|
||
estimate_fsd_k: float = 1.65 # множитель FSD → полуширина диапазона
|
||
|
||
# ── #764: per-cadastral-quarter price index correction ───────────────────
|
||
# Gap-correction: квартальный индекс применяется ТОЛЬКО в pure-radius пути
|
||
# (когда same-building anchor и IMV-blend не сработали). Корректирует РАЗРЫВ
|
||
# между квартальным уровнем целевого объекта и усреднённым квартальным уровнем
|
||
# аналогов — не дублирует location, уже заложенный в медиану аналогов.
|
||
# Формула: adjusted_ppm2 = base_ppm2 × target_index / avg_analog_index.
|
||
# За флагом: False → точно текущее поведение (backward-compatible).
|
||
estimate_quarter_index_enabled: bool = True
|
||
# Минимальное число сделок в квартале (sparse fallback: меньше — no-op).
|
||
estimate_quarter_index_min_n_deals: int = 10
|
||
# Guard-2 (no double-count): если доля аналогов ИЗ ТОГО ЖЕ квартала > порога —
|
||
# аналоги уже несут локацию квартала → skip (location in median).
|
||
estimate_quarter_match_skip_ratio: float = 0.6
|
||
# Bimodal/nominal guard (backtest 2026-05-31): структурно неоднородные кварталы
|
||
# дают индекс > 2.0 при малой выборке → no-op чтобы избежать регрессию.
|
||
estimate_quarter_index_max_for_small_n: float = 2.0
|
||
estimate_quarter_index_small_n_threshold: int = 50
|
||
# Sanity-clamp на factor = target_index / avg_analog_index (#859).
|
||
# Belt-and-suspenders против патологичных FDW-данных. Нормальные квартальные
|
||
# индексы РФ лежат в [0.6, 1.8]; за этими порогами — артефакт, а не сигнал.
|
||
estimate_quarter_index_factor_min: float = 0.6
|
||
estimate_quarter_index_factor_max: float = 1.8
|
||
|
||
# ── Estimate enrichment time-budgets (#654) ──────────────────────────────
|
||
# POST /estimate делает несколько ПОСЛЕДОВАТЕЛЬНЫХ блокирующих сетевых
|
||
# вызовов (geocode → Overpass → Yandex valuation → IMV → Cian). Yandex
|
||
# valuation (внутренний httpx timeout 30s) НЕ gated на наличие floor и
|
||
# выполняется на каждой оценке — главный подозреваемый на gateway-таймаут
|
||
# (Caddy 502/504). Эти budget'ы оборачивают самые медленные ungated-вызовы
|
||
# в asyncio.wait_for(): при превышении источник деградирует в None (тот же
|
||
# graceful-путь что и сетевая ошибка), а НЕ роняет весь /estimate в 5xx.
|
||
# Держать суммарный budget ниже Caddy read/write timeout (см.
|
||
# deploy/Caddyfile.tradein-fragment). ENV: ESTIMATE_YANDEX_VALUATION_TIMEOUT_S,
|
||
# ESTIMATE_GEOCODE_BUDGET_S, ESTIMATE_HOUSE_META_TIMEOUT_S.
|
||
estimate_yandex_valuation_timeout_s: float = 8.0
|
||
estimate_geocode_budget_s: float = 12.0
|
||
estimate_house_meta_timeout_s: float = 8.0
|
||
|
||
# Лимит успешных оценок trade-in за календарный месяц на аккаунт (#658).
|
||
# Конфигурируется через env ESTIMATE_QUOTA_LIMIT. Default 15.
|
||
estimate_quota_limit: int = 15
|
||
|
||
# Фильтр junk-/премиум-порога для asking→sold derivation (#767).
|
||
# Нижняя граница 30 000 ₽/м² отсекает нежилые/технические сделки; менять не стоит.
|
||
# Верхняя граница — поднята с 600 000 до 1 200 000 ₽/м², чтобы покрыть ЕКБ-premium
|
||
# (>600k). Точное значение стоит сверить с `SELECT max(price_per_m2) FROM deals
|
||
# WHERE source='rosreestr'` на проде — см. QA-note в asking_to_sold_ratio.py.
|
||
# ENV: ASKING_RATIO_PPM2_MAX.
|
||
asking_ratio_ppm2_max: int = 1_200_000
|
||
|
||
# SSRF-защита для admin scrape endpoints (#756).
|
||
# Список хостов которым разрешено передавать абсолютные URL в параметрах *_url.
|
||
# Относительные пути (без netloc) проходят без проверки — хост подставляется
|
||
# фиксированным в самом scraper'е. Задаётся через env SCRAPE_ALLOWED_HOSTS
|
||
# (comma-separated). По умолчанию — все хосты используемые scrapers/*.py.
|
||
scrape_allowed_hosts: set[str] = {
|
||
"www.avito.ru",
|
||
"avito.ru",
|
||
"www.cian.ru",
|
||
"cian.ru",
|
||
"ekb.cian.ru",
|
||
"realty.yandex.ru",
|
||
"ekaterinburg.n1.ru",
|
||
"n1.ru",
|
||
"domclick.ru",
|
||
"www.domclick.ru",
|
||
}
|
||
|
||
# ── Scraper mobile proxy (#806) ──────────────────────────────────────────
|
||
# Мобильный прокси (RU, mobileproxy.space) используется ВСЕМИ scraper-сессиями:
|
||
# Avito (#623) + Cian (#806). Datacenter-IP блокируется обоими сайтами.
|
||
# Пусто = прямое подключение (dev/staging без прокси).
|
||
#
|
||
# Приоритет ENV-переменных (precedence):
|
||
# 1. SCRAPER_PROXY_URL — новый общий ENV; когда задан — используется первым.
|
||
# 2. AVITO_PROXY_URL — legacy ENV; fallback, чтобы prod-серверы с уже
|
||
# настроенным AVITO_PROXY_URL работали без изменений .env.runtime (#806).
|
||
# property `scraper_proxy_url` реализует эту логику; используй его везде.
|
||
# validation_alias привязывает поле к env SCRAPER_PROXY_URL (без него
|
||
# pydantic-settings читал бы SCRAPER_PROXY_URL_ENV по имени поля — #806 fixup).
|
||
scraper_proxy_url_env: str | None = Field(default=None, validation_alias="SCRAPER_PROXY_URL")
|
||
avito_proxy_url: str | None = None # ENV: AVITO_PROXY_URL (legacy fallback)
|
||
|
||
@property
|
||
def scraper_proxy_url(self) -> str | None:
|
||
"""Единый прокси URL для всех scraper-сессий (Avito + Cian).
|
||
|
||
Приоритет: SCRAPER_PROXY_URL > AVITO_PROXY_URL > None (прямое подключение).
|
||
Prod-серверы с существующим AVITO_PROXY_URL работают без изменений env.
|
||
"""
|
||
return self.scraper_proxy_url_env or self.avito_proxy_url
|
||
|
||
# changeip-ссылка mobileproxy: GET меняет мобильный IP за ~9с. Дёргается при
|
||
# детекте бана Avito перед повтором. Пусто = ротация выключена (raise сразу).
|
||
# ENV: AVITO_PROXY_ROTATE_URL.
|
||
avito_proxy_rotate_url: str | None = None
|
||
# Сколько раз сменить IP при блоке прежде чем сдаться (на одну страницу).
|
||
avito_proxy_max_rotations: int = 2
|
||
|
||
# ── #759: deactivate stale avito listings ───────────────────────────────
|
||
# Avito-объявления, не виденные scraper'ом более avito_stale_ttl_days дней,
|
||
# помечаются is_active=false ночной задачей deactivate_stale_avito_listings.
|
||
# TTL=10 — баланс между "снятое объявление" (обычно 3-7 дней молчания) и
|
||
# допуском на перерыв в работе scraper'а. ENV: AVITO_STALE_TTL_DAYS.
|
||
avito_stale_ttl_days: int = 10
|
||
|
||
# ── Yandex SERP cookies (#801/T4) ───────────────────────────────────────
|
||
# Путь к JSON-файлу с cookies браузера (формат: [{name, value, ...}, ...]).
|
||
# Если задан и файл существует — cookies передаются в curl_cffi-сессию при
|
||
# Yandex SERP-запросах; снижает вероятность captcha на datacenter IP.
|
||
# Пусто / файл не найден = запросы без cookies (не падаем, только warning).
|
||
# ENV: YANDEX_COOKIES_FILE.
|
||
yandex_cookies_file: str | None = None
|
||
|
||
# ── #639: Cian browser auto-login (Variant B) ────────────────────────────
|
||
# Провалидировано вживую 2026-05-31: email+пароль, без SMS/капчи. Флоу 2-шаговый
|
||
# (после 1-го сабмита экран «Введите пароль» → повтор). Селекторы env-overridable.
|
||
cian_login_email: str | None = None
|
||
cian_login_password: str | None = None
|
||
cian_login_url: str = "https://ekb.cian.ru/"
|
||
# Последовательность кликов до формы: открыть модалку → (опц.) другой аккаунт →
|
||
# переключить на email-вход. AnotherAccountBtn на fresh headless отсутствует (скипнется).
|
||
cian_login_pre_click_selectors: list[str] = [
|
||
"[data-name='LoginButton']",
|
||
"[data-name='AnotherAccountBtn']",
|
||
"[data-name='SwitchToEmailAuthBtn']",
|
||
]
|
||
cian_login_email_selector: str = "input[name='username']"
|
||
cian_login_password_selector: str = "input[name='password']"
|
||
cian_login_submit_selector: str = "button[data-name='ContinueAuthBtn']"
|
||
cian_login_success_cookie: str = "DMIR_AUTH"
|
||
cian_login_wait_ms: int = 4000
|
||
|
||
# ── #884/#905: BrowserFetcher — HTTP-клиент к tradein-browser контейнеру ────
|
||
# scraper_fetch_mode: "curl_cffi" (дефолт, текущее поведение) или "browser"
|
||
# (HTTP POST к tradein-browser /fetch эндпоинту). Phase 1+.
|
||
# Пока дефолт "curl_cffi" — никаких изменений в рантайме.
|
||
# ENV: SCRAPER_FETCH_MODE.
|
||
scraper_fetch_mode: Literal["curl_cffi", "browser"] = "curl_cffi"
|
||
# HTTP-эндпоинт tradein-browser сервиса. В Docker-сети — имя сервиса из compose.
|
||
# ENV: BROWSER_HTTP_ENDPOINT.
|
||
browser_http_endpoint: str = "http://tradein-browser:3000"
|
||
# Сколько страниц обработать в одном browser-сеансе перед перезапуском браузера
|
||
# (ограничение утечек памяти). Читается сервером из env BROWSER_RECYCLE_PAGES.
|
||
# Оставлено для справки / compat. ENV: BROWSER_RECYCLE_PAGES.
|
||
browser_recycle_pages: int = 15
|
||
# Таймаут навигации (page.goto) в мс. Читается сервером из env BROWSER_NAV_TIMEOUT_MS.
|
||
# ENV: BROWSER_NAV_TIMEOUT_MS.
|
||
browser_nav_timeout_ms: int = 60000
|
||
# Ожидание после DOMContentLoaded для JS-гидрации в мс. Читается сервером.
|
||
# ENV: BROWSER_WAIT_MS.
|
||
browser_wait_ms: int = 6000
|
||
|
||
|
||
settings = Settings()
|