1b411f50ca
UI (frontend/src/app/admin/scrape/page.tsx):
Новая секция "Catalog-object (SSR)" на /admin/scrape с:
- input max_objects (default 300)
- кнопка "Грузить (skip today)" — POST с force=false (пропускает уже сегодня)
- кнопка "⚡ Загрузить ВСЕ (force)" — POST с force=true (через confirm())
Backend (services/scrapers/domrf_catalog_object.py):
jitter_sleep между запросами 800-1500ms → 300-700ms (~2.3x speedup).
Catalog page менее sensitive чем kn-API; стабильно держала batch 300
без 429/WAF на bookkeeping тесте.
Effect: full sweep 1532 obj ~50 min → ~22 min. Повторный запуск с
skip-today вернёт 0 obj если всё уже сегодня обновлено.
|
||
|---|---|---|
| .. | ||
| __init__.py | ||
| documents.py | ||
| domrf_catalog.py | ||
| domrf_catalog_object.py | ||
| domrf_kn.py | ||
| ekburg_permits.py | ||
| flat_plans.py | ||
| nspd_client.py | ||
| nspd_denorm.py | ||
| nspd_lite.py | ||
| obj_checks.py | ||
| objective.py | ||
| stealth.py | ||