1b411f50ca
UI (frontend/src/app/admin/scrape/page.tsx):
Новая секция "Catalog-object (SSR)" на /admin/scrape с:
- input max_objects (default 300)
- кнопка "Грузить (skip today)" — POST с force=false (пропускает уже сегодня)
- кнопка "⚡ Загрузить ВСЕ (force)" — POST с force=true (через confirm())
Backend (services/scrapers/domrf_catalog_object.py):
jitter_sleep между запросами 800-1500ms → 300-700ms (~2.3x speedup).
Catalog page менее sensitive чем kn-API; стабильно держала batch 300
без 429/WAF на bookkeeping тесте.
Effect: full sweep 1532 obj ~50 min → ~22 min. Повторный запуск с
skip-today вернёт 0 obj если всё уже сегодня обновлено.
|
||
|---|---|---|
| .. | ||
| cadastre | ||
| etl | ||
| exporters | ||
| generative | ||
| photos | ||
| scrapers | ||
| site_finder | ||
| __init__.py | ||
| analytics_queries.py | ||
| analytics_refresh.py | ||
| job_settings.py | ||
| objective_etl.py | ||
| objective_sync_config.py | ||