1b411f50ca
UI (frontend/src/app/admin/scrape/page.tsx):
Новая секция "Catalog-object (SSR)" на /admin/scrape с:
- input max_objects (default 300)
- кнопка "Грузить (skip today)" — POST с force=false (пропускает уже сегодня)
- кнопка "⚡ Загрузить ВСЕ (force)" — POST с force=true (через confirm())
Backend (services/scrapers/domrf_catalog_object.py):
jitter_sleep между запросами 800-1500ms → 300-700ms (~2.3x speedup).
Catalog page менее sensitive чем kn-API; стабильно держала batch 300
без 429/WAF на bookkeeping тесте.
Effect: full sweep 1532 obj ~50 min → ~22 min. Повторный запуск с
skip-today вернёт 0 obj если всё уже сегодня обновлено.
|
||
|---|---|---|
| .. | ||
| public | ||
| src | ||
| .dockerignore | ||
| .env.example | ||
| .eslintrc.json | ||
| Dockerfile | ||
| next-env.d.ts | ||
| next.config.ts | ||
| package-lock.json | ||
| package.json | ||
| sentry.client.config.ts | ||
| sentry.edge.config.ts | ||
| sentry.server.config.ts | ||
| tsconfig.json | ||