feat(admin): unified scrape/runs + scraper/health + rotate-ip API (scrapers UI Phase 1) #1818

Merged

lekss361 merged 1 commit from feat/scraper-admin-apis into main

2026-06-20 06:40:36 +00:00

lekss361 commented

2026-06-20 06:38:04 +00:00

Owner

Phase 1 backend для единой scrapers-страницы (frontend в PR feat/scrapers-unified-page).

API

GET /api/v1/admin/scrape/runs?source=&status=&limit=&offset= → {total, rows:[run_id,source,run_type,status,params,counters,total_seen,new_count,started_at,finished_at,heartbeat_at,error_text]}. Unified (старые per-source /runs не тронуты). scrape_runs.list_all().
GET /api/v1/admin/scraper/health → {fetch_mode, browser:{reachable,browsers{}}, providers:[{source,proxy_host,proxy_port,rotate_supported,current_ip}]}. browser /health (5с) + параллельный ipify-пробинг per-source (8с).
POST /api/v1/admin/scraper/{source}/rotate-ip → {ok,new_ip,reason}. changeip GET; no rotate_url → ok=false.

Тесты

10 passed (новый файл) + 43 регресс (city-sweep/alert/ssrf). ruff clean.

На ревью

error AS error_text (колонка scrape_runs.error).
health ip-пробинг через прокси (timeout 8с, null на фейле) — не блокирует >10с.
SSRF: rotate-ip дёргает changeip из settings (не user-input host) — проверить.

Phase 1 backend для единой scrapers-страницы (frontend в PR feat/scrapers-unified-page). ## API 1. `GET /api/v1/admin/scrape/runs?source=&status=&limit=&offset=` → `{total, rows:[run_id,source,run_type,status,params,counters,total_seen,new_count,started_at,finished_at,heartbeat_at,error_text]}`. Unified (старые per-source /runs не тронуты). `scrape_runs.list_all()`. 2. `GET /api/v1/admin/scraper/health` → `{fetch_mode, browser:{reachable,browsers{}}, providers:[{source,proxy_host,proxy_port,rotate_supported,current_ip}]}`. browser /health (5с) + параллельный ipify-пробинг per-source (8с). 3. `POST /api/v1/admin/scraper/{source}/rotate-ip` → `{ok,new_ip,reason}`. changeip GET; no rotate_url → ok=false. ## Тесты 10 passed (новый файл) + 43 регресс (city-sweep/alert/ssrf). ruff clean. ## На ревью - `error AS error_text` (колонка `scrape_runs.error`). - health ip-пробинг через прокси (timeout 8с, null на фейле) — не блокирует >10с. - SSRF: rotate-ip дёргает changeip из settings (не user-input host) — проверить.

lekss361 added 1 commit 2026-06-20 06:38:05 +00:00