Расширить kn-scraper на 442 строящихся ЖК Свердл (после PRINZIP probe) #13

New issue

Closed

opened 2026-04-27 15:38:21 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-04-27 15:38:21 +00:00

(Migrated from github.com)

PRINZIP-probe прошёл (run_id=3, 28 ЖК → 826 квартир + 5409 POI + 5150 фото-метаданных, 10 мин). Расширяем на полный pool строящихся.

Scope

objStatus=0 sweep: 442 ЖК Свердл
4 extras endpoints на ЖК = ~2200 запросов, ~35 мин
В docker compose worker через Celery beat (cron из SCRAPE_KN_CRON, default mon 04:15 + jitter 30 мин)

Verification

run_id в kn_scrape_runs со status='done', objects_count≈442, requests_count~5500 (объекты + flats + extras)
SUM(realised) по PRINZIP в sale_graph за 2025 ≈ velocity +33пп из агрегатов
Распределение POI по категориям (Спорт/Продукты/Образование/Медицина) для всех ЖК

Out of scope

Скачивание binary photo (отдельный slow-cron, как сейчас опц. флаг --download-photos)
Расширение на full РФ 89 регионов — отдельный issue после стабилизации Свердл

PRINZIP-probe прошёл (run_id=3, 28 ЖК → 826 квартир + 5409 POI + 5150 фото-метаданных, 10 мин). Расширяем на полный pool строящихся. ## Scope - objStatus=0 sweep: 442 ЖК Свердл - 4 extras endpoints на ЖК = ~2200 запросов, ~35 мин - В docker compose worker через Celery beat (cron из SCRAPE_KN_CRON, default mon 04:15 + jitter 30 мин) ## Verification - run_id в kn_scrape_runs со status='done', objects_count≈442, requests_count~5500 (объекты + flats + extras) - SUM(realised) по PRINZIP в sale_graph за 2025 ≈ velocity +33пп из агрегатов - Распределение POI по категориям (Спорт/Продукты/Образование/Медицина) для всех ЖК ## Out of scope - Скачивание binary photo (отдельный slow-cron, как сейчас опц. флаг --download-photos) - Расширение на full РФ 89 регионов — отдельный issue после стабилизации Свердл

lekss361 commented

2026-04-27 16:29:47 +00:00

(Migrated from github.com)

Парсер готов и протестирован (PRINZIP probe = 28 ЖК / 826 квартир / 5409 POI / 5150 фото-метаданных, run_id=2,3 status=done). Для запуска полного 442-sweep:

UI: https://gendsgn.ru/admin/scrape → token → регион 66, без developers, ✅ Квартиры + ✅ Extras → Запустить.
CLI: ssh gendesign 'docker compose -f docker-compose.prod.yml run --rm worker python data/sql/50_scrape_kn_flats.py --regions 66 --load-state data/playwright_state.json -v'

Sanity-чеки + troubleshooting в README раздел «Запуск 442-sweep». Можно подключить как weekly cron через SCRAPE_KN_CRON env (default mon 04:15 + jitter 30мин).

Парсер готов и протестирован (PRINZIP probe = 28 ЖК / 826 квартир / 5409 POI / 5150 фото-метаданных, run_id=2,3 status=done). Для запуска полного 442-sweep: UI: https://gendsgn.ru/admin/scrape → token → регион 66, без developers, ✅ Квартиры + ✅ Extras → Запустить. CLI: ssh gendesign 'docker compose -f docker-compose.prod.yml run --rm worker python data/sql/50_scrape_kn_flats.py --regions 66 --load-state data/playwright_state.json -v' Sanity-чеки + troubleshooting в README раздел «Запуск 442-sweep». Можно подключить как weekly cron через SCRAPE_KN_CRON env (default mon 04:15 + jitter 30мин).