feat(22d): domrf_catalog_object scraper — fill ~25 NULL kn_objects cols from SSR __NEXT_DATA__ #335

Merged
lekss361 merged 1 commit from feat/22d-catalog-object-scraper into main 2026-05-17 21:26:23 +00:00

1 commit

Author SHA1 Message Date
lekss361
ef3e0404a6 feat(22d): domrf_catalog_object scraper — fill ~25 NULL kn_objects cols from SSR __NEXT_DATA__
kn-API не возвращает wall_type, energy_eff, ceiling_height_m, parking_*,
playground_*, finishing_variants_count, has_*, scores и др. Эти поля доступны
только на SSR catalog странице /сервисы/каталог-новостроек/объект/{id} в
__NEXT_DATA__ JSON блоке (Next.js).

- backend/app/services/scrapers/domrf_catalog_object.py — fetch HTML через
  BrowserSession (WAF bypass), extract __NEXT_DATA__, parse 25+ fields, COALESCE
  UPDATE (не перетирает kn-API данные)
- backend/app/workers/tasks/scrape_kn_catalog_objects.py — Celery task, atomic
  SELECT (obj_id + snapshot_date одним запросом, без race с kn-scraper)
- backend/app/workers/beat_schedule.py — Tuesday 04:00 UTC, batch 300/run
- data/sql/118_22d_catalog_object_scraped_at.sql — catalog_scraped_at TIMESTAMP
  + index NULLS FIRST для "missing/stale first" selection
- backend/tests/services/scrapers/test_domrf_catalog_object.py — 41 tests pass

obj_checks 6 чекбоксов "Проверено на наш.дом.рф" — отдельная investigation
(на странице только общий isChecked flag).
2026-05-18 00:15:57 +03:00