[tradein][scrapers] Yandex Realty периодический sweep — добавить в scheduler #561

New issue

Closed

opened 2026-05-25 06:02:31 +00:00 by lekss361 · 0 comments

lekss361 commented

2026-05-25 06:02:31 +00:00

Owner

Сейчас

Yandex endpoints (/yandex-detail, /yandex-newbuilding, /yandex-valuation) — manual. Yandex listings есть в БД, но stale.

Что сделать

Реализовать run_yandex_city_sweep() по аналогии с run_avito_city_sweep:
- анкорные точки EKB (15-20 координат покрывающих город)
- радиус 1500м
- request_delay_sec из scraper_settings
Добавить scrape_schedules WHERE source='yandex_city_sweep', окно 22:00-03:00.
Бонус — listing_date parsing (PR-6 из 8PR-roadmap): относительные даты ("вчера", "3 дня назад") → ISO date.

Acceptance

За 24h после merge: listings WHERE source='yandex' AND created_at >= NOW() - INTERVAL '24 hours' ≥ 200 строк.
listing_date заполнен ≥ 80% свежих yandex analogs (сейчас ~40%).

Refs

Decision_TradeIn_DataQuality_8PR_Roadmap — PR-6 listing_date

## Сейчас Yandex endpoints (`/yandex-detail`, `/yandex-newbuilding`, `/yandex-valuation`) — manual. Yandex listings есть в БД, но stale. ## Что сделать 1. Реализовать `run_yandex_city_sweep()` по аналогии с `run_avito_city_sweep`: - анкорные точки EKB (15-20 координат покрывающих город) - радиус 1500м - request_delay_sec из `scraper_settings` 2. Добавить `scrape_schedules WHERE source='yandex_city_sweep'`, окно 22:00-03:00. 3. Бонус — `listing_date` parsing (PR-6 из 8PR-roadmap): относительные даты ("вчера", "3 дня назад") → ISO date. ## Acceptance - За 24h после merge: `listings WHERE source='yandex' AND created_at >= NOW() - INTERVAL '24 hours'` ≥ 200 строк. - `listing_date` заполнен ≥ 80% свежих yandex analogs (сейчас ~40%). ## Refs - Decision_TradeIn_DataQuality_8PR_Roadmap — PR-6 listing_date