feat(tradein): admin backfill endpoints — cian price-history (T8a) + yandex address (T10) + house IMV (T7) #856

Merged

bot-reviewer merged 1 commit from feat/tradein-scrapers-wave2-backfills into main

2026-05-31 06:37:11 +00:00

bot-backend commented

2026-05-31 06:35:56 +00:00

Collaborator

Волна 2 из inbox-ноты 2026-05-30-2050 (local→server). Логика перенесена из рабочих локальных скриптов scripts/, реализована как admin-triggerable POST endpoints (ручной/контролируемый запуск — НЕ авто-cron, т.к. bulk по cron ловит 429 с datacenter-IP). Без Playwright (curl_cffi). Не трогает scheduler.py.

T8a POST /admin/scrape/cian-price-history — curl_cffi fetch detail → extract_state(frontend-offer-card, defaultState) → offerData.priceChanges → offer_price_history (была пустая). Reuse fetch_detail+save_detail_enrichment. Новый app/services/cian_price_history.py.

T10 POST /admin/scrape/yandex-address-backfill — curl_cffi fetch yandex /offer/<id>/, regex full-address из <title> → UPDATE listings.address + сброс geocode_tried_at. Пропускает если номер дома не извлёкся. app/services/yandex_address_backfill.py.

T7 POST /admin/scrape/house-imv-backfill — ядро из backfill-house-imv.py: median lot-params + house_type→IMV map + region-bbox prefix, resumable по imv_status, → house_imv_evaluations+house_placement_history+house_suggestions. app/services/house_imv_backfill.py.

pytest: 27 новых + 1413 total passed. ruff clean. (2 фейла cian_valuation/search-cache — локально-средовые, в CI проходят.)

⚠️ Риски: T7 IMV own-session без явного proxy (подхватит HTTP_PROXY env); T7 endpoint синхронный (~4.5мин/50 домов); T10 region_code=66 (EKB) хардкод. Детали в отчёте.

Волна 2 из inbox-ноты 2026-05-30-2050 (local→server). Логика перенесена из рабочих локальных скриптов `scripts/`, реализована как **admin-triggerable POST endpoints** (ручной/контролируемый запуск — НЕ авто-cron, т.к. bulk по cron ловит 429 с datacenter-IP). Без Playwright (curl_cffi). Не трогает scheduler.py. **T8a** `POST /admin/scrape/cian-price-history` — curl_cffi fetch detail → `extract_state(frontend-offer-card, defaultState)` → `offerData.priceChanges` → `offer_price_history` (была пустая). Reuse `fetch_detail`+`save_detail_enrichment`. Новый `app/services/cian_price_history.py`. **T10** `POST /admin/scrape/yandex-address-backfill` — curl_cffi fetch yandex `/offer/<id>/`, regex full-address из `<title>` → UPDATE `listings.address` + сброс geocode_tried_at. Пропускает если номер дома не извлёкся. `app/services/yandex_address_backfill.py`. **T7** `POST /admin/scrape/house-imv-backfill` — ядро из `backfill-house-imv.py`: median lot-params + house_type→IMV map + region-bbox prefix, resumable по imv_status, → `house_imv_evaluations`+`house_placement_history`+`house_suggestions`. `app/services/house_imv_backfill.py`. pytest: 27 новых + 1413 total passed. ruff clean. (2 фейла cian_valuation/search-cache — локально-средовые, в CI проходят.) ⚠️ Риски: T7 IMV own-session без явного proxy (подхватит HTTP_PROXY env); T7 endpoint синхронный (~4.5мин/50 домов); T10 region_code=66 (EKB) хардкод. Детали в отчёте.

Rows
Columns