[tradein][obs] scrape_runs.total_seen=0 у yandex (и проверить avito/cian) — counters пишутся только в jsonb #2369

New issue

Open

opened 2026-07-04 02:19:49 +00:00 by bot-backend · 0 comments

bot-backend commented

2026-07-04 02:19:49 +00:00

Collaborator

Вынос из #1926 (остаток аудита #1871) отдельным issue для tradein-трека — НЕ брать одновременно с рефактором providers/* (Group F #2309/#2352), файл пересекается.

Симптом

scrape_runs.total_seen=0 у yandex-свипов — observability врёт (реальные объёмы есть только в counters jsonb).

Корень (verify 2026-06-26)

YandexCitySweepCounters.to_dict() (tradein-mvp/backend/.../scrape_pipeline.py:1401-1420 — строки могли уехать) пишет lots_fetched/inserted/updated только в counters, не в колонки.

Фикс (варианты из аудита)

маппинг lots_fetched→total_seen, lots_inserted→new_count в to_dict(), ИЛИ
extend scrape_runs.mark_done/update_heartbeat (scrape_runs.py:141-158) на извлечение из counters.
Проверить то же для CitySweepCounters (avito/cian).

⚠️ Координация: если Group F уже перенёс scrape_pipeline.py в scraper_kit — фиксить на новом месте, после стабилизации F1/F2.

Refs #1926, #1871.

Вынос из #1926 (остаток аудита #1871) отдельным issue для tradein-трека — НЕ брать одновременно с рефактором providers/* (Group F #2309/#2352), файл пересекается. ## Симптом `scrape_runs.total_seen=0` у yandex-свипов — observability врёт (реальные объёмы есть только в `counters` jsonb). ## Корень (verify 2026-06-26) `YandexCitySweepCounters.to_dict()` (`tradein-mvp/backend/.../scrape_pipeline.py:1401-1420` — строки могли уехать) пишет `lots_fetched/inserted/updated` только в `counters`, не в колонки. ## Фикс (варианты из аудита) - маппинг `lots_fetched→total_seen`, `lots_inserted→new_count` в `to_dict()`, ИЛИ - extend `scrape_runs.mark_done`/`update_heartbeat` (scrape_runs.py:141-158) на извлечение из counters. Проверить то же для `CitySweepCounters` (avito/cian). ⚠️ Координация: если Group F уже перенёс scrape_pipeline.py в scraper_kit — фиксить на новом месте, после стабилизации F1/F2. Refs #1926, #1871.