[tradein] cleanup-волна после стабилизации scraper-kit: удалить legacy-дубли скрапперов + косметика pool

lekss361 commented

2026-07-03 07:30:13 +00:00

Owner

Когда

После ~недели стабильного kit-пути на проде (активация 2026-07-03, эпики #2126/#2160 закрыты). НЕ раньше — legacy нужен как fallback (USE_KIT_SCHEDULER=false = мгновенный откат без деплоя).

Scope

1. Удаление дублей (основное)

tradein-mvp/backend/app/services/scrapers/* — дубли перенесённого в packages/scraper-kit
Legacy sweep-функции в app/services/scrape_pipeline.py и app/services/scheduler.py (trigger_*, 27-веточный if/elif)
Аудит importers ОБЯЗАТЕЛЕН: detail/imv/valuation/newbuilding/cadastral backfills всё ещё живут на старых app-модулях — product_handlers их зовут. НЕ удалять живые. rg-скан всех import-site'ов перед каждым удалением.
admin.py ручки (start_cian_city_sweep и т.п.) — перевести на kit-путь или удалить.
После удаления legacy-копий: убрать parity-тесты kit↔legacy (test_cian_anchor_timeout_parity_with_scraper_kit и golden-parity, потерявшие второй операнд).

2. Косметика proxy-pool (мелочь, можно отдельным PR раньше)

leased_by=-1 → реальный run_id (BrowserFetcher не знает run_id — прокинуть или убрать колонку-семантику «кто держит»)
mark_health(..., exit_ip=None) на fetch-пути — либо доставать exit_ip, либо не затирать значение health-checker'а
cian WARNING timed out after %ds → %.0fs (float, обе копии — если legacy ещё жив)

3. Опционально (perf, обсудить)

Sticky proxy lease per-anchor/session для browser-путей: camoufox relaunch при каждой смене прокси = 13-45s/страница. Sticky в рамках якоря сократил бы sweep в ~2-3×, сохранив распределение по источникам. Trade-off: меньше ротации IP per-page.

Контекст

ADR: vault decisions/Decision_Adr_Scraper_Kit_Market_Contract.md
Активация: #2126 / #2160 (закрывающие комменты), PR #2268 (флаги + browser wiring), PR #2272 (cian watchdog)

## Когда После **~недели стабильного** kit-пути на проде (активация 2026-07-03, эпики #2126/#2160 закрыты). НЕ раньше — legacy нужен как fallback (`USE_KIT_SCHEDULER=false` = мгновенный откат без деплоя). ## Scope ### 1. Удаление дублей (основное) - `tradein-mvp/backend/app/services/scrapers/*` — дубли перенесённого в `packages/scraper-kit` - Legacy sweep-функции в `app/services/scrape_pipeline.py` и `app/services/scheduler.py` (trigger_*, 27-веточный if/elif) - **Аудит importers ОБЯЗАТЕЛЕН**: detail/imv/valuation/newbuilding/cadastral backfills всё ещё живут на старых app-модулях — product_handlers их зовут. НЕ удалять живые. `rg`-скан всех import-site'ов перед каждым удалением. - `admin.py` ручки (start_cian_city_sweep и т.п.) — перевести на kit-путь или удалить. - После удаления legacy-копий: убрать parity-тесты kit↔legacy (`test_cian_anchor_timeout_parity_with_scraper_kit` и golden-parity, потерявшие второй операнд). ### 2. Косметика proxy-pool (мелочь, можно отдельным PR раньше) - `leased_by=-1` → реальный run_id (BrowserFetcher не знает run_id — прокинуть или убрать колонку-семантику «кто держит») - `mark_health(..., exit_ip=None)` на fetch-пути — либо доставать exit_ip, либо не затирать значение health-checker'а - cian WARNING `timed out after %ds` → `%.0fs` (float, обе копии — если legacy ещё жив) ### 3. Опционально (perf, обсудить) - Sticky proxy lease per-anchor/session для browser-путей: camoufox relaunch при каждой смене прокси = 13-45s/страница. Sticky в рамках якоря сократил бы sweep в ~2-3×, сохранив распределение по источникам. Trade-off: меньше ротации IP per-page. ## Контекст - ADR: vault `decisions/Decision_Adr_Scraper_Kit_Market_Contract.md` - Активация: #2126 / #2160 (закрывающие комменты), PR #2268 (флаги + browser wiring), PR #2272 (cian watchdog)

lekss361 added the

labels 2026-07-03 07:30:29 +00:00

lekss361 commented

2026-07-03 19:59:16 +00:00

Author

Owner

Аудит зависимостей legacy-скрапперов (2026-07-03, day 0 стабилизации) — до истечения недели рано удалять что-либо, но scope оказался шире, чем описано выше. Фиксирую, чтобы через неделю не наступить на грабли.

Путь пакета уточнён: scraper_kit — НЕ под app/, это отдельный устанавливаемый пакет tradein-mvp/packages/scraper-kit/src/scraper_kit/ (импортируется как top-level scraper_kit.*). n1-скраппера нет ни в legacy, ни в kit — убрать из scope, если упоминался.

1. Дублирование подтверждено — 24 из 26 файлов app/services/scrapers/* (14 751 строк) имеют kit-двойник (диффнул avito.py vs providers/avito/serp.py — идентичны кроме одного нового helper'а в kit). 2 файла БЕЗ kit-эквивалента: domclick_detail.py (584 строк), ekb_geoportal_client.py (238 строк) — их сначала нужно портировать в kit, потом уже удалять legacy.

2. Флаги НЕ покрывают всё (главная находка). USE_KIT_SCHEDULER переключает только scheduler_main.py между legacy scheduler_loop и kit-путём — это влияет ТОЛЬКО на SERP sweep/collection. product_handlers.py намеренно ("не дублируем логику") зовёт ОДНИ И ТЕ ЖЕ app.tasks.*/app.services.* job-бодис для обоих scheduler-путей — а эти бодис напрямую импортируют legacy scrapers/*. С флагами=true legacy всё равно остаётся ЕДИНСТВЕННОЙ реализацией для: IMV backfill, valuation (⚠️ app/services/estimator.py — core-логика оценки — импортирует avito_imv/cian_valuation/yandex_valuation), detail-enrichment, newbuilding-enrichment, domclick detail, admin debug-ручки.

3. 12 неймигрированных importers (ни один не ссылается на scraper_kit): app/api/v1/admin.py (manual run-parser debug, безусловно), app/services/estimator.py, house_imv_backfill.py, cian_price_history.py, cian_session.py, yandex_price_history.py, app/tasks/{avito_detail_backfill,cian_history_backfill,ekb_geoportal_ingest,newbuilding_enrich_backfill,yandex_detail_backfill,yandex_newbuilding_sweep}.py, scripts/ingest_domclick_jsonl.py.

4. Побочная находка: scraper_adapters.py docstring утверждает "никто их не использует" — устарело, модуль реально wired в _run_kit_scheduler. Поправить комментарий заодно с cleanup, иначе кто-то удалит рабочий код по описанию.

Вывод: раздел "1. Удаление дублей" в scope выше — не безопасно начинать даже через неделю без предварительного шага "мигрировать 12 importers + запортировать domclick_detail/ekb_geoportal_client в kit". Это отдельный подэтап перед удалением, крупнее чем подразумевает формулировка "cleanup-волна". Полный разбор — vault events/Event_Proxy_AB_Cian_Audit_Jul03 (раздел scraper duplication) + отдельная запись готовится.

**Аудит зависимостей legacy-скрапперов (2026-07-03, day 0 стабилизации)** — до истечения недели рано удалять что-либо, но scope оказался шире, чем описано выше. Фиксирую, чтобы через неделю не наступить на грабли. **Путь пакета уточнён:** `scraper_kit` — НЕ под `app/`, это отдельный устанавливаемый пакет `tradein-mvp/packages/scraper-kit/src/scraper_kit/` (импортируется как top-level `scraper_kit.*`). n1-скраппера нет ни в legacy, ни в kit — убрать из scope, если упоминался. **1. Дублирование подтверждено** — 24 из 26 файлов `app/services/scrapers/*` (14 751 строк) имеют kit-двойник (диффнул `avito.py` vs `providers/avito/serp.py` — идентичны кроме одного нового helper'а в kit). **2 файла БЕЗ kit-эквивалента**: `domclick_detail.py` (584 строк), `ekb_geoportal_client.py` (238 строк) — их сначала нужно портировать в kit, потом уже удалять legacy. **2. Флаги НЕ покрывают всё (главная находка).** `USE_KIT_SCHEDULER` переключает только `scheduler_main.py` между legacy `scheduler_loop` и kit-путём — это влияет ТОЛЬКО на SERP sweep/collection. `product_handlers.py` намеренно ("не дублируем логику") зовёт ОДНИ И ТЕ ЖЕ `app.tasks.*`/`app.services.*` job-бодис для обоих scheduler-путей — а эти бодис напрямую импортируют legacy `scrapers/*`. С флагами=true legacy всё равно остаётся ЕДИНСТВЕННОЙ реализацией для: IMV backfill, valuation (⚠️ `app/services/estimator.py` — core-логика оценки — импортирует `avito_imv`/`cian_valuation`/`yandex_valuation`), detail-enrichment, newbuilding-enrichment, domclick detail, admin debug-ручки. **3. 12 неймигрированных importers** (ни один не ссылается на `scraper_kit`): `app/api/v1/admin.py` (manual run-parser debug, безусловно), `app/services/estimator.py`, `house_imv_backfill.py`, `cian_price_history.py`, `cian_session.py`, `yandex_price_history.py`, `app/tasks/{avito_detail_backfill,cian_history_backfill,ekb_geoportal_ingest,newbuilding_enrich_backfill,yandex_detail_backfill,yandex_newbuilding_sweep}.py`, `scripts/ingest_domclick_jsonl.py`. **4. Побочная находка:** `scraper_adapters.py` docstring утверждает "никто их не использует" — устарело, модуль реально wired в `_run_kit_scheduler`. Поправить комментарий заодно с cleanup, иначе кто-то удалит рабочий код по описанию. **Вывод:** раздел "1. Удаление дублей" в scope выше — не безопасно начинать даже через неделю без предварительного шага **"мигрировать 12 importers + запортировать `domclick_detail`/`ekb_geoportal_client` в kit"**. Это отдельный подэтап перед удалением, крупнее чем подразумевает формулировка "cleanup-волна". Полный разбор — vault `events/Event_Proxy_AB_Cian_Audit_Jul03` (раздел scraper duplication) + отдельная запись готовится.

Блокер	Модули	Разблокируется
legacy `scrape_pipeline.py` (module-level на старте)	avito.py, avito_detail.py, avito_exceptions.py, avito_houses.py, base.py, browser_fetcher.py, cian.py, cian_detail.py, domclick.py, yandex_realty.py + транзитивные (avito_shared, cian_state_parser, price_brackets, house_type_normalizer, repair_state_normalizer, snapshot_writer, domclick_exceptions, yandex_helpers)	Миграция SERP-sweep оркестрации на kit `pipeline.py` (USE_KIT_SCHEDULER) — отдельный крупный шаг, вне текущего эпика
`cian_history_backfill.py` → `cian_valuation`	cian_valuation.py	Domиграция call-site (было отложено в E4)
admin/sweep/backfill → legacy newbuilding	cian_newbuilding.py, yandex_newbuilding.py	#2385 (сделать config mandatory) + re-migrate callers
`avito_detail_backfill.py` → `build_warmed_session`	(avito_detail.py уже блокирован pipeline)	#2330 caller re-migration

Rows
Columns

[tradein] cleanup-волна после стабилизации scraper-kit: удалить legacy-дубли скрапперов + косметика pool #2277