#2126 - [EPIC] scraper-kit — внутренний код-пакет монорепо (консолидация скрапперов) - lekss361/gendesign

lekss361 commented

2026-07-02 13:39:10 +00:00

Owner

Цель

Выделить trade-in скрапперы в внутренний пакет монорепо tradein-mvp/packages/scraper-kit (uv workspace). Пакет потребляется ТОЛЬКО скраппер-контуром (tradein-backend + tradein-scraper, оба из одного образа). Другие проекты его не импортируют — им нужны данные (см. Epic B), не код.

При переносе — консолидировать дублирование из аудита 2026-07-02 (не тащить copy-paste в пакет).

Контекст / решение

ADR 2026-07-02 (Anton): движок скрейпинга живёт в одном пакете монорепо (НЕ отдельный репо); другим продуктам нужны данные через data-контракт. Отдельный репо отклонён — скрапперы меняются часто (анти-бот), кросс-репо трение постоянное.

Coupling `scrapers/` → `app.` (развязывать через Protocol)

Зацепление	Где	Развязка
`matching.match_or_create_house`, `upsert_listing_source`	`base.py:35,721,752`	Protocol `HouseMatcher` (инжект)
`core.config.settings`	avito.py:41, cian.py:39, browser_fetcher.py:58, scrape_pipeline.py:43, scheduler.py:1008, …	`ScraperConfig` dataclass (инжект)
`core.db.SessionLocal`	scheduler.py:142, scraper_settings.py:64	`SessionFactory` (инжект)
`geocoder.is_within_ekb_bbox_wide`	avito_detail.py:36	переместить в kit (чистая математика)
`cian_session.*`	cian_valuation.py:35, scheduler.py:463	переместить в kit
enrichment-джобы (imv_backfill, dedup_merge, address_backfill)	scrape_pipeline.py:709,1519; scheduler.py:1632,1701	`EnrichmentJobs`-реестр callback'ов (джобы остаются в продукте)
`region_code=66` хардкод	base.py:404	параметр (kit не знает про регион)

Механика

uv workspace scoped на tradein-mvp/ (не корень — потребитель кода один). src/-layout (избежать flat-layout discovery, см. backend/pyproject.toml:56). Docker context ./backend → . (tradein-mvp). Один uv.lock.

Под-issues (dependency-ordered)

#A Скаффолд пакета + workspace-подключение — status/ready
#B Protocol-границы (HouseMatcher / ScraperConfig / SessionFactory / EnrichmentJobs) + adapters — depends #A
#C Перенос core-слоя (base/browser_fetcher/snapshot_writer/settings/price_brackets/state-parsers/helpers) — depends #B
#D Перенос провайдеров (avito/cian/yandex/domclick + detail/nb/valuation/houses/imv) — depends #C
#E Консолидация бисекции цены (4 копии → pricing/bisection.py) — depends #D
#F Перенос pipeline (scrape_pipeline) — depends #D
#G scheduler + registry-dispatch (25+ trigger_* + 27-веточный if/elif → dict-реестр) — depends #F
#H Docker/build wiring (context, Dockerfile, deploy path-фильтры) — depends #A, финал после #G
#K (быстрый баг-фикс, независимо) fix _unix_to_date TZ-inconsistency (3 копии MSK/UTC/naive) — status/ready

Источники

Аудит: vault audits/Scrapers_Architecture_Audit_0702.md
ADR: vault decisions/ (scraper-kit + market contract, 2026-07-02)
Связано: Epic B (market data contract)

Что НЕ делать

❌ Отдельный репозиторий (только когда потребитель вне монорепо/VPS)
❌ Workspace на корне монорепо (scope на tradein-mvp/)
❌ Тащить copy-paste в пакет как есть — консолидировать при переносе
❌ Сливать 4 реализации бисекции наугад — они разошлись (константы/TZ); diff семантику → per-provider config
❌ Трогать browser-server (отдельный образ) в этой волне

## Цель Выделить trade-in скрапперы в **внутренний** пакет монорепо `tradein-mvp/packages/scraper-kit` (uv workspace). Пакет потребляется ТОЛЬКО скраппер-контуром (`tradein-backend` + `tradein-scraper`, оба из одного образа). Другие проекты его **не импортируют** — им нужны данные (см. Epic B), не код. При переносе — **консолидировать дублирование** из аудита 2026-07-02 (не тащить copy-paste в пакет). ## Контекст / решение ADR 2026-07-02 (Anton): движок скрейпинга живёт в одном пакете монорепо (НЕ отдельный репо); другим продуктам нужны данные через data-контракт. Отдельный репо отклонён — скрапперы меняются часто (анти-бот), кросс-репо трение постоянное. ## Coupling `scrapers/*` → `app.*` (развязывать через Protocol) | Зацепление | Где | Развязка | |---|---|---| | `matching.match_or_create_house`, `upsert_listing_source` | `base.py:35,721,752` | Protocol `HouseMatcher` (инжект) | | `core.config.settings` | avito.py:41, cian.py:39, browser_fetcher.py:58, scrape_pipeline.py:43, scheduler.py:1008, … | `ScraperConfig` dataclass (инжект) | | `core.db.SessionLocal` | scheduler.py:142, scraper_settings.py:64 | `SessionFactory` (инжект) | | `geocoder.is_within_ekb_bbox_wide` | avito_detail.py:36 | переместить в kit (чистая математика) | | `cian_session.*` | cian_valuation.py:35, scheduler.py:463 | переместить в kit | | enrichment-джобы (imv_backfill, dedup_merge, address_backfill) | scrape_pipeline.py:709,1519; scheduler.py:1632,1701 | `EnrichmentJobs`-реестр callback'ов (джобы остаются в продукте) | | `region_code=66` хардкод | base.py:404 | параметр (kit не знает про регион) | ## Механика uv workspace scoped на `tradein-mvp/` (не корень — потребитель кода один). `src/`-layout (избежать flat-layout discovery, см. backend/pyproject.toml:56). Docker context `./backend` → `.` (tradein-mvp). Один `uv.lock`. ## Под-issues (dependency-ordered) - [ ] #A Скаффолд пакета + workspace-подключение — **status/ready** - [ ] #B Protocol-границы (HouseMatcher / ScraperConfig / SessionFactory / EnrichmentJobs) + adapters — depends #A - [ ] #C Перенос core-слоя (base/browser_fetcher/snapshot_writer/settings/price_brackets/state-parsers/helpers) — depends #B - [ ] #D Перенос провайдеров (avito/cian/yandex/domclick + detail/nb/valuation/houses/imv) — depends #C - [ ] #E Консолидация бисекции цены (4 копии → `pricing/bisection.py`) — depends #D - [ ] #F Перенос pipeline (scrape_pipeline) — depends #D - [ ] #G scheduler + registry-dispatch (25+ trigger_* + 27-веточный if/elif → dict-реестр) — depends #F - [ ] #H Docker/build wiring (context, Dockerfile, deploy path-фильтры) — depends #A, финал после #G - [ ] #K (быстрый баг-фикс, независимо) fix `_unix_to_date` TZ-inconsistency (3 копии MSK/UTC/naive) — **status/ready** ## Источники - Аудит: vault `audits/Scrapers_Architecture_Audit_0702.md` - ADR: vault `decisions/` (scraper-kit + market contract, 2026-07-02) - Связано: Epic B (market data contract) ## Что НЕ делать - ❌ Отдельный репозиторий (только когда потребитель вне монорепо/VPS) - ❌ Workspace на корне монорепо (scope на tradein-mvp/) - ❌ Тащить copy-paste в пакет как есть — консолидировать при переносе - ❌ Сливать 4 реализации бисекции наугад — они разошлись (константы/TZ); diff семантику → per-provider config - ❌ Трогать browser-server (отдельный образ) в этой волне

Rows
Columns

[EPIC] scraper-kit — внутренний код-пакет монорепо (консолидация скрапперов) #2126