lekss361/gendesign

Fork 0

scraper-kit B: Protocol-границы (matcher/config/session/jobs) + adapters #2131

New issue

Closed

opened 2026-07-02 13:40:15 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-07-02 13:40:15 +00:00

Owner

Часть Epic #2126, шаг B. ⛔ Depends: шаг A (скаффолд). Активировать (status/ready) после merge A.

Goal

В scraper_kit объявить Protocol-контракты для инжекта продуктовой логики; на продуктовой стороне — тонкие адаптеры над существующими app.services.*. Код скрапперов ещё НЕ двигается.

Protocols:

HouseMatcher — match_or_create_house, upsert_listing_source (зафиксировать ТОЧНУЮ сигнатуру из matching/houses.py — возвращает (house_id, conf, method); grep всех callers)
ScraperConfig — dataclass с полями settings, что реально читаются скрапперами
SessionFactory — фабрика сессий БД
EnrichmentJobs — реестр callback'ов (imv_backfill / dedup_merge / address_backfill)

Files

packages/scraper-kit/src/scraper_kit/contracts.py (новый)
tradein-mvp/backend/app/services/scraper_adapters.py (новый — конкретные импл из app.*)

Acceptance

mypy/ruff зелёные
adapters структурно удовлетворяют Protocol'ам (structural typing тест)

Risk

runtime-mismatch сигнатуры matcher → зафиксировать по факту из matching/houses.py, не по памяти.

Agent: backend-engineer

Часть Epic #2126, шаг B. ⛔ Depends: шаг A (скаффолд). Активировать (status/ready) после merge A. ## Goal В `scraper_kit` объявить Protocol-контракты для инжекта продуктовой логики; на продуктовой стороне — тонкие адаптеры над существующими `app.services.*`. Код скрапперов ещё НЕ двигается. Protocols: - `HouseMatcher` — `match_or_create_house`, `upsert_listing_source` (зафиксировать ТОЧНУЮ сигнатуру из `matching/houses.py` — возвращает `(house_id, conf, method)`; grep всех callers) - `ScraperConfig` — dataclass с полями `settings`, что реально читаются скрапперами - `SessionFactory` — фабрика сессий БД - `EnrichmentJobs` — реестр callback'ов (imv_backfill / dedup_merge / address_backfill) ## Files - `packages/scraper-kit/src/scraper_kit/contracts.py` (новый) - `tradein-mvp/backend/app/services/scraper_adapters.py` (новый — конкретные импл из `app.*`) ## Acceptance - mypy/ruff зелёные - adapters структурно удовлетворяют Protocol'ам (structural typing тест) ## Risk runtime-mismatch сигнатуры matcher → зафиксировать по факту из `matching/houses.py`, не по памяти. **Agent:** backend-engineer

lekss361 added the

labels 2026-07-02 13:41:52 +00:00

lekss361 referenced this issue

2026-07-02 14:10:12 +00:00

[EPIC] scraper-kit — внутренний код-пакет монорепо (консолидация скрапперов) #2126

lekss361 added the

status/ready

status/wip

labels 2026-07-02 15:18:23 +00:00

bot-backend referenced this issue from a commit

2026-07-02 15:24:01 +00:00

feat(scraper-kit): protocol boundaries (matcher/config/session/jobs) + backend adapters (#2131)

lekss361 referenced this issue

2026-07-02 15:25:29 +00:00

feat(scraper-kit): protocol boundaries (matcher/config/session/jobs) + backend adapters (#2131) #2151

lekss361 referenced this issue from a commit

2026-07-02 15:25:40 +00:00

feat(scraper-kit): protocol boundaries (matcher/config/session/jobs) + backend adapters (#2131)

lekss361 commented

2026-07-02 15:26:16 +00:00

Author

Owner

Смержено (PR #2151). Инертный шаг — contracts.py + scraper_adapters.py не подключены к рантайм-графу (main.py/скрапперы их не импортируют), поведение на проде не меняется. Локально verified: import app.services.scraper_adapters OK, pytest 5 passed, ruff/mypy чисто. Prod-smoke отложен до шага C — когда save_listings реально начнёт ходить через HouseMatcher-адаптер, тогда и проверим цепочку живьём (dedup/matching на реальном sweep).

Смержено (PR #2151). **Инертный шаг** — `contracts.py` + `scraper_adapters.py` не подключены к рантайм-графу (`main.py`/скрапперы их не импортируют), поведение на проде не меняется. Локально verified: `import app.services.scraper_adapters` OK, `pytest` 5 passed, ruff/mypy чисто. Prod-smoke отложен до шага C — когда `save_listings` реально начнёт ходить через `HouseMatcher`-адаптер, тогда и проверим цепочку живьём (dedup/matching на реальном sweep).

lekss361 closed this issue

2026-07-02 15:26:17 +00:00

lekss361 removed the

status/ready

status/wip

labels 2026-07-02 15:26:18 +00:00