lekss361/gendesign

Fork 0

[tradein] scraper_kit migration — Group F: широкий рефактор структуры providers/* #2309

New issue

Closed

opened 2026-07-03 20:17:40 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-07-03 20:17:40 +00:00

Owner

Scope (M)

Не просто 1:1-перенос (это уже сделано в A-E) — реальный рефактор scraper_kit/providers/*:

Общие базовые классы для повторяющейся логики (retry, error-handling, session-management)
между avito/cian/yandex/domclick submodules
Консистентный naming/layout между provider-модулями
Заодно поправить устаревший docstring scraper_adapters.py ("никто не использует" — на деле
wired в _run_kit_scheduler)

DoD

Общие паттерны вынесены в shared base/utils, дублирование между providers снижено
(замерить: строк до/после)
Не ломает существующих consumers (kit scheduler, orchestration) — прогнать полный
существующий test suite + smoke на проде после деплоя
scraper_adapters.py docstring исправлен
НЕ трогает legacy app/services/scrapers/*

Риск

Средний — структурный рефактор после того как функциональность уже проверена (A-E), но
затрагивает код уже активно используемый в проде.

Родительский эпик: #2277. Стартовать ПОСЛЕ того как функциональная миграция (Groups A-E) смерджена и стабильна — рефактор структуры не должен идти одновременно с миграцией (parity-тесты гоняются против движущейся цели). ## Scope (M) Не просто 1:1-перенос (это уже сделано в A-E) — реальный рефактор `scraper_kit/providers/*`: - Общие базовые классы для повторяющейся логики (retry, error-handling, session-management) между avito/cian/yandex/domclick submodules - Консистентный naming/layout между provider-модулями - Заодно поправить устаревший docstring `scraper_adapters.py` ("никто не использует" — на деле wired в `_run_kit_scheduler`) ## DoD - [ ] Общие паттерны вынесены в shared base/utils, дублирование между providers снижено (замерить: строк до/после) - [ ] Не ломает существующих consumers (kit scheduler, orchestration) — прогнать полный существующий test suite + smoke на проде после деплоя - [ ] `scraper_adapters.py` docstring исправлен - [ ] НЕ трогает legacy `app/services/scrapers/*` ## Риск Средний — структурный рефактор после того как функциональность уже проверена (A-E), но затрагивает код уже активно используемый в проде.

lekss361 added the

labels 2026-07-03 20:18:00 +00:00

lekss361 referenced this issue

2026-07-03 20:18:12 +00:00

[tradein] cleanup-волна после стабилизации scraper-kit: удалить legacy-дубли скрапперов + косметика pool #2277

lekss361 referenced this issue

2026-07-03 22:06:57 +00:00

[tradein] scraper_kit: avito build_warmed_session() не выставляет config= — тихо теряет sticky-proxy на prod-default пути #2330

lekss361 referenced this issue

2026-07-03 22:23:29 +00:00

feat(tradein/scraper-kit): migrate backfill/enrichment tasks to kit (#2310) #2333

lekss361 referenced this issue

2026-07-03 23:50:59 +00:00

[tradein] scraper_kit Group F1: fix yandex/cian newbuilding BrowserFetcher missing endpoint= (#2322) #2349

lekss361 referenced this issue

2026-07-03 23:51:01 +00:00

[tradein] scraper_kit Group F2: fix avito build_warmed_session() missing config= (#2330) #2350

lekss361 referenced this issue

2026-07-03 23:51:13 +00:00

[tradein] scraper_kit Group F3: системный аудит config-footgun паттерна во всех providers/* #2351

lekss361 referenced this issue

2026-07-03 23:51:20 +00:00

[tradein] scraper_kit Group F4: shared base classes + consistent naming/layout providers/* #2352

lekss361 referenced this issue

2026-07-04 00:18:25 +00:00

[tradein] scraper_kit Group F4-Foundation: shared base/utils для providers/* #2358

lekss361 referenced this issue

2026-07-04 00:56:30 +00:00

[tradein] scraper_kit Group F4a: миграция avito/* на shared base (_base.py) #2361

lekss361 referenced this issue

2026-07-04 00:56:33 +00:00

[tradein] scraper_kit Group F4b: миграция cian/* на shared base (_base.py) #2362

lekss361 referenced this issue

2026-07-04 00:56:38 +00:00

[tradein] scraper_kit Group F4c: миграция yandex/* на shared base (_base.py) #2363

lekss361 referenced this issue

2026-07-04 00:56:43 +00:00

[tradein] scraper_kit Group F4d: миграция domclick/* на shared base (_base.py) #2364

lekss361 referenced this issue

2026-07-04 06:30:14 +00:00

refactor(tradein/scraper-kit): cian providers on shared _base.py (#2362) #2374

lekss361 commented

2026-07-04 19:26:35 +00:00

Author

Owner

Родительский epic закрывается — все дочерние Group F4 работы завершены и верифицированы (см. #2352, закрыт только что с деталями верификации). Foundation (scraper_kit/providers/_base.py) существует, все 4 provider-submodule (avito/cian/yandex/domclick) реально импортируют из него, scraper_adapters.py docstring исправлен, consumers (kit scheduler) не сломаны — PR #2375/#2374/#2384/#2372 все смерджены с зелёными test suite.

Родительский epic закрывается — все дочерние Group F4 работы завершены и верифицированы (см. #2352, закрыт только что с деталями верификации). Foundation (`scraper_kit/providers/_base.py`) существует, все 4 provider-submodule (avito/cian/yandex/domclick) реально импортируют из него, `scraper_adapters.py` docstring исправлен, consumers (kit scheduler) не сломаны — PR #2375/#2374/#2384/#2372 все смерджены с зелёными test suite.

lekss361 closed this issue

2026-07-04 19:26:38 +00:00