lekss361/gendesign

Fork 0

scraper-kit F: перенос pipeline (scrape_pipeline) в пакет #2135

New issue

Closed

opened 2026-07-02 13:40:43 +00:00 by lekss361 · 2 comments

lekss361 commented

2026-07-02 13:40:43 +00:00

Owner

Часть Epic #2126, шаг F. ⛔ Depends: шаг D (providers-move). Активировать после merge D.

Goal

Переместить scrape_pipeline.py (3294 строки) в scraper_kit.orchestration.pipeline. Enrichment-джобы (house_imv_backfill, house_dedup_merge, yandex_address_backfill) звать через EnrichmentJobs-реестр (шаг B) — сами джобы остаются в продукте. Прокси-ротация/ban-state-machine (3 копии внутри pipeline) — свести при переносе.

Files

packages/scraper-kit/src/scraper_kit/orchestration/pipeline.py
удаление app/services/scrape_pipeline.py, продуктовые джобы остаются

Acceptance

import scraper_kit.orchestration.pipeline без app.*
pipeline-тесты зелёные
ban/rotation-логика в одном месте (grep)

Risk

Большой файл, nonlocal-замыкания в run_avito_city_sweep (~640 строк). Post-deploy smoke по каждому source обязателен.

Agent: backend-engineer

Часть Epic #2126, шаг F. ⛔ Depends: шаг D (providers-move). Активировать после merge D. ## Goal Переместить `scrape_pipeline.py` (3294 строки) в `scraper_kit.orchestration.pipeline`. Enrichment-джобы (`house_imv_backfill`, `house_dedup_merge`, `yandex_address_backfill`) звать через `EnrichmentJobs`-реестр (шаг B) — сами джобы остаются в продукте. Прокси-ротация/ban-state-machine (3 копии внутри pipeline) — свести при переносе. ## Files - `packages/scraper-kit/src/scraper_kit/orchestration/pipeline.py` - удаление `app/services/scrape_pipeline.py`, продуктовые джобы остаются ## Acceptance - `import scraper_kit.orchestration.pipeline` без `app.*` - pipeline-тесты зелёные - ban/rotation-логика в одном месте (grep) ## Risk Большой файл, nonlocal-замыкания в `run_avito_city_sweep` (~640 строк). Post-deploy smoke по каждому source обязателен. **Agent:** backend-engineer

lekss361 added the

labels 2026-07-02 13:41:56 +00:00

lekss361 added the

status/ready

status/wip

labels 2026-07-02 16:44:37 +00:00

bot-backend referenced this issue from a commit

2026-07-02 17:07:01 +00:00

feat(scraper-kit): copy sweep pipeline orchestration with protocol injection, strangler (#2135)

lekss361 referenced this issue

2026-07-02 17:08:33 +00:00

feat(scraper-kit): copy sweep pipeline orchestration (avito) with protocol injection, strangler (#2135) #2171

lekss361 referenced this issue from a commit

2026-07-02 17:08:42 +00:00

feat(scraper-kit): copy sweep pipeline orchestration (avito) with protocol injection, strangler (#2135)

lekss361 commented

2026-07-02 17:09:06 +00:00

Author

Owner

Частично смержено (PR #2171) — avito-срез: run_avito_city_sweep + runs.py + инфра (contracts +9 полей/EnrichmentJobs, adapter синхронизирован, ban-rotation consolidation), golden-parity 6 сценариев. Боевое не тронуто. Остаток (7 sweep: yandex/cian/domclick city_sweep + 3 full_load + avito_newbuilding) — F2 (следующий срез, тот же механический паттерн). Issue закрою после F2.

Частично смержено (PR #2171) — avito-срез: `run_avito_city_sweep` + `runs.py` + инфра (contracts +9 полей/EnrichmentJobs, adapter синхронизирован, ban-rotation consolidation), golden-parity 6 сценариев. Боевое не тронуто. Остаток (7 sweep: yandex/cian/domclick city_sweep + 3 full_load + avito_newbuilding) — F2 (следующий срез, тот же механический паттерн). Issue закрою после F2.

bot-backend referenced this issue from a commit

2026-07-02 17:28:02 +00:00

feat(scraper-kit): copy remaining sweep orchestrators (yandex/cian/domclick/full-load), strangler (#2135 F2)

lekss361 referenced this issue

2026-07-02 17:28:58 +00:00

feat(scraper-kit): copy remaining sweep orchestrators (yandex/cian/domclick/full-load), strangler (#2135 F2) #2174

lekss361 referenced this issue from a commit

2026-07-02 17:29:07 +00:00

feat(scraper-kit): copy remaining sweep orchestrators (yandex/cian/domclick/full-load), strangler (#2135 F2)

lekss361 closed this issue

2026-07-02 17:29:18 +00:00

lekss361 commented

2026-07-02 17:29:22 +00:00

Author

Owner

Завершено (F1 PR #2171 + F2 PR #2174). Вся pipeline-оркестрация (8 sweep-функций) в scraper_kit/orchestration/pipeline.py + runs.py, развязана через Protocol-инжект, ban-rotation consolidation. Golden-parity 14 тестов (6+8). Contracts расширен (+9 config-полей +4 EnrichmentJobs-метода), adapter синхронизирован (guard зелёный). Боевой scrape_pipeline.py не тронут — инертно.

Завершено (F1 PR #2171 + F2 PR #2174). Вся pipeline-оркестрация (8 sweep-функций) в `scraper_kit/orchestration/pipeline.py` + `runs.py`, развязана через Protocol-инжект, ban-rotation consolidation. Golden-parity 14 тестов (6+8). Contracts расширен (+9 config-полей +4 EnrichmentJobs-метода), adapter синхронизирован (guard зелёный). Боевой `scrape_pipeline.py` не тронут — инертно.