[tradein] scraper_kit Group F4c: миграция yandex/* на shared base (_base.py) #2363

New issue

Closed

opened 2026-07-04 00:56:38 +00:00 by lekss361 · 0 comments

lekss361 commented

2026-07-04 00:56:38 +00:00

Owner

Родительский: #2352 (F4). Зависит от #2358 (F4-Foundation, смерджен) — теперь можно мигрировать.

Scope

scraper_kit/providers/yandex/{serp,detail,newbuilding}.py — заменить локальную конструкцию BrowserFetcher(...) на build_browser_fetcher() из providers/_base.py. Обрати внимание: yandex/serp.py передаёт кастомный fetch_timeout_s=30 — build_browser_fetcher уже поддерживает этот kwarg, просто пробросить. yandex/valuation.py НЕ трогать (уже стабилен, Group E3 #2336, mandatory config, другой паттерн). Retry/tarpit-логика в yandex/serp.py::fetch_around (rotate_ip + sleep) НЕ обобщать (осознанное решение F4-Foundation — семантически отличается от других retry-циклов).

DoD

Все конструкции BrowserFetcher в yandex/{serp,detail,newbuilding}.py используют shared base, включая кастомный fetch_timeout_s
Существующий parity/regression test suite для yandex остаётся зелёным (golden-parity из E3 #2336 — diff=0 не должен пострадать)
Дублирование снижено (замерить строк до/после)

Не пересекается по файлам с F4a/F4b/F4d — можно параллельно.

Refs #2352, #2358, #2309

Родительский: #2352 (F4). Зависит от #2358 (F4-Foundation, смерджен) — теперь можно мигрировать. ## Scope `scraper_kit/providers/yandex/{serp,detail,newbuilding}.py` — заменить локальную конструкцию `BrowserFetcher(...)` на `build_browser_fetcher()` из `providers/_base.py`. Обрати внимание: `yandex/serp.py` передаёт кастомный `fetch_timeout_s=30` — `build_browser_fetcher` уже поддерживает этот kwarg, просто пробросить. `yandex/valuation.py` НЕ трогать (уже стабилен, Group E3 #2336, mandatory config, другой паттерн). Retry/tarpit-логика в `yandex/serp.py::fetch_around` (rotate_ip + sleep) НЕ обобщать (осознанное решение F4-Foundation — семантически отличается от других retry-циклов). ## DoD - [ ] Все конструкции `BrowserFetcher` в yandex/{serp,detail,newbuilding}.py используют shared base, включая кастомный `fetch_timeout_s` - [ ] Существующий parity/regression test suite для yandex остаётся зелёным (golden-parity из E3 #2336 — diff=0 не должен пострадать) - [ ] Дублирование снижено (замерить строк до/после) Не пересекается по файлам с F4a/F4b/F4d — можно параллельно. Refs #2352, #2358, #2309