refactor(tradein/scraper-kit): domclick providers on shared _base.py (#2364) #2372
1 changed files with 10 additions and 4 deletions
|
|
@ -311,14 +311,20 @@ class DomClickScraper(BaseScraper):
|
|||
"""
|
||||
# TODO Layer B (#1846 follow-up): backfill renovation/wallType/priceHistory
|
||||
|
||||
from scraper_kit.browser_fetcher import BrowserFetcher
|
||||
from scraper_kit.providers._base import build_browser_fetcher
|
||||
|
||||
out_lots: list[ScrapedLot] = []
|
||||
seen_ids: set[str] = set()
|
||||
|
||||
async with BrowserFetcher(
|
||||
source="domclick", endpoint=self._config.browser_http_endpoint
|
||||
) as fetcher:
|
||||
# build_browser_fetcher(config, source) без proxy_provider (дефолт None) —
|
||||
# поведенчески идентично прежнему прямому BrowserFetcher(source=..., endpoint=...):
|
||||
# use_pool теперь читает config.use_proxy_pool_browser (#2364 caveat, тот же
|
||||
# класс что и avito) вместо хардкода False, но BrowserFetcher._pool_proxy
|
||||
# вычисляет `use_pool and proxy_provider is not None` — при proxy_provider=None
|
||||
# результат всегда False независимо от значения флага (см. _base.py
|
||||
# build_browser_fetcher docstring: domclick пока не подключён к browser-proxy-
|
||||
# пулу, #2160 P4 wiring gap). Поведение НЕ меняется.
|
||||
async with build_browser_fetcher(self._config, "domclick") as fetcher:
|
||||
for bucket in ROOM_BUCKETS:
|
||||
logger.info(
|
||||
"domklik: BFF sweep rooms=%r city_id=%d pages_cap=%d",
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue