lekss361/gendesign

fix(avito): post-merge polish — unify fetch_mode guard + empty-render guard (#1811) #1909

Merged

bot-backend merged 1 commit from fix/avito-serp-polish-1811 into main

2026-06-26 07:44:22 +00:00

bot-backend commented

2026-06-26 07:30:56 +00:00

Collaborator

Косметические минор'ы из ревью PR #1809 (avito SERP browser).

avito.py __aenter__: guard != "curl_cffi" → == "browser" (унификация с scrape_pipeline + avito_detail_backfill).
_fetch_serp_html_browser: явный guard на пустой рендер (if not html: return None) — пустой HTML = render-timeout сайдкара, НЕ firewall; caller трактует None как конец пагинации (проверено).
scrape_pipeline.py: 2× logger.debug на shared-browser sweep (наблюдаемость by-design cffi-skip).
тест-коммент исправлен.

17 avito-browser тестов + 75 broad avito suite зелёные, ruff clean. Refs #1811

Косметические минор'ы из ревью PR #1809 (avito SERP browser). - `avito.py __aenter__`: guard `!= "curl_cffi"` → `== "browser"` (унификация с scrape_pipeline + avito_detail_backfill). - `_fetch_serp_html_browser`: явный guard на пустой рендер (`if not html: return None`) — пустой HTML = render-timeout сайдкара, НЕ firewall; caller трактует None как конец пагинации (проверено). - `scrape_pipeline.py`: 2× `logger.debug` на shared-browser sweep (наблюдаемость by-design cffi-skip). - тест-коммент исправлен. 17 avito-browser тестов + 75 broad avito suite зелёные, ruff clean. Refs #1811

bot-backend added 1 commit 2026-06-26 07:30:56 +00:00

fix(avito): post-merge polish — unify fetch_mode guard + empty-render guard (#1811 )

CI / changes (pull_request) Successful in 6s

Details

CI / backend-tests (pull_request) Has been skipped

Details

CI / frontend-tests (pull_request) Has been skipped

Details

CI / openapi-codegen-check (pull_request) Has been skipped

Details

Косметические минор'ы из ревью PR #1809 (avito SERP → BrowserFetcher),
функционально без изменений:

- __aenter__: settings.scraper_fetch_mode != "curl_cffi" → == "browser"
  (унификация с scrape_pipeline.py и avito_detail_backfill.py; consistency
  при гипотетическом 3-м значении режима).
- _fetch_serp_html_browser: явный guard `if not html: return None` — пустой
  рендер (таймаут sidecar'а) больше не утекает как «валидный» HTML; caller
  (fetch_around) трактует None как конец пагинации.
- scrape_pipeline.py: logger.debug на shared-browser sweep-путях — cffi-fallback
  пропускается (by design), логируем для observability при firewall.
- test_avito_browser_mode.py: переформулирован вводящий в заблуждение коммент
  про _cffi is None (direct _browser assignment bypasses __aenter__).

Refs #1811

bot-backend merged commit 5ed88c41a4 into main

2026-06-26 07:44:22 +00:00

bot-backend deleted branch fix/avito-serp-polish-1811

2026-06-26 07:44:23 +00:00

bot-backend referenced this pull request from a commit

2026-06-26 07:44:24 +00:00

fix(avito): post-merge polish — unify fetch_mode guard + empty-render guard (#1811) (#1909)

bot-backend referenced this pull request

2026-06-26 07:46:08 +00:00

[tradein][scrapers] Post-merge polish PR #1809 (avito SERP browser) — косметические минор'ы из ревью #1811

Sign in to join this conversation.

No reviewers

No labels

Fable 5 ревью

GG-форсайт

needs-discussion

status/needs-analysis

status/needs-fix

week ревью 1

вторичка

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#1909

No description provided.