f6f494c17b
All checks were successful
CI Trade-In / changes (pull_request) Successful in 8s
CI / changes (pull_request) Successful in 10s
CI Trade-In / backend-tests (pull_request) Has been skipped
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / browser-tests (pull_request) Successful in 53s
_launch_browser ставил block_images: True для всех провайдеров, и в комментарии стояла только выгода — «рендер быстрее». Цена в комментарии не стояла, хотя camoufox пишет о ней в каждый запуск: LeakWarning: Blocking image requests has been reported to cause detection issues on major WAFs. За три часа прода — 44 таких предупреждения. Авито стоит за QRATOR, доля заглушек в detail-сборе ~32%. Теперь block_images разрешается через _resolve_block_images по образцу соседней _resolve_min_interval: per-provider env -> global env -> код-дефолт. Для avito дефолт — не блокировать. Для cian/yandex/generic дефолт остаётся прежним: их долю блоков никто не мерил, и менять им поведение заодно значило бы поменять три скрапера вслепую. Это не доказанная причина блоков, а единственная названная и документированная — своим же инструментом, в своём же конфиге. Проверять её надо замером на выборке от 40 карточек: блоки идут пачками (#3184), на малых выборках разница неразличима. Итоговая карта пишется в лог на старте, симметрично page-intervals — иначе значение видно только в коде. Refs #3185 |
||
|---|---|---|
| .. | ||
| Dockerfile | ||
| server.py | ||
| test_server.py | ||
| test_server_fetch_json.py | ||
| test_server_no_proxy_refusal.py | ||
| test_server_pacing.py | ||
| test_server_pow_challenge.py | ||
| test_server_proxy_override.py | ||
| test_server_resource_block.py | ||
| test_server_smoke.py | ||