bot-backend
f72a08eb80
All checks were successful
CI Trade-In / changes (pull_request) Successful in 8s
CI Trade-In / backend-tests (pull_request) Has been skipped
CI Trade-In / browser-tests (pull_request) Has been skipped
CI / changes (pull_request) Successful in 9s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Successful in 3m0s
CI / backend-tests (pull_request) Successful in 17m31s
Обе функции ходят через один браузерный контекст, под один и тот же WAF.
`get_json` держит до пяти попыток с экспоненциальным backoff на 429/5xx/0,
а `download_binary` не имел ретраев вовсе: один 429 ронял загрузку
картинки насовсем, и вызывающий (`download_plan_image`, `download_photos`)
писал в лог «не удалось» — неотличимо от «файла нет».
Правильный образец лежал в этом же классе, двадцатью строками выше.
Непереходные коды (403, 404) поднимаются сразу, без ожидания: повтор их
не изменит, а лишний стук под WAF вредит. Разбор статуса вынесен ЗА
семафор — sleep не должен держать слот.
Двусторонне: против origin/main транзиентные тесты красные с конкретным
значением («вместо байтов получили RuntimeError('binary http 429…');
попыток=1»), ни одного ImportError/TypeError.
Контроли зелёные с обеих сторон: 403 и 404 не повторяются, исчерпание
попыток даёт честную ошибку, а не пустые байты, успех с первой попытки не
порождает лишних запросов.
Отдельный контроль на паузы: без него «ретраит» и «долбит без пауз»
неотличимы в тесте, а под WAF разница между ними решающая — проверяется,
что задержки растут как 1, 2 секунды.
pytest backend/tests/services/scrapers/ — 340 passed.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
||
|---|---|---|
| .. | ||
| __init__.py | ||
| cbr_macro.py | ||
| documents.py | ||
| domrf_catalog.py | ||
| domrf_catalog_object.py | ||
| domrf_kn.py | ||
| ekb_geoportal_client.py | ||
| ekb_krt_registry.py | ||
| ekb_ppt_tep_parser.py | ||
| ekburg_permits.py | ||
| flat_plans.py | ||
| gisogd66.py | ||
| gisogd_so_client.py | ||
| izyatie_client.py | ||
| izyatie_ocr.py | ||
| nspd_client.py | ||
| nspd_denorm.py | ||
| nspd_lite.py | ||
| obj_checks.py | ||
| objective.py | ||
| okn_egrkn_client.py | ||
| page_reservation_parser.py | ||
| pravo_gov66_client.py | ||
| rosstat_emiss.py | ||
| stealth.py | ||