bot-backend
cb5e2d4f70
All checks were successful
CI Trade-In / changes (pull_request) Successful in 7s
CI / changes (pull_request) Successful in 9s
CI Trade-In / backend-tests (pull_request) Has been skipped
CI Trade-In / browser-tests (pull_request) Has been skipped
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Successful in 2m16s
CI / backend-tests (pull_request) Successful in 17m10s
scrape_catalog_object гасил WafBlockedError и возвращал его как обычную неудачу, поэтому батч-цикл шёл дальше и слал ЖИВОЙ запрос на каждый оставшийся obj_id в уже забаненную сессию. Цена. Замер прода 20.08: в очереди 13200 объектов из 13801, а DOM.РФ отдаёт страницу «Доступ заблокирован [403]» с капчей (#2443). Один прогон «Загрузить все» выдал бы 13200 живых запросов в забаненную сессию — ровно то, что углубляет бан. Анти-бан-комментарий к BrowserSession в этом же файле предупреждает про тот же path family, из-за которого бан и случился. Правка из двух частей: per-object функция пробрасывает WAF (это не «объект не дошёл», а закрытая дверь), батч-цикл считает ПОДРЯД идущие блоки и прерывается на третьем. Порог не единица намеренно: одиночный блок бывает переходным, три подряд — стена. Прерванный батч помечается в stats (aborted_on_waf), а stats уходит в результат задачи через **stats — видно в логе прогона. Про двусторонность честно: части проверяются по-разному. • Проброс WAF — ДВУСТОРОННЕ. Тест подменяет fetch_catalog_object_html (настоящий источник блока) и гоняет НАСТОЯЩУЮ функцию: на origin/main «DID NOT RAISE», потому что там исключение гасится. • Предохранитель — логики этой на origin/main нет, поэтому тесты подменяют scrape_catalog_object и меряют новый цикл в изоляции (сколько объектов он успел тронуть). На двустороннюю проверку они не претендуют, и это написано в шапке файла. Первая версия теста этого не различала: подменяла scrape_catalog_object и на main падала с пробросом исключения — то есть по «нет такого кода», а не по неверному поведению. Перестроено. Контроли: одиночный блок не рвёт прогон; успех между блоками сбрасывает счётчик; обычный сбой сети по-прежнему гасится в False (иначе один битый объект рвал бы батч); здоровый батч проходит все объекты. Прогоны: tests/services/scrapers + tests/workers — 525 passed rc=0. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| api | ||
| fixtures | ||
| integration | ||
| ops | ||
| scrapers | ||
| scripts | ||
| services | ||
| smoke | ||
| sql | ||
| support | ||
| workers | ||
| __init__.py | ||
| _sentry_wiring_probe.py | ||
| conftest.py | ||
| skip_allowlist.txt | ||
| test_2464c_photos_session_release.py | ||
| test_2464c_timeout_guard_returns.py | ||
| test_admin_weight_profiles.py | ||
| test_app_logging.py | ||
| test_audit_middleware.py | ||
| test_auth_db.py | ||
| test_auth_session_guard.py | ||
| test_auth_session_service.py | ||
| test_concepts_stub.py | ||
| test_connection_capacity_loaders.py | ||
| test_eesk_reserve_loader.py | ||
| test_eias_heat_loader.py | ||
| test_ekb_geoportal_client.py | ||
| test_ekgas_outlet_loader.py | ||
| test_gas_grs_loader.py | ||
| test_gate_verdict.py | ||
| test_gisogd66_loader.py | ||
| test_health.py | ||
| test_layout_signature.py | ||
| test_layout_tz_html.py | ||
| test_layout_tz_pdf.py | ||
| test_network_obremenenie.py | ||
| test_network_zone_humanize.py | ||
| test_noise_loader.py | ||
| test_nspd_client.py | ||
| test_nspd_sync.py | ||
| test_ors_client.py | ||
| test_osm_tp_geocoder.py | ||
| test_osrm_client_local.py | ||
| test_ping.py | ||
| test_poi_score.py | ||
| test_quarter_dump_lookup.py | ||
| test_rbac.py | ||
| test_riasurt_sverdl_client.py | ||
| test_saturation.py | ||
| test_sentry_init.py | ||
| test_skip_guard_loud.py | ||
| test_utility_infrastructure_loader.py | ||
| test_velocity.py | ||
| test_weight_profiles.py | ||