bot-backend
f0284b3539
All checks were successful
CI Trade-In / changes (pull_request) Successful in 7s
CI Trade-In / backend-tests (pull_request) Has been skipped
CI Trade-In / browser-tests (pull_request) Has been skipped
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / changes (pull_request) Successful in 9s
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Successful in 2m2s
CI / backend-tests (pull_request) Successful in 17m20s
Голый except Exception вокруг per-quarter grid-walk ловил и NspdBulkWafError, при
том что его собственный комментарий обещал обратное:
# (WAF 403 пробросится из client и прервёт прогон — это ожидаемо,
# caller-task ловит и не ретраит, как в bulk_harvest.)
Прервать он не мог — ловил сам себя. Цикл шёл дальше по всем оставшимся кварталам,
долбя уже блокирующий WAF.
Цена. Замер прода 20.08: limit=500 участков раскладывается на 174 квартала, каждый
grid-walk делает 49 запросов. Под баном один прогон выдал бы до ~8500 обращений в
закрытую дверь вместо остановки на первом — ровно то поведение, что углубляет бан.
Соседний harvest_quarter в ЭТОМ ЖЕ файле починен предыдущей волной эпика (#2464-A)
с тем же доводом и прод-замером «23 job'а, 50 WAF-блоков, 0 упавших — то есть бан
ни разу не остановил сбор». Здесь то же место пропустили; правка приводит четвёртый
сайт к трём соседним.
Про причастность к текущему бану НСПД (#2956) не утверждаю: задача
backfill_parcel_geom_task в beat-расписании отсутствует, запускается вручную —
проверено. Но запуск её сейчас, при живом 403, дал бы ровно описанный сценарий.
Тест проверяет ПОВЕДЕНИЕ — вышла ли ошибка наружу и сколько кварталов успел
тронуть прогон. Против origin/main:
WAF-блок → вернулся GeomBackfillResult(quarters_scanned=3) вместо ошибки
rate-limit → то же самое
обычный сбой пропускает ОДИН квартал — контроль, зелёный с обеих сторон
здоровый прогон обходит все кварталы — контроль, зелёный с обеих сторон
Первый контроль не для симметрии: он ловит «починку», которая начала бы обрывать
обход на любой ошибке — тогда один битый квартал стоил бы всей ночной докачки.
Прогоны: tests/services/cadastre + tests/services/scrapers — 309 passed rc=0.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
||
|---|---|---|
| .. | ||
| analysis_runs | ||
| cadastre | ||
| chat | ||
| exporters | ||
| forecasting | ||
| generative | ||
| llm | ||
| scrapers | ||
| site_finder | ||
| __init__.py | ||
| test_2464a_job_settings_savepoint.py | ||
| test_2464h_timing_overlap_formula.py | ||
| test_analytics_queries_domrf_dedup.py | ||
| test_cadastre_bulk.py | ||
| test_dadata_client.py | ||
| test_ekburg_permits.py | ||
| test_forecast_request_cache.py | ||
| test_functional_zone_lookup.py | ||
| test_granddoc_lookup.py | ||
| test_ird_analyze.py | ||
| test_ird_overlay_lookup.py | ||
| test_job_settings.py | ||
| test_krt_lookup.py | ||
| test_mapping_review.py | ||
| test_newbuilding_crossload.py | ||
| test_nspd_denorm.py | ||
| test_obj_class_backfill.py | ||
| test_objective_backfill.py | ||
| test_own_developer_ids_config.py | ||
| test_planning_lookup.py | ||
| test_ppt_tep_lookup.py | ||
| test_quarter_dump_lookup.py | ||
| test_recommend_mix_velocity.py | ||
| test_reservation_lookup.py | ||
| test_utility_characteristics.py | ||
| test_weather_cache.py | ||
| test_zone_regulation_backfill.py | ||
| test_zone_regulation_extract.py | ||
| test_zone_regulation_memo.py | ||
| test_zone_regulation_write_session.py | ||