scrape_catalog_object гасил WafBlockedError и возвращал его как обычную неудачу,
поэтому батч-цикл шёл дальше и слал ЖИВОЙ запрос на каждый оставшийся obj_id в
уже забаненную сессию.
Цена. Замер прода 20.08: в очереди 13200 объектов из 13801, а DOM.РФ отдаёт
страницу «Доступ заблокирован [403]» с капчей (#2443). Один прогон «Загрузить
все» выдал бы 13200 живых запросов в забаненную сессию — ровно то, что углубляет
бан. Анти-бан-комментарий к BrowserSession в этом же файле предупреждает про тот
же path family, из-за которого бан и случился.
Правка из двух частей: per-object функция пробрасывает WAF (это не «объект не
дошёл», а закрытая дверь), батч-цикл считает ПОДРЯД идущие блоки и прерывается на
третьем. Порог не единица намеренно: одиночный блок бывает переходным, три
подряд — стена. Прерванный батч помечается в stats (aborted_on_waf), а stats
уходит в результат задачи через **stats — видно в логе прогона.
Про двусторонность честно: части проверяются по-разному.
• Проброс WAF — ДВУСТОРОННЕ. Тест подменяет fetch_catalog_object_html
(настоящий источник блока) и гоняет НАСТОЯЩУЮ функцию: на origin/main
«DID NOT RAISE», потому что там исключение гасится.
• Предохранитель — логики этой на origin/main нет, поэтому тесты подменяют
scrape_catalog_object и меряют новый цикл в изоляции (сколько объектов он
успел тронуть). На двустороннюю проверку они не претендуют, и это написано
в шапке файла.
Первая версия теста этого не различала: подменяла scrape_catalog_object и на main
падала с пробросом исключения — то есть по «нет такого кода», а не по неверному
поведению. Перестроено.
Контроли: одиночный блок не рвёт прогон; успех между блоками сбрасывает счётчик;
обычный сбой сети по-прежнему гасится в False (иначе один битый объект рвал бы
батч); здоровый батч проходит все объекты.
Прогоны: tests/services/scrapers + tests/workers — 525 passed rc=0.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
