Проба и работа делили транспорт и хост, но не РЕСУРС: проба брала
bff-search-web.domclick.ru/robots.txt, работа — /api/offers/v1. QRATOR закрывает
API и не трогает robots.txt, поэтому проба отвечала 200 «пара здорова» ровно
тогда, когда свип с того же узла получал блок-страницу.
Прод 13.08: за сутки 64 проверки пар и 5 банов на ВСЕ четыре площадки, при том
что свип Домклика блокируется каждые сутки. В 04:30 healthcheck пишет
pair_banned=0, в 05:02 свип — QRATOR block и узел 11 в бан на шесть часов.
Зелёный ответ здесь не бесполезен, а вреден: читается как разрешение выдать узел.
Адрес пробы — count-эндпоинт (/api/offers/count/v1): та же защищённая семья
путей, что у работы, но ответ одно число, без пагинации и выдачи. Нагрузка на
площадку минимальна — тот же довод, по которому здесь /fetch, а не /fetch-json.
Признак «ресурс отдан» стал зависеть от площадки: 'User-agent' у
robots.txt-источников, 'snippetsCount' у Домклика. Отдельной картой, а не
условием в теле, чтобы добавление площадки было одной строкой.
Знание было в коде на шаг от вывода: п.4 шапки test_2800 уже гласил
«robots.txt площадка отдаёт и забаненному IP». Следствие обработали (проба не
гасит боевой бан), причину — нет.
Красный прогон: 4 падения на origin/main тем же файлом теста, 18 зелёных на
ветке. Смежные — 85 passed.
Refs #2855, #2657
