[needs-human] DOM.РФ WAF hard-ban на VPS IP с 2026-05-24 — статус cooldown не проверялся 6 недель #2443

New issue

Open

opened 2026-07-05 16:37:49 +00:00 by bot-backend · 0 comments

bot-backend commented

2026-07-05 16:37:49 +00:00

Collaborator

Находка (2026-07-05, при работе над #2440/#2442)

backend/app/workers/beat_schedule.py:411-421 — beat-запись scrape-kn-catalog-objects-weekly закомментирована с 2026-05-24:

DOM.РФ WAF дал hard-ban на VPS IP после серии failed extras-сессий (run 26/27/28). Catalog SSR использует тот же BrowserSession + те же /сервисы/* paths → следующий beat-tick насыпет 300 failed SSR fetches и углубит WAF reputation penalty. Возврат после cooldown 24-48h (проверить через targeted test).

Комментарий обещал 24-48ч cooldown и явно требовал targeted-test перед возвратом. Прошло 6 недель — ни теста, ни ревизии, ни issue на это не было. Ни в Forgejo, ни в vault (проверил — 0 совпадений по обеим поисковым системам) это нигде не отслеживается, только этот inline-комментарий в коде.

Почему это всплыло сейчас

#2440/#2441/#2442 реализовали harvest планировок квартир через тот же самый catalog SSR-путь (scrape_catalog_batch / BrowserSession / /сервисы/*). Новый Celery task (#2442) намеренно не включён в beat (по образцу уже отключённого object-scraper) — код безопасен как есть. Но это значит, что вся цепочка #2440→#2442→#299(Potrace)→#300(CubiCasa) сейчас упирается не только в отсутствие данных, но и в активный внешний бан, который никто не подтвердил снятым.

Что нужно решить (человеку, не боту)

Targeted test (единичный ручной запрос на живую catalog SSR-страницу с VPS IP) — это внешнее, потенциально необратимое действие: если бан ещё не остыл, тест углубит reputation penalty и затронет весь DOM.РФ-скрапинг с этого IP (включая уже работающий kn-price sweep, 29419/983088 квартир с ценой). Не буду запускать его самостоятельно без явного разрешения.

Варианты

Anton вручную инициирует targeted test (1 запрос, посмотреть на статус-код/капчу) и решает, снимать ли DISABLED.
Оставить как есть ещё какое-то время — 6 недель уже прошло, к спешке нет причины.
Если критично для CubiCasa/Potrace — рассмотреть альтернативный IP (residential proxy / другой VPS) для catalog SSR веток, не трогая основной scrape-IP.

Acceptance criteria

Решение зафиксировано (тест / отложить / прокси) — не должно снова стать молчаливым inline-комментарием
Если тест пройден успешно — снять DISABLED с object-scraper beat-записи И включить #2442's закомментированную flat-scraper запись
Задокументировать исход (успех/бан всё ещё активен) здесь и в vault

Refs #2440, #2441, #2442, #299, #300

## Находка (2026-07-05, при работе над #2440/#2442) `backend/app/workers/beat_schedule.py:411-421` — beat-запись `scrape-kn-catalog-objects-weekly` закомментирована с 2026-05-24: > DOM.РФ WAF дал hard-ban на VPS IP после серии failed extras-сессий (run 26/27/28). Catalog SSR использует тот же BrowserSession + те же `/сервисы/*` paths → следующий beat-tick насыпет 300 failed SSR fetches и углубит WAF reputation penalty. Возврат после cooldown 24-48h (**проверить через targeted test**). Комментарий обещал 24-48ч cooldown и явно требовал targeted-test перед возвратом. Прошло **6 недель** — ни теста, ни ревизии, ни issue на это не было. Ни в Forgejo, ни в vault (проверил — 0 совпадений по обеим поисковым системам) это нигде не отслеживается, только этот inline-комментарий в коде. ## Почему это всплыло сейчас #2440/#2441/#2442 реализовали harvest планировок квартир через **тот же самый** catalog SSR-путь (`scrape_catalog_batch` / `BrowserSession` / `/сервисы/*`). Новый Celery task (#2442) намеренно **не включён** в beat (по образцу уже отключённого object-scraper) — код безопасен как есть. Но это значит, что вся цепочка #2440→#2442→#299(Potrace)→#300(CubiCasa) сейчас упирается не только в отсутствие данных, но и в **активный внешний бан**, который никто не подтвердил снятым. ## Что нужно решить (человеку, не боту) Targeted test (единичный ручной запрос на живую catalog SSR-страницу с VPS IP) — это внешнее, потенциально необратимое действие: если бан ещё не остыл, тест углубит reputation penalty и затронет **весь** DOM.РФ-скрапинг с этого IP (включая уже работающий kn-price sweep, 29419/983088 квартир с ценой). Не буду запускать его самостоятельно без явного разрешения. ## Варианты 1. Anton вручную инициирует targeted test (1 запрос, посмотреть на статус-код/капчу) и решает, снимать ли DISABLED. 2. Оставить как есть ещё какое-то время — 6 недель уже прошло, к спешке нет причины. 3. Если критично для CubiCasa/Potrace — рассмотреть альтернативный IP (residential proxy / другой VPS) для catalog SSR веток, не трогая основной scrape-IP. ## Acceptance criteria - [ ] Решение зафиксировано (тест / отложить / прокси) — не должно снова стать молчаливым inline-комментарием - [ ] Если тест пройден успешно — снять DISABLED с object-scraper beat-записи И включить #2442's закомментированную flat-scraper запись - [ ] Задокументировать исход (успех/бан всё ещё активен) здесь и в vault Refs #2440, #2441, #2442, #299, #300