fix(tradein/domclick): единый список QRATOR-маркеров serp+detail (#2636) #2645

Merged

bot-backend merged 1 commit from fix/domclick-qrator-markers into main

2026-08-05 07:06:42 +00:00

bot-backend commented

2026-08-05 07:03:17 +00:00

Collaborator

Summary

Шаг 1 плана возврата domclick_detail_backfill (#2636). Диагностика (коммент в issue) показала: 431 «failed» — в значимой части нераспознанные QRATOR-блоки (класс #2625). Detail-слой проверял 4 из 6 маркеров Layer A — блок-страницы с bot_mitigation / система защиты / 403 | домклик уходили в DomClickParseError (failed) вместо DomClickBlockedError: block-breaker не срабатывал, батч прожигал до 100 запросов по заблокированному ресурсу — ровно удары по репутации выделенного узла, от которых защищалась миграция 206.

Канонический DOMCLICK_BLOCK_MARKERS (объединение: 6 маркеров serp + datadome) в domclick_exceptions.py; оба слоя импортируют — списки больше не разойдутся.
При __SSR_STATE__ not found без известного маркера — logger.warning с первыми 300 символами HTML: будущий дрейф маркеров виден, а не молчит.
Джоба НЕ включается — возврат отдельной миграцией после ручного тестового прогона (шаги 2-3 плана в issue).

Test plan

Red/green: 3 параметризованных QRATOR-текста (регистр варьирован) на нетронутом detail.py → DomClickParseError (красный); с фиксом → DomClickBlockedError (зелёный)
Честный парс-фейл (нет SSR, нет маркеров) → по-прежнему ParseError (существующий тест)
tests/scrapers/ 76 passed, ruff чисто
Шаг 2: ручной прогон 10–20 листингов — blocked растёт вместо failed → потом enabled=true

Примечание: scripts/domclick_local_runner.py имеет свой inlined 4-маркерный список (самодостаточный операторский скрипт без scraper_kit-импортов) — осознанно не тронут, кандидат на фолд при следующем касании.

Refs #2636

## Summary Шаг 1 плана возврата `domclick_detail_backfill` (#2636). Диагностика (коммент в issue) показала: **431 «failed» — в значимой части нераспознанные QRATOR-блоки** (класс #2625). Detail-слой проверял 4 из 6 маркеров Layer A — блок-страницы с `bot_mitigation` / `система защиты` / `403 | домклик` уходили в `DomClickParseError` (failed) вместо `DomClickBlockedError`: block-breaker не срабатывал, батч прожигал до 100 запросов по заблокированному ресурсу — ровно удары по репутации выделенного узла, от которых защищалась миграция 206. - Канонический `DOMCLICK_BLOCK_MARKERS` (объединение: 6 маркеров serp + datadome) в `domclick_exceptions.py`; оба слоя импортируют — списки больше не разойдутся. - При `__SSR_STATE__ not found` без известного маркера — `logger.warning` с первыми 300 символами HTML: будущий дрейф маркеров виден, а не молчит. - Джоба НЕ включается — возврат отдельной миграцией после ручного тестового прогона (шаги 2-3 плана в issue). ## Test plan - [x] **Red/green**: 3 параметризованных QRATOR-текста (регистр варьирован) на нетронутом detail.py → `DomClickParseError` (красный); с фиксом → `DomClickBlockedError` (зелёный) - [x] Честный парс-фейл (нет SSR, нет маркеров) → по-прежнему ParseError (существующий тест) - [x] `tests/scrapers/` 76 passed, ruff чисто - [ ] Шаг 2: ручной прогон 10–20 листингов — blocked растёт вместо failed → потом `enabled=true` Примечание: `scripts/domclick_local_runner.py` имеет свой inlined 4-маркерный список (самодостаточный операторский скрипт без scraper_kit-импортов) — осознанно не тронут, кандидат на фолд при следующем касании. Refs #2636

Rows
Columns