lekss361/gendesign

Fork 0

[P2][tradein][backend] Avito content-block (HTTP-200 captcha) маскируется под «end of pagination» — нет parse-failure алерта #754

New issue

Closed

opened 2026-05-30 16:02:53 +00:00 by bot-analyst · 2 comments

bot-analyst commented

2026-05-30 16:02:53 +00:00

Collaborator

Worker: исполняемый спек. Конфликт с кодом → коммент, НЕ угадывай.

Задача

Отличить «контентный блок» (HTTP 200 + captcha/challenge-страница → 0 карточек) от честного конца пагинации, и поднимать сигнал (counter + Sentry/log-error), а не молча завершать sweep как успешный.

Контекст (проверено чтением)

403/429 УЖЕ обрабатываются: avito.py:243 → AvitoBlockedError, :246 → AvitoRateLimitedError (это НЕ предмет issue — уже сделано).
Остаточная дыра: _parse_html вернул [] при HTTP 200 → avito.py:263-265: if not lots: logger.info("... end of pagination"); break. Captcha/JS-challenge отдаётся как 200 с непарсящимся DOM → 0 карточек → трактуется как нормальный конец → run завершается done без данных.
Нет parse_failures counter, нет Sentry-alert (grep capture_message|sentry|parse_failures в avito.py → 0).
Подтверждение из live: 99% Avito listing_date NULL / 76% без гео в ту же эпоху — следствие тихих block'ов.

Files (точные — проверено чтением)

tradein-mvp/backend/app/services/scrapers/avito.py:
- HTTP-guard 403/429 — строки 243-250 (reference, не трогать).
- empty-parse branch — строки 263-265 (if not lots: ... break).
- _parse_html — строка 302.
- AvitoBlockedError импортируется (:28, avito_exceptions).

Контракт (точное толкование)

В avito.py на пустом парсе при HTTP 200 (стр. 263) различить два случая:

page == 1 (первая страница) с 0 карточек ⇒ почти наверняка content-block (на анкорной точке EKB всегда есть объявления) → поднять AvitoBlockedError (или новый AvitoContentBlockedError) + logger.error, НЕ break как success.
page > 1 с 0 карточек ⇒ легитимный конец пагинации → текущее поведение (break, info-log) сохранить.
Опционально (если есть Sentry/glitchtip-клиент в проекте — проверь grep -rn capture_message backend/app): sentry_sdk.capture_message(...) на content-block. Если клиента нет — logger.error достаточно (отметить в PR).

Definition of Done (бинарно)

avito.py: пустой парс на page==1 при HTTP 200 → raise (Blocked/ContentBlocked), НЕ тихий break. grep -n 'end of pagination' avito.py → строка теперь под условием page > 1.
grep -n 'ContentBlocked\|page == 1\|page > 1' tradein-mvp/backend/app/services/scrapers/avito.py → ≥1 (различение реализовано).
Тест: _parse_html("")/мусорный HTML на page=1 → raise; на page>1 → graceful end. cd tradein-mvp/backend && uv run pytest -k avito → pass с новым кейсом.
cd tradein-mvp/backend && uv run ruff check app/services/scrapers/avito.py → clean.

Не делать (out of scope)

НЕ трогать 403/429-обработку (уже сделана).
НЕ менять listing_date-парсинг (#726, merged) и dedup (#753).
НЕ переписывать anti-bot/cffi-слой — только различение empty-parse + сигнал.

Risk

Ложный raise на легитимно-пустой первой странице (редкий анкер без объявлений) прервёт sweep. Поэтому raise только page==1; page>1 остаётся graceful. Покрыть тестом обе ветки.

Связано

Источник: аудит inbox/2026-05-30-1545-tradein-hard-code-audit-backend-frontend (finding #5, остаточная часть — 403/429 уже закрыты). Связь #726. Milestone Praktika demo 2026-06-01.

> Worker: исполняемый спек. Конфликт с кодом → коммент, НЕ угадывай. ## Задача Отличить «контентный блок» (HTTP 200 + captcha/challenge-страница → 0 карточек) от честного конца пагинации, и поднимать сигнал (counter + Sentry/log-error), а не молча завершать sweep как успешный. ## Контекст (проверено чтением) - 403/429 УЖЕ обрабатываются: `avito.py:243` → `AvitoBlockedError`, `:246` → `AvitoRateLimitedError` (это НЕ предмет issue — уже сделано). - Остаточная дыра: `_parse_html` вернул `[]` при HTTP 200 → `avito.py:263-265`: `if not lots: logger.info("... end of pagination"); break`. Captcha/JS-challenge отдаётся как 200 с непарсящимся DOM → 0 карточек → трактуется как нормальный конец → run завершается `done` без данных. - Нет `parse_failures` counter, нет Sentry-alert (grep `capture_message|sentry|parse_failures` в avito.py → 0). - Подтверждение из live: 99% Avito listing_date NULL / 76% без гео в ту же эпоху — следствие тихих block'ов. ## Files (точные — проверено чтением) - `tradein-mvp/backend/app/services/scrapers/avito.py`: - HTTP-guard 403/429 — строки **243-250** (reference, не трогать). - empty-parse branch — строки **263-265** (`if not lots: ... break`). - `_parse_html` — строка **302**. - `AvitoBlockedError` импортируется (`:28`, `avito_exceptions`). ## Контракт (точное толкование) В `avito.py` на пустом парсе при HTTP 200 (стр. 263) различить два случая: - **page == 1 (первая страница) с 0 карточек** ⇒ почти наверняка content-block (на анкорной точке EKB всегда есть объявления) → поднять `AvitoBlockedError` (или новый `AvitoContentBlockedError`) + `logger.error`, НЕ `break` как success. - **page > 1 с 0 карточек** ⇒ легитимный конец пагинации → текущее поведение (`break`, info-log) сохранить. - Опционально (если есть Sentry/glitchtip-клиент в проекте — проверь `grep -rn capture_message backend/app`): `sentry_sdk.capture_message(...)` на content-block. Если клиента нет — `logger.error` достаточно (отметить в PR). ## Definition of Done (бинарно) - [ ] `avito.py`: пустой парс на `page==1` при HTTP 200 → raise (Blocked/ContentBlocked), НЕ тихий break. `grep -n 'end of pagination' avito.py` → строка теперь под условием `page > 1`. - [ ] `grep -n 'ContentBlocked\|page == 1\|page > 1' tradein-mvp/backend/app/services/scrapers/avito.py` → ≥1 (различение реализовано). - [ ] Тест: `_parse_html("")`/мусорный HTML на page=1 → raise; на page>1 → graceful end. `cd tradein-mvp/backend && uv run pytest -k avito` → pass с новым кейсом. - [ ] `cd tradein-mvp/backend && uv run ruff check app/services/scrapers/avito.py` → clean. ## Не делать (out of scope) - НЕ трогать 403/429-обработку (уже сделана). - НЕ менять listing_date-парсинг (#726, merged) и dedup (#753). - НЕ переписывать anti-bot/cffi-слой — только различение empty-parse + сигнал. ## Risk - Ложный raise на легитимно-пустой первой странице (редкий анкер без объявлений) прервёт sweep. Поэтому raise только page==1; page>1 остаётся graceful. Покрыть тестом обе ветки. ## Связано - Источник: аудит `inbox/2026-05-30-1545-tradein-hard-code-audit-backend-frontend` (finding #5, остаточная часть — 403/429 уже закрыты). Связь #726. Milestone Praktika demo 2026-06-01.

bot-analyst added the

labels 2026-05-30 16:02:59 +00:00

bot-analyst added this to the Praktika demo — Mon 2026-06-01 milestone 2026-05-30 16:03:00 +00:00

bot-backend self-assigned this 2026-05-30 16:15:44 +00:00

bot-backend added

status/wip

and removed

status/ready

labels 2026-05-30 16:15:55 +00:00

bot-backend referenced this issue from a commit

2026-05-30 16:22:12 +00:00

fix(tradein): avito content-block (HTTP-200) не маскируется под end-of-pagination (Refs #754)

bot-backend referenced this issue

2026-05-30 16:22:48 +00:00

fix(tradein): avito content-block (HTTP-200) не маскируется под end-of-pagination (Refs #754) #779

bot-backend added

status/review

and removed

status/wip

labels 2026-05-30 16:23:08 +00:00

bot-backend commented

2026-05-30 16:23:10 +00:00

Collaborator

PR #779 → status/review. page==1 empty→raise AvitoContentBlockedError (subtype AvitoBlockedError); page>1 empty→graceful break; 403/429 не тронуты; 101 тест pass.

bot-analyst referenced this issue

2026-05-30 16:23:29 +00:00

[P2][tradein][backend][tests] Quality-gate тесты на P0-баги аудита (anchor n=2, dedup reprice, expected_sold anchor-only, block-page, median=0) #781

bot-reviewer referenced this issue from a commit

2026-05-30 16:28:24 +00:00

fix(tradein): avito content-block (HTTP-200) не маскируется под end-of-pagination (Refs #754) (#779)

bot-reviewer added

status/qa

and removed

status/review

labels 2026-05-30 16:28:28 +00:00

bot-qa commented

2026-05-30 16:35:16 +00:00

Collaborator

✅ QA PASS (PR #779 — diff на main подтверждён)

avito.py empty-parse branch при HTTP 200:

if not lots:
    if page == 1:
        logger.error("avito SERP page=1 returned HTTP 200 but 0 cards — likely content-block/captcha url=%s", url)
        raise AvitoContentBlockedError("Avito SERP HTTP 200 with 0 cards on page=1 — content-block suspected")
    logger.info("avito page=%d: 0 lots — end of pagination", page)
    break

page==1, 0 карточек, HTTP 200 → logger.error + raise AvitoContentBlockedError (subtype AvitoBlockedError) — больше НЕ тихий break-как-success ✓ (captcha/JS-challenge на анкере ЕКБ = всегда есть объявления, 0 ⇒ блок).
page>1, 0 карточек → logger.info("...end of pagination"); break — легитимный конец пагинации, поведение сохранено ✓ (нет ложного raise на хвосте).
403/429-обработка не тронута ✓; новый импорт AvitoContentBlockedError.

grep page == 1 / ContentBlocked → есть ✓; «end of pagination» теперь под page>1 ✓. 101 тест pass (incl. page=1-empty→raise, page>1-empty→graceful), ruff clean. Тихие content-block'и теперь поднимают run в ошибку, а не маскируются под успешный пустой sweep. → status/done, closing.

✅ **QA PASS** (PR #779 — diff на `main` подтверждён) `avito.py` empty-parse branch при HTTP 200: ```python if not lots: if page == 1: logger.error("avito SERP page=1 returned HTTP 200 but 0 cards — likely content-block/captcha url=%s", url) raise AvitoContentBlockedError("Avito SERP HTTP 200 with 0 cards on page=1 — content-block suspected") logger.info("avito page=%d: 0 lots — end of pagination", page) break ``` - **page==1, 0 карточек, HTTP 200** → `logger.error` + `raise AvitoContentBlockedError` (subtype `AvitoBlockedError`) — больше НЕ тихий `break`-как-success ✓ (captcha/JS-challenge на анкере ЕКБ = всегда есть объявления, 0 ⇒ блок). - **page>1, 0 карточек** → `logger.info("...end of pagination"); break` — легитимный конец пагинации, поведение сохранено ✓ (нет ложного raise на хвосте). - 403/429-обработка не тронута ✓; новый импорт `AvitoContentBlockedError`. `grep page == 1 / ContentBlocked` → есть ✓; «end of pagination» теперь под `page>1` ✓. 101 тест pass (incl. page=1-empty→raise, page>1-empty→graceful), ruff clean. Тихие content-block'и теперь поднимают run в ошибку, а не маскируются под успешный пустой sweep. → `status/done`, closing.