tradein/scraper: `ban_kind` проставляется по умолчанию у 9 вызывающих из 12 — метка выглядит доказательством, не будучи им #2764

New issue

Closed

opened 2026-08-06 22:49:07 +00:00 by bot-backend · 2 comments

bot-backend commented

2026-08-06 22:49:07 +00:00

Collaborator

Найдено при разборе нулевого обогащения Авито (#2695) и подтверждено замером. Вчерашняя правка #2711 развела «наш сбой» и «блокировка площадкой» — но новая метка проставляется по умолчанию у большинства вызывающих, то есть выглядит доказательством, не будучи им.

Замер

mark_banned вызывается из двенадцати с лишним мест в конвейере. Диагноз по типу исключения (ban_kind_of_exception) передают три:

pipeline.py:1573  ban_kind=ban_kind_of_exception(e)
pipeline.py:1783  ban_kind=ban_kind_of_exception(e)
pipeline.py:3652  ban_kind=ban_kind_of_exception(exc)

Все остальные получают сигнатурный дефолт BAN_KIND_PLATFORM.

Что из этого вышло на практике — оба прогона со статусом «забанен» после применения миграции:

avito_detail_backfill     12:40  ban_kind=platform   ← дефолт, причина НЕ установлена
domclick_detail_backfill  15:17  ban_kind=platform   ← дефолт, причина известна и правда внешняя

Оба пришли из общего финализатора backfill-задач (#2695), который диагноз не передаёт. Для Домклика «площадка» случайно верна. Для Авито причина 1600 отказов осталась неустановленной — и всё равно записана как блокировка площадкой.

Почему это подрывает вчерашнюю работу

Смысл разведения был в том, чтобы не принимать решения по врущей метке: 92 прогона из 115 были помечены «нас забанили», а на деле отказывал наш собственный сайдкар, и на этом основании сбор замедлили вдвое.

Ретро-классификация исторических строк сделана по тексту ошибки и потому осмысленна. Новые строки осмысленны только у трёх вызывающих из двенадцати. Со временем доля «доказанных» меток будет падать, а выглядеть таблица будет так же уверенно.

Это тот же класс, что и сам дефект #2686, только на уровень выше: раньше метка была слишком широкой, теперь она проставляется без основания.

Что предлагается

Убрать дефолт platform. Два варианта, оба лучше нынешнего:

Сделать ban_kind обязательным параметром — каждый вызывающий обязан решить. Дорого по диффу, зато забыть нельзя.
Дефолт unknown — честно, и разрыв становится виден в данных, а не прячется. platform и infra тогда означают именно доказательство.

Склоняюсь ко второму: он делает пробел измеримым (SELECT ban_kind, count(*) сразу покажет, сколько мы на самом деле знаем), а первый превращает правку в обход двенадцати мест ради строк, которые всё равно будут скопированы бездумно.

Плюс, независимо от выбора: в браузерном режиме fetch_detail превращает в «блокировку площадкой» любой отказ сайдкара, — значит и там, где диагноз передаётся, он может быть неверен. Проверить эту ветку отдельно.

Что НЕ делать

Не выводить диагноз из текста ошибки в рантайме. В #2711 это сознательно сделано по типу исключения, а разбор текста постфактум — ровно то, от чего уходили.

Связано: #2686, #2711, #2695, #2674.

Найдено при разборе нулевого обогащения Авито (#2695) и подтверждено замером. Вчерашняя правка #2711 развела «наш сбой» и «блокировка площадкой» — но новая метка **проставляется по умолчанию у большинства вызывающих**, то есть выглядит доказательством, не будучи им. ## Замер `mark_banned` вызывается из **двенадцати с лишним мест** в конвейере. Диагноз по типу исключения (`ban_kind_of_exception`) передают **три**: ``` pipeline.py:1573 ban_kind=ban_kind_of_exception(e) pipeline.py:1783 ban_kind=ban_kind_of_exception(e) pipeline.py:3652 ban_kind=ban_kind_of_exception(exc) ``` Все остальные получают сигнатурный дефолт `BAN_KIND_PLATFORM`. Что из этого вышло на практике — оба прогона со статусом «забанен» после применения миграции: ``` avito_detail_backfill 12:40 ban_kind=platform ← дефолт, причина НЕ установлена domclick_detail_backfill 15:17 ban_kind=platform ← дефолт, причина известна и правда внешняя ``` Оба пришли из общего финализатора backfill-задач (#2695), который диагноз не передаёт. Для Домклика «площадка» случайно верна. Для Авито **причина 1600 отказов осталась неустановленной** — и всё равно записана как блокировка площадкой. ## Почему это подрывает вчерашнюю работу Смысл разведения был в том, чтобы не принимать решения по врущей метке: 92 прогона из 115 были помечены «нас забанили», а на деле отказывал наш собственный сайдкар, и на этом основании сбор замедлили вдвое. Ретро-классификация исторических строк сделана по тексту ошибки и потому осмысленна. **Новые строки осмысленны только у трёх вызывающих из двенадцати.** Со временем доля «доказанных» меток будет падать, а выглядеть таблица будет так же уверенно. Это тот же класс, что и сам дефект #2686, только на уровень выше: раньше метка была слишком широкой, теперь она **проставляется без основания**. ## Что предлагается **Убрать дефолт `platform`.** Два варианта, оба лучше нынешнего: 1. Сделать `ban_kind` обязательным параметром — каждый вызывающий обязан решить. Дорого по диффу, зато забыть нельзя. 2. **Дефолт `unknown`** — честно, и разрыв становится виден в данных, а не прячется. `platform` и `infra` тогда означают именно доказательство. Склоняюсь ко второму: он делает пробел измеримым (`SELECT ban_kind, count(*)` сразу покажет, сколько мы на самом деле знаем), а первый превращает правку в обход двенадцати мест ради строк, которые всё равно будут скопированы бездумно. Плюс, независимо от выбора: в браузерном режиме `fetch_detail` превращает в «блокировку площадкой» **любой** отказ сайдкара, — значит и там, где диагноз передаётся, он может быть неверен. Проверить эту ветку отдельно. ## Что НЕ делать Не выводить диагноз из текста ошибки в рантайме. В #2711 это сознательно сделано по **типу исключения**, а разбор текста постфактум — ровно то, от чего уходили. Связано: #2686, #2711, #2695, #2674.

Light1YT referenced this issue from a commit

2026-08-06 23:12:10 +00:00

fix(tradein/scraper): диагноз бана перестаёт назначаться по умолчанию (#2764)

Rows
Columns

tradein/scraper: ban_kind проставляется по умолчанию у 9 вызывающих из 12 — метка выглядит доказательством, не будучи им #2764

Замер

Почему это подрывает вчерашнюю работу

Что предлагается

Что НЕ делать

ЗАКРЫТО — метка перестала назначаться по умолчанию, проверка на проде 2026-08-07 09:0x UTC

Дефолт снят — в живом контейнере, а не в main

Историю переразметили честно

Первый забаненный прогон на новом коде — метка ДОКАЗАНА

Отдельная ветка из постановки — тоже закрыта

tradein/scraper: `ban_kind` проставляется по умолчанию у 9 вызывающих из 12 — метка выглядит доказательством, не будучи им #2764