4 commits

Author	SHA1	Message	Date
bot-backend	6be2bf9aaa	fix(tradein/avito): серия отказов нашего тракта обрывает detail-добор статусом failed (#3439) ... Прод: 7193, 7218, 7264, 7302 (15-16.09) и 6608/6631/6643/6662 (10.09) — по 1600 попыток, 1-10 карточек, ~1599 блоков, status='done', по 70+ минут каждый. В те же окна в логах tradein-browser шторм «browser launch failed … InvalidIP» и «/fetch 503». 6885 (13.09) — те же 1600 попыток при ban_kinds {"infra": 1591}, но 'banned'. Корень — регресс #3288/#3367: record_block(kind != platform) уходит в record_failure(), то есть только в знаменатель окна. Числитель доли растёт лишь на platform, safety-net смотрит на platform-серию, счётчика серии infra нет вовсе. Серия отказов сайдкара любой длины не рвала прогон ничем, а финализатор #3367 при одной карточке ставил 'done'. - BlockRatioBreaker: infra_streak_limit и счётчик серии infra. Серию гасит любой ответ площадки — успех, её блок, 404. abort_reason() -> "infra_streak" (проверяется первым), abort_explanation() называет эту величину. - avito_detail_backfill: порог = max_consecutive_failures (дефолт 25) — тот же разряд «отказ нашей стороны», что и отказы-не-блоки. На обрыве — mark_failed «тракт недоступен: N отказов … подряд без единого ответа площадки», в counters abort_reason=infra_streak и ban_kinds. Не 'banned' — площадка молчала; не через mark_backfill_finished — там одна карточка даёт 'done'. Тесты по значению: 1 успех + 1599 отказов сайдкара -> attempted=26, mark_failed, abort_reason=infra_streak, ban_kinds {"infra": 25}; обрыв ровно на 25-м (24 — нет); 24 infra + ответ площадки (успех/блок/404) + 24 — не обрыв; 24 infra + ответ, трижды — снапшот пройден; 25% настоящих блоков — не обрыв; прежний контроль #3367 (20 infra + 10 успехов -> done) зелёный. Фальсификация: без проводки порога — «assert (1600, 1600) == (26, 26)»; без сброса серии на блоке площадки — «abort_reason='infra_streak': 24 + ответ площадки (platform) + 24»; без ветки финала — «прогон ушёл в backfill-honest-status: там 1 карточка превращает шторм в 'done'». Пункт 3 задачи (browser_unfit узлу, на котором сайдкар не поднял браузер) не сделан: это вердикт пула прокси и протокол сайдкара, отдельная задача. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-09-17 12:54:18 +05:00
bot-backend	1a693192e1	fix(tradein): вид блока решает обрыв по доле и статус прогона (#3288 часть B) ... Прогон 5425 оборвался по доле блоков и получил статус banned на 48 «блоках», из которых 41 был отказом нашего сайдкара: record_block() вида не принимал, поэтому infra падал в числитель скользящего окна #3184 наравне с настоящим баном, а mark_backfill_finished считал диагноз только ради телеметрии. - record_block(kind): в числитель идёт только platform; всё остальное — в знаменатель (как record_failure), мимо серии и safety-net; - NoProxyAvailableError у avito — не блок и не отказ площадки: прогон завершается no_proxy_stop=1 + mark_failed «пул прокси пуст» (как домклик после #3283); опознаётся по цепочке __cause__, не по подстроке (#3272); - статус banned — только при доминировании platform; при infra прогон получает failed (нулевой результат) или done, с честной причиной.	2026-09-06 00:09:37 +05:00
bot-backend	8176e8d167	fix(tradein/scrapers): ABORT-лог называл серию блоков, хотя рвал прогон по доле ... Прод-прогон 5210 оборвался по ratio-критерию — 14 блоков из 20, ровно порог 0.7 — и отчитался строкой «ABORT -- 1 consecutive blocks». Число верное: последняя серия в тот момент действительно равнялась единице (19-я попытка успех, 20-я блок). Величина не та. Читатель лога видит цифру, по которой обрыва быть не могло, и идёт искать несуществующий баг в брейкере. Причина: #3184 заменил критерий обрыва на долю в скользящем окне, а текст лога остался от прежнего критерия «N подряд» — то есть ровно та же болезнь, которую #3178 лечил у соседней строки (литерал «IP rate-limited» вместо измеренной причины). - BlockRatioBreaker.abort_reason() возвращает "ratio" / "safety_net" / None; should_abort() выражен через него, поведение не меняется. - abort_explanation() даёт текст с той величиной, по которой обрыв и произошёл: доля печатает «доля блоков 14/20 в окне (порог 70%)», safety-net — «5 блоков подряд без единого успеха (снапшот 5 короче окна 20)». - counters["abort_reason"] — чтобы причина обрыва читалась SQL-запросом по scrape_runs, а не грепом контейнера. Ключа нет, если прогон не обрывался. Тесты (проверено мутацией источника — на прежнем сообщении оба падают): - ratio-обрыв на раскладке прогона 5210 (серия на обрыве = 1) требует «14/20» в логе и отсутствия слова consecutive; - safety-net требует «5 блоков подряд» и отсутствия «доля блоков» — без этого зеркала первый тест проходил бы и у сообщения, всегда печатающего долю; - прогон без обрыва (13/20) не пишет abort_reason в counters. Refs #3184, #3178	2026-08-28 23:04:07 +03:00
bot-backend	49b70a67f3	fix(tradein/scrapers): обрыв по серии блоков рвал каждый прогон, включая здоровые (#3188)	2026-08-28 18:22:25 +00:00