From ac5b044f7e5ae560658d2c72ea615a1c66ca251d Mon Sep 17 00:00:00 2001 From: bot-backend Date: Sat, 12 Sep 2026 14:15:59 +0300 Subject: [PATCH] =?UTF-8?q?fix(scrapers):=20=D0=BE=D0=B6=D0=B8=D0=B4=D0=B0?= =?UTF-8?q?=D0=B5=D0=BC=D1=8B=D0=B5=20=D0=B8=D1=81=D1=85=D0=BE=D0=B4=D1=8B?= =?UTF-8?q?=20=D1=81=D0=B1=D0=BE=D1=80=D0=B0=20(=D0=B1=D0=B0=D0=BD,=20?= =?UTF-8?q?=D0=BF=D1=83=D1=81=D1=82=D0=BE=D0=B9=20=D0=BF=D1=83=D0=BB,=20?= =?UTF-8?q?=D0=BA=D0=B0=D0=BF=D1=87=D0=B0)=20=D0=B1=D0=BE=D0=BB=D1=8C?= =?UTF-8?q?=D1=88=D0=B5=20=D0=BD=D0=B5=20error?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Скрапер один давал 3006 error-строк в сутки из ~3700 по всему Trade-In — ленту перестали читать, и настоящая поломка терялась в ней. Принцип: ожидаемый исход сбора (площадка забанила, пул прокси пуст, капча/недогруз, серия блоков перевалила порог circuit breaker) — это состояние работы против недружелюбного источника, а не инцидент. В error остаётся только неожиданное: изменившаяся вёрстка/схема (Cian markup change), просроченный токен ротации прокси (ASocks 401), неразобранное исключение. Переведено error -> warning в 9 файлах, 12 мест: "СТОП — пул прокси пуст" (avito/domclick/cian_history/yandex_newbuilding_sweep x2), "пул прокси исчерпан" (cian_session, cian_price_history, yandex_address_backfill), FAIL-CLOSED без здорового узла для source (proxy_egress), ABORT по счётчику подтверждённых блоков площадки (avito, domclick, yandex_detail_backfill). Оставлено error намеренно: cookie-алерты Cian/DomClick (#2658, #2674) — они рассчитаны именно на LoggingIntegration(event_level=ERROR) в scheduler_main.py и без него молчат по 37 дней; ABORT по смешанным/soft причинам без единого подтверждённого блока площадки (#3272, #2674/#3196) — это может быть наш баг, а не бан, сигнал сознательно не приглушали. GlitchTip: сентри-интеграция скрапера уже настроена как LoggingIntegration(level=INFO, event_level=ERROR) в scheduler_main.py — отдельной правки sentry_scrub.py не требуется, понижение уровня logger само убирает эти записи из GlitchTip. Итоговая FINISHED-строка со счётчиками (attempted/enriched/blocked/failed) уже существует в каждом detail_backfill — новую не добавлял. Refs #3471 --- tradein-mvp/backend/app/services/cian_price_history.py | 2 +- tradein-mvp/backend/app/services/cian_session.py | 2 +- tradein-mvp/backend/app/services/proxy_egress.py | 2 +- tradein-mvp/backend/app/services/yandex_address_backfill.py | 2 +- tradein-mvp/backend/app/tasks/avito_detail_backfill.py | 4 ++-- tradein-mvp/backend/app/tasks/cian_history_backfill.py | 2 +- tradein-mvp/backend/app/tasks/domclick_detail_backfill.py | 4 ++-- tradein-mvp/backend/app/tasks/yandex_detail_backfill.py | 2 +- tradein-mvp/backend/app/tasks/yandex_newbuilding_sweep.py | 4 ++-- 9 files changed, 12 insertions(+), 12 deletions(-) diff --git a/tradein-mvp/backend/app/services/cian_price_history.py b/tradein-mvp/backend/app/services/cian_price_history.py index 21146957..b0ba6c4c 100644 --- a/tradein-mvp/backend/app/services/cian_price_history.py +++ b/tradein-mvp/backend/app/services/cian_price_history.py @@ -131,7 +131,7 @@ async def backfill_cian_price_history( # Fail-closed (#2616): пул пуст/недоступен в проде. Остальные листинги # упрутся в то же самое — рвём батч сразу, а не 50 раз по 5 секунд с # логом, который читается как «Циан нас блокирует». - logger.error( + logger.warning( "cian_price_history: нет доступного прокси в пуле (%s) — батч прерван " "на listing_id=%s (обработано %d из %d)", exc, diff --git a/tradein-mvp/backend/app/services/cian_session.py b/tradein-mvp/backend/app/services/cian_session.py index 388d94fb..25d240d1 100644 --- a/tradein-mvp/backend/app/services/cian_session.py +++ b/tradein-mvp/backend/app/services/cian_session.py @@ -201,7 +201,7 @@ async def verify_session(cookies: dict[str, str]) -> dict[str, Any] | None: # ИМЕННО для cian/нездоровы — НЕ уходим на settings.cian_proxy_url (тот самый # статичный узел мог быть источником бана, см. proxy_egress module docstring). # Явный отказ вместо слепого прохода через заведомо подозрительный egress. - logger.error( + logger.warning( "Cian cookies verify: пул прокси исчерпан для cian (%s) — verify пропущен, " "cookies НЕ помечены протухшими, retry на следующем такте", exc, diff --git a/tradein-mvp/backend/app/services/proxy_egress.py b/tradein-mvp/backend/app/services/proxy_egress.py index 8227a40a..12880ea7 100644 --- a/tradein-mvp/backend/app/services/proxy_egress.py +++ b/tradein-mvp/backend/app/services/proxy_egress.py @@ -302,7 +302,7 @@ def resolve_proxy_url(db: Session, source: str) -> str | None: # Сценарий 2: пул РЕАЛЬНО не пуст, но для source не осталось ни одного # здорового/небаненного узла -- fail-closed (#2616), НЕ fallback на env. - logger.error( + logger.warning( "proxy_egress: source=%s -- пул scrape_proxies НЕ пуст (%d узлов), но НИ ОДИН " "не прошёл фильтр для этого источника (banned_for_source=%d, " "unhealthy_or_disabled=%d) -- FAIL-CLOSED (#2616): отказ, БЕЗ обхода через " diff --git a/tradein-mvp/backend/app/services/yandex_address_backfill.py b/tradein-mvp/backend/app/services/yandex_address_backfill.py index 059d3dc2..b5831676 100644 --- a/tradein-mvp/backend/app/services/yandex_address_backfill.py +++ b/tradein-mvp/backend/app/services/yandex_address_backfill.py @@ -141,7 +141,7 @@ async def backfill_yandex_addresses( # нездоровы — НЕ уходим на settings.scraper_proxy_url (см. proxy_egress module # docstring). Явный пропуск run'а вместо слепого прохода через egress, который # мог быть источником текущего инцидента. - logger.error( + logger.warning( "yandex_address_backfill: пул прокси исчерпан для yandex (%s) — run " "пропущен, ни один листинг не обработан", exc, diff --git a/tradein-mvp/backend/app/tasks/avito_detail_backfill.py b/tradein-mvp/backend/app/tasks/avito_detail_backfill.py index 72f4ab24..dcbe755a 100644 --- a/tradein-mvp/backend/app/tasks/avito_detail_backfill.py +++ b/tradein-mvp/backend/app/tasks/avito_detail_backfill.py @@ -806,7 +806,7 @@ async def run_avito_detail_backfill( # и mark_failed с текстом про пул, как у домклика после #3283. if _caused_by_empty_pool(e): counters.failed += 1 - logger.error( + logger.warning( "avito_detail_backfill: run_id=%d СТОП — пул прокси пуст, " "к площадке не ходили. enriched=%d attempted=%d", run_id, @@ -913,7 +913,7 @@ async def run_avito_detail_backfill( # ratio: прогон 5210 (14 блоков из 20, ровно порог) отпечатал # "ABORT -- 1 consecutive blocks" -- текущая серия в тот момент # действительно равнялась единице, но обрыв был не по ней. - logger.error( + logger.warning( "avito_detail_backfill: run_id=%d ABORT -- %s, " "частая причина: %s. enriched=%d attempted=%d", run_id, diff --git a/tradein-mvp/backend/app/tasks/cian_history_backfill.py b/tradein-mvp/backend/app/tasks/cian_history_backfill.py index 9b1299ec..3de9d816 100644 --- a/tradein-mvp/backend/app/tasks/cian_history_backfill.py +++ b/tradein-mvp/backend/app/tasks/cian_history_backfill.py @@ -256,7 +256,7 @@ async def backfill_cian_history( if caused_by_no_proxy(exc): result.no_proxy_stop = True result.listings_failed_fetch += 1 - logger.error( + logger.warning( "cian_history_backfill: СТОП — пул прокси пуст, к площадке " "не ходили. listing_id=%s processed=%d succeeded=%d", listing_id, diff --git a/tradein-mvp/backend/app/tasks/domclick_detail_backfill.py b/tradein-mvp/backend/app/tasks/domclick_detail_backfill.py index 5f4c6963..d2f96a5c 100644 --- a/tradein-mvp/backend/app/tasks/domclick_detail_backfill.py +++ b/tradein-mvp/backend/app/tasks/domclick_detail_backfill.py @@ -493,7 +493,7 @@ async def run_domclick_detail_backfill( # ниже. Причина не теряется: в записи прогона стоит # no_proxy_stop=1 и mark_failed с текстом про пул. counters.failed += 1 - logger.error( + logger.warning( "domclick_detail_backfill: run_id=%d СТОП — пул прокси пуст, " "к площадке не ходили. enriched=%d attempted=%d", run_id, @@ -572,7 +572,7 @@ async def run_domclick_detail_backfill( if consecutive_blocks >= max_consecutive_blocks: # #3196: причину больше не выдумываем и не молчим — печатаем # перепись диагнозов по HTTP-статусам этого прогона. - logger.error( + logger.warning( "domclick_detail_backfill: run_id=%d ABORT -- %d consecutive " "blocks, диагнозы: %s. enriched=%d attempted=%d", run_id, diff --git a/tradein-mvp/backend/app/tasks/yandex_detail_backfill.py b/tradein-mvp/backend/app/tasks/yandex_detail_backfill.py index 31e7cad7..6377ef5e 100644 --- a/tradein-mvp/backend/app/tasks/yandex_detail_backfill.py +++ b/tradein-mvp/backend/app/tasks/yandex_detail_backfill.py @@ -427,7 +427,7 @@ async def run_yandex_detail_backfill( ) if consecutive_blocks >= max_consecutive_blocks: aborted_by_blocks = True - logger.error( + logger.warning( "yandex_detail_backfill: run_id=%d ABORT -- %d consecutive " "non-200 responses. enriched=%d attempted=%d", run_id, diff --git a/tradein-mvp/backend/app/tasks/yandex_newbuilding_sweep.py b/tradein-mvp/backend/app/tasks/yandex_newbuilding_sweep.py index 0733798d..c4b11b89 100644 --- a/tradein-mvp/backend/app/tasks/yandex_newbuilding_sweep.py +++ b/tradein-mvp/backend/app/tasks/yandex_newbuilding_sweep.py @@ -354,7 +354,7 @@ async def enrich_yandex_newbuilding_sweep( if caused_by_no_proxy(exc): result.no_proxy_stop = True result.failed_resolve += 1 - logger.error( + logger.warning( "yandex-nb-sweep: СТОП — пул прокси пуст, к площадке не ходили. " "house_id=%s processed=%d succeeded=%d", house_id, @@ -419,7 +419,7 @@ async def enrich_yandex_newbuilding_sweep( if caused_by_no_proxy(exc): # #3197 — см. блок resolve выше result.no_proxy_stop = True result.failed_fetch += 1 - logger.error( + logger.warning( "yandex-nb-sweep: СТОП — пул прокси пуст, к площадке не ходили. " "house_id=%s processed=%d succeeded=%d", house_id,