fix(msk-collector): ограниченный ретрай goto на таймауте навигации #3425

Merged

lekss361 merged 1 commit from fix/msk-collector-nav-timeout into main

2026-09-08 20:53:35 +00:00

lekss361 commented

2026-09-08 20:50:55 +00:00

Owner

Summary

Второе падение живого прогона (#2989, трек 1), уже другое: Page.goto: Timeout 90000ms exceeded на 15-й странице коридора 2.0–2.83 млн. Карточки не потерялись — падение пришлось сразу после заливки батча, но прогон умирал целиком.

Диагностика перед фиксом (а не догадка): вкладка в браузере показывала нормальную выдачу Авито с осмысленным заголовком, маркеров «Доступ ограничен» / PoW не было. curl с этой машины отдаёт 403, но это обычный отказ Авито голому curl — не признак бана залогиненной браузерной сессии.

Поэтому ретрай, но не слепой:

3 попытки goto, пауза 10 с между ними;
перед каждым повтором читаем то, что уже есть в документе, и прогоняем через _guard — настоящий блок остановит прогон со своей причиной (platform / ratelimit / firewall / challenge), а не спрячется за ретраем;
попытки исчерпаны → жёсткий стоп с причиной nav_timeout, а не бесконечный повтор.

Test plan

Причина воспроизведена в живом прогоне, стек указывает на Loader.fetch → page.goto
Отказ площадки исключён осмотром живой вкладки через CDP, а не по тексту исключения
--help работает (ленивый импорт playwright не сломан)
Прогон возобновлён с --resume, план и прогресс коридоров целы
Полный проход до конца — идёт

Тесты не пишутся до подтверждения поведения полным проходом.

Часть эпика #2989.

## Summary Второе падение живого прогона (#2989, трек 1), уже другое: `Page.goto: Timeout 90000ms exceeded` на 15-й странице коридора `2.0–2.83 млн`. Карточки не потерялись — падение пришлось сразу после заливки батча, но прогон умирал целиком. Диагностика перед фиксом (а не догадка): вкладка в браузере показывала нормальную выдачу Авито с осмысленным заголовком, маркеров «Доступ ограничен» / PoW не было. `curl` с этой машины отдаёт 403, но это обычный отказ Авито голому curl — не признак бана залогиненной браузерной сессии. Поэтому ретрай, но **не слепой**: - 3 попытки `goto`, пауза 10 с между ними; - перед каждым повтором читаем то, что уже есть в документе, и прогоняем через `_guard` — настоящий блок остановит прогон со своей причиной (`platform` / `ratelimit` / `firewall` / `challenge`), а не спрячется за ретраем; - попытки исчерпаны → жёсткий стоп с причиной `nav_timeout`, а не бесконечный повтор. ## Test plan - [x] Причина воспроизведена в живом прогоне, стек указывает на `Loader.fetch` → `page.goto` - [x] Отказ площадки исключён осмотром живой вкладки через CDP, а не по тексту исключения - [x] `--help` работает (ленивый импорт playwright не сломан) - [x] Прогон возобновлён с `--resume`, план и прогресс коридоров целы - [ ] Полный проход до конца — идёт Тесты не пишутся до подтверждения поведения полным проходом. Часть эпика #2989.

lekss361 added 1 commit 2026-09-08 20:50:56 +00:00

fix(msk-collector): ограниченный ретрай goto на таймауте навигации

CI Trade-In / changes (pull_request) Successful in 9s

Details

CI / changes (pull_request) Successful in 10s

Details

CI Trade-In / backend-tests (pull_request) Has been skipped

Details

CI Trade-In / browser-tests (pull_request) Has been skipped

Details

CI Trade-In / frontend-checks (pull_request) Has been skipped

Details

CI / backend-tests (pull_request) Has been skipped

Details

CI / frontend-tests (pull_request) Has been skipped

Details

CI / openapi-codegen-check (pull_request) Has been skipped

Details

f820c3eac5

Авито изредка держит соединение до упора, goto падает по 90-секундному
таймауту и прогон умирает целиком. В наблюдавшемся случае это был не отказ:
вкладка показывала нормальную выдачу, маркеров фаервола и PoW не было.

Но тихий отказ выглядит так же, поэтому ретрай не слепой: перед каждым
повтором читаем то, что есть в документе, и прогоняем через _guard — реальный
блок останавливает прогон со своей причиной. Исчерпали 3 попытки — жёсткий
стоп с причиной nav_timeout, а не бесконечный повтор.