tradein/cian: страницы ЖК (zhk-*.cian.ru) не грузятся — Page.goto timeout 60s, фаза houses городского свипа остаётся пустой даже через пул #3411

New issue

Open

opened 2026-09-07 10:31:33 +00:00 by bot-backend · 0 comments

bot-backend commented

2026-09-07 10:31:33 +00:00

Collaborator

Обнаружено при проверке приёмки #3394 на живом проде (07.09 10:29 UTC, BUILD_SHA=f52a39e).

Проба через рабочий тракт (fetch_newbuilding(url, config=RealScraperConfig(), proxy_provider=RealProxyProvider()) из контейнера scraper):

tradein-browser[cian]: прокси изменился (override=True) — relaunch перед fetch
tradein-browser[cian]: браузер запущен (proxy_override=True)
tradein-browser[cian]: fetch error url='https://zhk-mkr-centralnyy-ekb-i.cian.ru':
    TimeoutError: Page.goto: Timeout 60000ms exceeded.
    - navigating to "https://zhk-mkr-centralnyy-ekb-i.cian.ru/", waiting until "domcontentloaded"
→ клиенту: 500 от сайдкара, retry, снова 60 с, снова таймаут

Что это значит. Фикс #3396 (проводка пула в houses-фазу) работает — proxy_override=True, аренда берётся, InvalidIP = 0. Но данных фаза всё равно не даёт: ЖК-страница не отдаёт domcontentloaded за 60 с. То есть прежний диагноз («houses падает из-за мёртвого env-узла») был верен лишь наполовину — под ним лежала вторая причина.

Почему это не видно по статусам: свип 6276 (07.09 03:58) — done, errors_count=0, но houses_attempted=0, lots_fetched=0: он резюмировался от 6179 (failed), у которого в done_buckets уже лежали все 5 якорей, поэтому houses-фаза просто не исполнялась. Зелёный по построению; приёмка #3394 по этому прогону не выполнена.

Разобрать:

Открывается ли https://zhk-*.cian.ru/ вообще (редирект на ekb.cian.ru/novostrojka/...? требуется ли cookie/сессия?) — проба по узлам, как в #3402.
wait_until="domcontentloaded" против "commit"/"load"; нынешние 60 с — потолок или мало.
Не отдаёт ли Циан на этом поддомене бесконечно висящий ответ (анти-бот без страницы) — тогда это отказ площадки, и он должен диагностироваться как таковой, а не как таймаут инфраструктуры.
Приёмка после фикса: cian_city_sweep с ПУСТЫМ чекпоинтом (или ручной запуск houses) → houses_attempted > 0 и houses_enriched > 0. Прогон, пропустивший фазу по резюму, приёмкой не считается.

Refs #3394, #3402, #3396.

Обнаружено при проверке приёмки #3394 на живом проде (07.09 10:29 UTC, `BUILD_SHA=f52a39e`). **Проба через рабочий тракт** (`fetch_newbuilding(url, config=RealScraperConfig(), proxy_provider=RealProxyProvider())` из контейнера scraper): ``` tradein-browser[cian]: прокси изменился (override=True) — relaunch перед fetch tradein-browser[cian]: браузер запущен (proxy_override=True) tradein-browser[cian]: fetch error url='https://zhk-mkr-centralnyy-ekb-i.cian.ru': TimeoutError: Page.goto: Timeout 60000ms exceeded. - navigating to "https://zhk-mkr-centralnyy-ekb-i.cian.ru/", waiting until "domcontentloaded" → клиенту: 500 от сайдкара, retry, снова 60 с, снова таймаут ``` **Что это значит.** Фикс #3396 (проводка пула в houses-фазу) работает — `proxy_override=True`, аренда берётся, `InvalidIP` = 0. Но данных фаза всё равно не даёт: ЖК-страница не отдаёт `domcontentloaded` за 60 с. То есть прежний диагноз («houses падает из-за мёртвого env-узла») был верен лишь наполовину — под ним лежала вторая причина. **Почему это не видно по статусам:** свип 6276 (07.09 03:58) — `done`, `errors_count=0`, но `houses_attempted=0, lots_fetched=0`: он резюмировался от 6179 (`failed`), у которого в `done_buckets` уже лежали все 5 якорей, поэтому houses-фаза просто не исполнялась. Зелёный по построению; приёмка #3394 по этому прогону **не выполнена**. **Разобрать:** 1. Открывается ли `https://zhk-*.cian.ru/` вообще (редирект на `ekb.cian.ru/novostrojka/...`? требуется ли cookie/сессия?) — проба по узлам, как в #3402. 2. `wait_until="domcontentloaded"` против `"commit"`/`"load"`; нынешние 60 с — потолок или мало. 3. Не отдаёт ли Циан на этом поддомене бесконечно висящий ответ (анти-бот без страницы) — тогда это отказ площадки, и он должен диагностироваться как таковой, а не как таймаут инфраструктуры. 4. Приёмка после фикса: `cian_city_sweep` с ПУСТЫМ чекпоинтом (или ручной запуск houses) → `houses_attempted > 0` и `houses_enriched > 0`. Прогон, пропустивший фазу по резюму, приёмкой не считается. Refs #3394, #3402, #3396.