lekss361/gendesign

Fork 0

[tradein] yandex browser-proxy мёртв (za.mobileproxy.space:62011) → yandex detail/newbuilding/address enrichment в 503 #1918

New issue

Closed

opened 2026-06-26 12:06:11 +00:00 by bot-backend · 3 comments

bot-backend commented

2026-06-26 12:06:11 +00:00

Collaborator

Симптом (прод, диагностика 2026-06-26 ~12:00 UTC)

tradein-browser[yandex] не может стартовать: browser launch failed: proxy unreachable (exc_type=InvalidProxy) → /fetch 503. Прокси BROWSER_PROXY_YANDEX=za.mobileproxy.space:62011 (и socks YANDEX_PROXY_URL=...:62012) timeout (egress-тест из контейнера висит). Avito-прокси auv.mobileproxy.space:10049 — жив (IMV/avito идут). Значит конкретно yandex-модем на mobileproxy.space упал/истёк.

Эффект (yandex browser-пути деградировали ~с ночи 06-25)

yandex_detail_backfill: 06-24 enriched=80 → 06-25/06-26 enriched=0 failed=5.
yandex_address_backfill: 06-26 errors=88 saved=0.
yandex_newbuilding_sweep (#974): 3/3 failed_resolve (503).
yandex listings stale: last_seen_at = 2026-06-25 17:48 (не обновлялись ~18ч+).
city_sweep НЕ затронут (SERP через cookies-файл, не browser-proxy) — 06-25 16:48 fetched 2379 lots ок.

Что нужно (needs-human — аккаунт mobileproxy.space у Anton/Лёхи)

Реанимировать/перевыпустить yandex-модем на mobileproxy.space (порт za...:62011/62012). Timeout (не бан) → ротация changeip не лечит, нужен рабочий endpoint.
Обновить BROWSER_PROXY_YANDEX (+ YANDEX_PROXY_URL) в /opt/gendesign/tradein-mvp/backend/.env.runtime (sed, не перезапись) → docker compose -p gendesign-tradein up -d --force-recreate --no-deps browser.
Проверить: docker exec tradein-browser egress-тест через BROWSER_PROXY_YANDEX → 200; пробный enrich_yandex_newbuilding_sweep(limit=3) → ok>0.

Заметка

Vault meta/00_credentials.md секция прокси устарела (avito там ещё mproxy.site:16928, в проде auv.mobileproxy.space). Источник правды по прокси = прод .env.runtime. Стоит синхронизировать vault.

Временный обходняк (НЕ делаю без подтверждения): направить yandex-провайдер на живой avito-прокси — но это общий модем на оба источника, риск бана обоих.

Refs #974. needs-human, scope/backend/devops, scrapers, tradein, priority/p1.

## Симптом (прод, диагностика 2026-06-26 ~12:00 UTC) `tradein-browser[yandex]` не может стартовать: `browser launch failed: proxy unreachable (exc_type=InvalidProxy)` → `/fetch 503`. Прокси `BROWSER_PROXY_YANDEX=za.mobileproxy.space:62011` (и socks `YANDEX_PROXY_URL=...:62012`) **timeout** (egress-тест из контейнера висит). Avito-прокси `auv.mobileproxy.space:10049` — жив (IMV/avito идут). Значит конкретно yandex-модем на mobileproxy.space упал/истёк. ## Эффект (yandex browser-пути деградировали ~с ночи 06-25) - `yandex_detail_backfill`: 06-24 enriched=80 → 06-25/06-26 enriched=0 failed=5. - `yandex_address_backfill`: 06-26 errors=88 saved=0. - `yandex_newbuilding_sweep` (#974): 3/3 failed_resolve (503). - yandex listings stale: last_seen_at = 2026-06-25 17:48 (не обновлялись ~18ч+). - **city_sweep НЕ затронут** (SERP через cookies-файл, не browser-proxy) — 06-25 16:48 fetched 2379 lots ок. ## Что нужно (needs-human — аккаунт mobileproxy.space у Anton/Лёхи) 1. Реанимировать/перевыпустить yandex-модем на mobileproxy.space (порт `za...:62011/62012`). Timeout (не бан) → ротация changeip не лечит, нужен рабочий endpoint. 2. Обновить `BROWSER_PROXY_YANDEX` (+ `YANDEX_PROXY_URL`) в `/opt/gendesign/tradein-mvp/backend/.env.runtime` (sed, не перезапись) → `docker compose -p gendesign-tradein up -d --force-recreate --no-deps browser`. 3. Проверить: `docker exec tradein-browser` egress-тест через BROWSER_PROXY_YANDEX → 200; пробный `enrich_yandex_newbuilding_sweep(limit=3)` → ok>0. ## Заметка Vault `meta/00_credentials.md` секция прокси **устарела** (avito там ещё `mproxy.site:16928`, в проде `auv.mobileproxy.space`). Источник правды по прокси = прод `.env.runtime`. Стоит синхронизировать vault. Временный обходняк (НЕ делаю без подтверждения): направить yandex-провайдер на живой avito-прокси — но это общий модем на оба источника, риск бана обоих. Refs #974. needs-human, scope/backend/devops, scrapers, tradein, priority/p1.

bot-backend added the

labels 2026-06-26 13:28:18 +00:00

bot-backend commented

2026-06-26 15:32:49 +00:00

Author

Collaborator

✅ Исправлено — Лёха прислал рабочие креды yandex-модема (za.mobileproxy.space:62011, IPGuardian GOOD, egress 128.71.111.4). Креды модема ротировались (host:port тот же, login/pass новые — старые в .env.runtime протухли → timeout).

Сделано:

Проверил новые креды из контейнера → egress 128.71.111.4 (совпало со скрином). ✅
Обновил BROWSER_PROXY_YANDEX (+ YANDEX_PROXY_URL socks) в /opt/gendesign/tradein-mvp/backend/.env.runtime (sed, бэкап .bak.20260626-yandex-proxy).
docker compose up -d --force-recreate --no-deps browser.
Валидация: yandex /fetch → 200 (был 503), resolve_yandex_jk_slug jk_id=2531062 → slug=vysota; market.yandex_jk_enrichment 0→6 строк, houses.yandex_jk_slug 0→6.

yandex browser-scraping восстановлен (detail/address/newbuilding enrichment снова работают). Закрываю.

NB: vault meta/00_credentials.md секцию прокси стоит обновить (она протухла — там старый avito mproxy.site).

✅ **Исправлено** — Лёха прислал рабочие креды yandex-модема (`za.mobileproxy.space:62011`, IPGuardian GOOD, egress 128.71.111.4). Креды модема ротировались (host:port тот же, login/pass новые — старые в `.env.runtime` протухли → timeout). Сделано: 1. Проверил новые креды из контейнера → egress 128.71.111.4 (совпало со скрином). ✅ 2. Обновил `BROWSER_PROXY_YANDEX` (+ `YANDEX_PROXY_URL` socks) в `/opt/gendesign/tradein-mvp/backend/.env.runtime` (sed, бэкап `.bak.20260626-yandex-proxy`). 3. `docker compose up -d --force-recreate --no-deps browser`. 4. Валидация: yandex `/fetch` → **200** (был 503), `resolve_yandex_jk_slug jk_id=2531062 → slug=vysota`; `market.yandex_jk_enrichment` 0→6 строк, `houses.yandex_jk_slug` 0→6. yandex browser-scraping восстановлен (detail/address/newbuilding enrichment снова работают). Закрываю. NB: vault `meta/00_credentials.md` секцию прокси стоит обновить (она протухла — там старый avito `mproxy.site`).

bot-backend closed this issue

2026-06-26 15:33:00 +00:00

bot-backend referenced this issue

2026-06-26 15:34:27 +00:00

[SF-v2 #950] 950-E3: Активировать yandex_newbuilding (0 строк сегодня) #974

lekss361 commented

2026-06-27 07:47:50 +00:00

Owner

Апдейт 2026-06-27 07:40 UTC — прокси деградировал ЖЁСТЧЕ, чем 06-26.

Реанимация changeip'ом 06-26 была временной — модем снова лёг, и теперь сам changeip не отвечает:

TCP za.mobileproxy.space:62011 + :62012 → CLOSED/timeout (оба порта).
http :62011 + socks5 :62012 → ConnectTimeout.
changeip.mobileproxy.space?proxy_key=... (YANDEX_PROXY_ROTATE_URL) → ReadTimeout (раньше отвечал OK) → после него порт всё ещё ConnectTimeout.

Т.е. это уже не «залип» (changeip оживлял), а полностью мёртвый/истёкший модем — нужен рабочий endpoint, code-side ротация бессильна (нечего ротировать).

Эффект (диагностика скрейперов 2026-06-27): yandex gate-fetch идёт через мёртвый :62011 в tradein-browser → status_code=0 → 3 tarpit-retry → [] → mark_done с 0 лотами (не banned, тихо). yandex scraped=0 + detail=0 за 12ч.

Нужно (needs-human, аккаунт mobileproxy.space): реанимировать/перевыпустить yandex-модем ИЛИ дать другой рабочий РФ-прокси → обновить BROWSER_PROXY_YANDEX (:62011 http) + YANDEX_PROXY_URL (:62012 socks5) в /opt/gendesign/tradein-mvp/backend/.env.runtime (sed) → docker compose -p gendesign-tradein up -d --force-recreate --no-deps browser. Verify: egress-проба через BROWSER_PROXY_YANDEX → 200.

**Апдейт 2026-06-27 07:40 UTC — прокси деградировал ЖЁСТЧЕ, чем 06-26.** Реанимация changeip'ом 06-26 была временной — модем снова лёг, и теперь **сам changeip не отвечает**: - TCP `za.mobileproxy.space:62011` + `:62012` → **CLOSED/timeout** (оба порта). - http :62011 + socks5 :62012 → `ConnectTimeout`. - `changeip.mobileproxy.space?proxy_key=...` (YANDEX_PROXY_ROTATE_URL) → **`ReadTimeout`** (раньше отвечал OK) → после него порт всё ещё ConnectTimeout. Т.е. это уже не «залип» (changeip оживлял), а **полностью мёртвый/истёкший модем** — нужен рабочий endpoint, code-side ротация бессильна (нечего ротировать). **Эффект (диагностика скрейперов 2026-06-27):** yandex gate-fetch идёт через мёртвый :62011 в tradein-browser → `status_code=0` → 3 tarpit-retry → `[]` → `mark_done` с 0 лотами (не banned, тихо). yandex scraped=0 + detail=0 за 12ч. **Нужно (needs-human, аккаунт mobileproxy.space):** реанимировать/перевыпустить yandex-модем ИЛИ дать другой рабочий РФ-прокси → обновить `BROWSER_PROXY_YANDEX` (:62011 http) + `YANDEX_PROXY_URL` (:62012 socks5) в `/opt/gendesign/tradein-mvp/backend/.env.runtime` (sed) → `docker compose -p gendesign-tradein up -d --force-recreate --no-deps browser`. Verify: egress-проба через BROWSER_PROXY_YANDEX → 200.

lekss361 commented

2026-06-27 07:54:44 +00:00

Owner

РЕШЕНО 2026-06-27 07:54 UTC. Владелец выдал новый yandex-прокси (тот же модем 501129, переехал на новый host:port), применил + verified end-to-end.

Новый endpoint: aup.mobileproxy.space:1079 (http) / :1080 (socks5), creds те же (WBxLwP:...), tele2 Междуреченск, до 15-07-2026.
backend/.env.runtime обновлён (sed): BROWSER_PROXY_YANDEX=http://...@aup.mobileproxy.space:1079, YANDEX_PROXY_URL=socks5://...@aup.mobileproxy.space:1080. YANDEX_PROXY_ROTATE_URL НЕ менял — changeip-ключ 03eabcdc... работает с новым endpoint (proxy_id 501129 тот же, проверено: changeip→200 new_ip).
tradein-browser recreate'нут.
Verified: TCP 1079/1080 OPEN; http+socks5 ipify→200 (91.149.99.175); yandex realty→200 4.4MB captcha=НЕТ INITIAL_STATE=есть; реальный yandex_city_sweep run 422 → running, total_seen=80, new_count=13 (собирает); browser /fetch→200 ×5.

yandex detail/address/newbuilding enrichment разблокированы — подхватятся scheduler'ом по окнам (прокси теперь живой). Можно закрывать. Refs #974.

**РЕШЕНО 2026-06-27 07:54 UTC.** Владелец выдал новый yandex-прокси (тот же модем 501129, переехал на новый host:port), применил + verified end-to-end. - Новый endpoint: `aup.mobileproxy.space:1079` (http) / `:1080` (socks5), creds те же (`WBxLwP:...`), tele2 Междуреченск, до 15-07-2026. - `backend/.env.runtime` обновлён (sed): `BROWSER_PROXY_YANDEX=http://...@aup.mobileproxy.space:1079`, `YANDEX_PROXY_URL=socks5://...@aup.mobileproxy.space:1080`. `YANDEX_PROXY_ROTATE_URL` НЕ менял — changeip-ключ `03eabcdc...` работает с новым endpoint (proxy_id 501129 тот же, проверено: changeip→200 new_ip). - `tradein-browser` recreate'нут. - **Verified**: TCP 1079/1080 OPEN; http+socks5 ipify→200 (91.149.99.175); yandex realty→200 4.4MB captcha=НЕТ INITIAL_STATE=есть; реальный `yandex_city_sweep` run 422 → **running, total_seen=80, new_count=13** (собирает); browser `/fetch`→200 ×5. yandex detail/address/newbuilding enrichment разблокированы — подхватятся scheduler'ом по окнам (прокси теперь живой). Можно закрывать. Refs #974.