lekss361/gendesign

Fork 0

Скрапперы A2: четыре точки ходят мимо пула прокси, и тёплый контекст сайдкара ключуется по провайдеру, а не по узлу #3197

New issue

Closed

opened 2026-08-28 19:17:25 +00:00 by lekss361 · 3 comments

lekss361 commented

2026-08-28 19:17:25 +00:00

Owner

Второй шаг унификации. Две правки, которые обязаны ехать одним PR — по отдельности вторая делает первую опасной.

Часть 1: обход пула прокси

BrowserFetcher имеет use_pool=False и proxy_provider=None дефолтом. Кто конструирует его короткой формой — молча идёт мимо пула из четырёх узлов, через единственный статический SCRAPER_PROXY_URL (сейчас это ASocks mobile-1, узел id=9). У Авито этот же класс бага уже чинили отдельно в #3045.

Точки, ходящие мимо пула (проверено grep'ом 28.08):

tradein-mvp/backend/app/tasks/cian_history_backfill.py:136
tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/yandex/newbuilding.py:189
tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/yandex/newbuilding.py:385
tradein-mvp/backend/app/tasks/domclick_detail_backfill.py:283

(admin.py:702 — debug-ручка, её можно оставить как есть или подключить заодно.)

Подключать по одной точке, с суточной паузой между ними: смена egress меняет профиль трафика, и если что-то поедет — надо понимать, у кого именно.

Часть 2: ключ тёплого контекста

В #3193 сайдкар получил переиспользуемый браузерный контекст, и он ключуется по провайдеру. Пока ДомКлик ходит мимо пула, это безвредно — узел всё равно один.

Но как только часть 1 подключит пул, аренда узла начнёт меняться между прогонами и внутри прогона (осознанная ротация после N провалов). Тёплый контекст при этом переживёт смену узла, и куки, установленные с одного exit-IP, поедут с другого. Это ровно тот рассинхрон отпечатка, который защита читает как подмену.

Варианты: ключевать контекст по provider + proxy_node_id, либо сбрасывать контекст при смене аренды. Второй проще и переиспользует уже готовый механизм сброса из #3193.

Заодно у контекста сейчас нет ни TTL, ни потолка числа — тёплый контекст живёт, пока живёт браузер. Стоит ограничить.

Приёмка

В scrape_proxies растёт использование всех четырёх узлов, а не одного id=9.
Нет прогонов, где после смены аренды идёт серия блоков подряд.
NoProxyAvailableError при исчерпании пула отрабатывает штатно на всех подключённых точках (у ДомКлика обработчик появился в #3118, у остальных проверить).

Границы

Не трогать: детект блока и ban_kind (это A1, #3196), чекпоинты, логику сессий. Ротацию exit-IP через rotate_url тоже не сюда — у провайдера лимит 3 в сутки, это отдельный разговор (#3171).

Часть плана унификации скрапперов (шаг A2). Refs #3190, #3193, #3045, #3171

Второй шаг унификации. Две правки, которые **обязаны ехать одним PR** — по отдельности вторая делает первую опасной. ## Часть 1: обход пула прокси `BrowserFetcher` имеет `use_pool=False` и `proxy_provider=None` **дефолтом**. Кто конструирует его короткой формой — молча идёт мимо пула из четырёх узлов, через единственный статический `SCRAPER_PROXY_URL` (сейчас это ASocks mobile-1, узел id=9). У Авито этот же класс бага уже чинили отдельно в #3045. Точки, ходящие мимо пула (проверено grep'ом 28.08): - `tradein-mvp/backend/app/tasks/cian_history_backfill.py:136` - `tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/yandex/newbuilding.py:189` - `tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/yandex/newbuilding.py:385` - `tradein-mvp/backend/app/tasks/domclick_detail_backfill.py:283` (`admin.py:702` — debug-ручка, её можно оставить как есть или подключить заодно.) Подключать **по одной точке, с суточной паузой между ними**: смена egress меняет профиль трафика, и если что-то поедет — надо понимать, у кого именно. ## Часть 2: ключ тёплого контекста В #3193 сайдкар получил переиспользуемый браузерный контекст, и он ключуется **по провайдеру**. Пока ДомКлик ходит мимо пула, это безвредно — узел всё равно один. Но как только часть 1 подключит пул, аренда узла начнёт меняться между прогонами и внутри прогона (осознанная ротация после N провалов). Тёплый контекст при этом переживёт смену узла, и куки, установленные с одного exit-IP, поедут с другого. Это ровно тот рассинхрон отпечатка, который защита читает как подмену. Варианты: ключевать контекст по `provider + proxy_node_id`, либо сбрасывать контекст при смене аренды. Второй проще и переиспользует уже готовый механизм сброса из #3193. Заодно у контекста сейчас нет ни TTL, ни потолка числа — тёплый контекст живёт, пока живёт браузер. Стоит ограничить. ## Приёмка - В `scrape_proxies` растёт использование всех четырёх узлов, а не одного id=9. - Нет прогонов, где после смены аренды идёт серия блоков подряд. - `NoProxyAvailableError` при исчерпании пула отрабатывает штатно на всех подключённых точках (у ДомКлика обработчик появился в #3118, у остальных проверить). ## Границы Не трогать: детект блока и `ban_kind` (это A1, #3196), чекпоинты, логику сессий. Ротацию exit-IP через `rotate_url` тоже не сюда — у провайдера лимит 3 в сутки, это отдельный разговор (#3171). Часть плана унификации скрапперов (шаг A2). Refs #3190, #3193, #3045, #3171

lekss361 added the

labels 2026-08-28 19:17:33 +00:00

lekss361 referenced this issue

2026-08-28 19:17:57 +00:00

Домклик detail: сайдкар даёт чистый контекст на каждый запрос, мы реплеим протухший qrator_jsid2 — отсюда «одна карточка и стена» #3190

lekss361 referenced this issue

2026-08-29 09:20:25 +00:00

fix(tradein/domclick): 401 — тот же отказ площадки, что 403, а классифицировался как unknown (#3196) #3204

lekss361 referenced this issue

2026-08-29 09:58:51 +00:00

tradein/domclick: площадка отдаёт одну карточку на экземпляр браузера — перезапускать camoufox после каждой страницы #3205

bot-backend referenced this issue from a commit

2026-08-29 12:28:57 +00:00

fix(tradein/domclick): backfill ходил в сайдкар мимо прокси-пула (#3197 ч.1)

lekss361 referenced this issue

2026-08-29 12:29:25 +00:00

fix(tradein/domclick): detail-бэкфилл ходил в сайдкар мимо прокси-пула (#3197 ч.1) #3222

bot-backend referenced this issue from a commit

2026-08-29 12:41:12 +00:00

test(tradein/domclick): второй assert_called_once_with на конструкторе (#3197 ч.1)

bot-backend referenced this issue from a commit

2026-08-29 12:46:44 +00:00

Merge pull request 'fix(tradein/domclick): detail-бэкфилл ходил в сайдкар мимо прокси-пула (#3197 ч.1)' (#3222) from fix/3197-domclick-backfill-proxy-pool into main

Light1YT referenced this issue from a commit

2026-09-05 21:27:16 +00:00

fix(tradein/cian): суточный бэкфилл истории — в прокси-пул, а не в env-прокси (#3197)

bot-backend referenced this issue

2026-09-05 21:30:01 +00:00

fix(tradein/cian): cian_history_backfill идёт через пул прокси + стоп на пустом пуле (#3197, точка 1 из 3) #3382

bot-backend referenced this issue

2026-09-05 21:47:39 +00:00

tradein: «пул пуст на старте батча» у cian/domclick detail-бэкфиллов уходит мимо no_proxy_stop — scheduler пишет failed со стухшими counters #3384

Light1YT referenced this issue from a commit

2026-09-05 22:06:50 +00:00

fix(#3197): пустой пул пробрасывается из cian fetch_detail; тест через настоящий fetch_detail

bot-backend referenced this issue

2026-09-05 22:10:39 +00:00

tradein-backend без USE_PROXY_POOL_* — браузерные скрейпы из backend (yandex full-load, админ-ручки) идут на SCRAPER_PROXY_URL = выключенный узел 9 (407) → camoufox InvalidIP, 83 провала … #3386

bot-backend commented

2026-09-05 22:11:35 +00:00

Collaborator

Точка 1 (cian_history_backfill) — PR #3382 (после доработки по ревью: пустой пул пробрасывается из общей cian/detail.py::fetch_detail, тест через настоящий fetch_detail). domclick_detail_backfill.py:403 из списка issue уже на пуле (образец), список устарел.

Важное для точек 2-3 (yandex/newbuilding.py:189/385): прод-разбор 06.09 (#3386) показал, что env-фолбэк SCRAPER_PROXY_URL, на котором они сидят, — выключенный узел 9 пула (407); camoufox падает InvalidIP, т.е. эти точки сейчас не «идут мимо пула», а не работают вовсе. И шире: у процесса tradein-backend флагов USE_PROXY_POOL_* нет совсем (только у scraper), так что подключение точки к пулу помогает только там, где путь исполняется в scraper-контейнере. Сначала #3386, потом точки 2-3.

Точка 1 (`cian_history_backfill`) — PR #3382 (после доработки по ревью: пустой пул пробрасывается из общей `cian/detail.py::fetch_detail`, тест через настоящий `fetch_detail`). `domclick_detail_backfill.py:403` из списка issue уже на пуле (образец), список устарел. Важное для точек 2-3 (`yandex/newbuilding.py:189/385`): прод-разбор 06.09 (#3386) показал, что env-фолбэк `SCRAPER_PROXY_URL`, на котором они сидят, — **выключенный узел 9 пула (407)**; camoufox падает `InvalidIP`, т.е. эти точки сейчас не «идут мимо пула», а не работают вовсе. И шире: у процесса `tradein-backend` флагов `USE_PROXY_POOL_*` нет совсем (только у scraper), так что подключение точки к пулу помогает только там, где путь исполняется в scraper-контейнере. Сначала #3386, потом точки 2-3.

bot-backend referenced this issue from a commit

2026-09-05 22:13:11 +00:00

Merge pull request 'fix(tradein/cian): cian_history_backfill идёт через пул прокси + стоп на пустом пуле (#3197, точка 1 из 3)' (#3382) from fix/3197-cian-history-backfill-proxy-pool into main

bot-backend commented

2026-09-05 22:22:16 +00:00

Collaborator

PR #3382 смержен и задеплоен (06.09 ~22:50 UTC, BUILD_SHA=b21b1a9 в backend и scraper; маркер caused_by_no_proxy в scraper_kit/providers/cian/detail.py контейнера scraper — есть, в старой сборке не было).

Критерий приёмки (событийный, до 13.09): первый cian_history_backfill после деплоя — в логе сайдкара docker logs tradein-browser | grep 'tradein-browser\[cian\]' строка прокси изменился (override=True) — relaunch перед fetch (или запуск с override без InvalidIP) в окне прогона; до правки Циан proxy в теле /fetch не слал. Плюс: прогон при пустом пуле обязан быть status='failed' + counters.no_proxy_stop=1, не banned. Отрицательный контроль: в логах за сутки до деплоя таких строк для cian нет.

PR #3382 смержен и задеплоен (06.09 ~22:50 UTC, `BUILD_SHA=b21b1a9` в backend и scraper; маркер `caused_by_no_proxy` в `scraper_kit/providers/cian/detail.py` контейнера scraper — есть, в старой сборке не было). **Критерий приёмки (событийный, до 13.09):** первый `cian_history_backfill` после деплоя — в логе **сайдкара** `docker logs tradein-browser | grep 'tradein-browser\[cian\]'` строка `прокси изменился (override=True) — relaunch перед fetch` (или запуск с override без InvalidIP) в окне прогона; до правки Циан `proxy` в теле `/fetch` не слал. Плюс: прогон при пустом пуле обязан быть `status='failed'` + `counters.no_proxy_stop=1`, не `banned`. Отрицательный контроль: в логах за сутки до деплоя таких строк для cian нет.

Light1YT referenced this issue from a commit

2026-09-06 00:55:46 +00:00

fix(#3197): yandex newbuilding — обе точки в пул прокси + стоп на пустом пуле

bot-backend referenced this issue

2026-09-06 00:57:04 +00:00

fix(tradein/yandex): newbuilding resolve/fetch_jk через пул прокси + стоп на пустом пуле (#3197, точки 2-3) #3389

Light1YT referenced this issue from a commit

2026-09-06 01:27:50 +00:00

fix(#3197): no_proxy_stop=1 как у соседей, INFO на финале хендлера, докстринг фабрики

bot-backend referenced this issue from a commit

2026-09-06 02:24:46 +00:00

Merge pull request 'fix(tradein/yandex): newbuilding resolve/fetch_jk через пул прокси + стоп на пустом пуле (#3197, точки 2-3)' (#3389) from fix/3197-yandex-newbuilding-proxy-pool into main

bot-backend commented

2026-09-06 02:40:20 +00:00

Collaborator

Точки 2-3 (PR #3389) смержены и задеплоены (07.09 ~01:50 UTC, BUILD_SHA=3fe2d31 в backend и scraper; маркер build_browser_fetcher в providers/yandex/newbuilding.py контейнера scraper — 4 вхождения, в старой сборке 0). Из списка issue не подключена только debug-ручка admin.py:702 (и :511 cian-login).

Критерий приёмки (событийный): yandex_newbuilding_sweep 07.09 03:58 UTC — в логе сайдкара [yandex] … override=True (старый путь proxy в теле не слал), InvalidIP за окно = 0, в counters succeeded > 0; обратное направление — при пустом пуле failed + no_proxy_stop=1 после одного дома, не done после limit.

Точки 2-3 (PR #3389) смержены и задеплоены (07.09 ~01:50 UTC, `BUILD_SHA=3fe2d31` в backend и scraper; маркер `build_browser_fetcher` в `providers/yandex/newbuilding.py` контейнера scraper — 4 вхождения, в старой сборке 0). Из списка issue не подключена только debug-ручка `admin.py:702` (и `:511` cian-login). **Критерий приёмки (событийный):** `yandex_newbuilding_sweep` **07.09 03:58 UTC** — в логе сайдкара `[yandex] … override=True` (старый путь `proxy` в теле не слал), `InvalidIP` за окно = 0, в counters `succeeded > 0`; обратное направление — при пустом пуле `failed` + `no_proxy_stop=1` после одного дома, не `done` после `limit`.

bot-backend referenced this issue

2026-09-06 04:28:26 +00:00

tradein/cian: фаза houses у cian_city_sweep падает 0/30 с 02.09 — fetch_newbuilding зовётся без proxy_provider → env-фолбэк на мёртвый узел 9 → сайдкар 503 #3394

Light1YT referenced this issue from a commit

2026-09-06 12:22:58 +00:00

chore(tradein/proxy): последние две ручки admin.py — через фабрику фетчера; снят форс pool-режима у cian-history (#3197, #3386)

bot-backend referenced this issue from a pull request that will close it,

2026-09-06 12:24:26 +00:00

chore(tradein): последние обходы пула прокси — admin cian-login/domclick-debug через фабрику; снят костыль _PoolCurlConfig (#3197, #3386) #3409

bot-backend referenced this issue

2026-09-06 12:32:06 +00:00

tradein/browser: /login сайдкара не принимает proxy-override — cian auto-login всегда идёт с env-узла сайдкара (сейчас выключенный узел 9 → InvalidIP) #3410