diff --git a/tradein-mvp/backend/app/api/v1/admin.py b/tradein-mvp/backend/app/api/v1/admin.py index aa3abd64..96a3aa33 100644 --- a/tradein-mvp/backend/app/api/v1/admin.py +++ b/tradein-mvp/backend/app/api/v1/admin.py @@ -63,6 +63,7 @@ from scraper_kit.providers.yandex.detail import YandexDetailScraper from scraper_kit.providers.yandex.newbuilding import YandexNewbuildingScraper from scraper_kit.providers.yandex.serp import YandexRealtyScraper from scraper_kit.providers.yandex.valuation import YandexValuationScraper +from scraper_kit.proxy_errors import NoProxyAvailableError from sqlalchemy import text from sqlalchemy.orm import Session @@ -516,16 +517,13 @@ async def cian_auto_login( ) try: - # #3197 (хвост): через фабрику (endpoint/environment из одного места), но - # НАМЕРЕННО без proxy_provider. `/login` сайдкара proxy-override не принимает - # (browser/server.py:2814-2817 — `_no_live_proxy(provider, None)`; и сам - # `_post_login` не кладёт payload["proxy"], это делают только fetch/fetch_json) — - # логин идёт с env-узла сайдкара. Аренда здесь была бы холостой и при пустом пуле - # блокировала бы ручку восстановления (`_acquire_lease` → NoProxyAvailableError → - # 502 ровно во время инцидента с пулом). Пул для логина — отдельная задача сайдкара. - # `use_pool` без провайдера фетчер игнорирует (`_acquire_lease`: use_pool AND - # provider is not None), поэтому передавать его тут безвредно, но и бесполезно. - async with build_browser_fetcher(RealScraperConfig(), "cian") as fetcher: + # #3410: логин идёт через узел пула, как debug-карточка DomClick ниже. `/login` + # сайдкара принимает proxy в теле, `BrowserFetcher.login` кладёт туда узел аренды. + # До этого (#3197) провайдер сюда не передавали, и логин шёл с env-узла сайдкара — + # на проде это выключенный узел 9, camoufox `InvalidIP`, ручка не работала вовсе. + async with build_browser_fetcher( + RealScraperConfig(), "cian", proxy_provider=_kit_proxy_provider() + ) as fetcher: raw_cookies = await fetcher.login( url=settings.cian_login_url, email=email, @@ -537,6 +535,13 @@ async def cian_auto_login( pre_click_selectors=settings.cian_login_pre_click_selectors, wait_ms=settings.cian_login_wait_ms, ) + except NoProxyAvailableError as exc: + # Пул пуст для cian (прод, #2616): на мёртвый env-узел не идём, говорим прямо. + logger.warning("cian auto-login: пул прокси пуст для cian — логин не запускался") + raise HTTPException( + status_code=503, + detail="Нет свободного узла прокси для cian в пуле — логин не запускался", + ) from exc except Exception as exc: logger.error("cian auto-login failed: %s", type(exc).__name__) raise HTTPException( diff --git a/tradein-mvp/backend/tests/test_3197_admin_debug_browser_pool_wiring.py b/tradein-mvp/backend/tests/test_3197_admin_debug_browser_pool_wiring.py index ba6f2586..3a2b22bc 100644 --- a/tradein-mvp/backend/tests/test_3197_admin_debug_browser_pool_wiring.py +++ b/tradein-mvp/backend/tests/test_3197_admin_debug_browser_pool_wiring.py @@ -1,8 +1,7 @@ -"""#3197 (хвост) — две служебные ручки admin.py и пул прокси: одна чинится, вторая НЕТ. +"""#3197 (хвост) + #3410 — две служебные ручки admin.py подключают пул прокси. -`POST /admin/scrape/domclick/debug/detail-fetch` — **настоящий фикс**. Он ходит через -`BrowserFetcher.fetch`, а `fetch`/`fetch_json` — единственные методы, которые кладут -`payload["proxy"]` в тело POST /fetch сайдкара, и сайдкар этот override читает +`POST /admin/scrape/domclick/debug/detail-fetch` ходит через `BrowserFetcher.fetch`, который +кладёт `payload["proxy"]` в тело POST /fetch сайдкара, а сайдкар этот override читает (`_resolve_proxy_override` → `_ensure_browser(provider, proxy_override=...)`). Прямая конструкция `BrowserFetcher(source=, endpoint=)` не проставляла `proxy_provider`/`use_pool`/`environment` — без них сайдкар брал свой env-узел @@ -10,17 +9,11 @@ прод-отказ «пул пуст → не ходить на мёртвый env» (#2616) тут был мёртв: он смотрит на `environment`, который до конструктора не доезжал. Тест меряет ЗНАЧЕНИЯ kwargs. -`POST /admin/scrape/cian/auto-login` — **намеренно без пула**, и это проверяется обратными -по значению утверждениями. Логин идёт не через `fetch`, а через `login` → `_post_login`, -который `payload["proxy"]` не кладёт вовсе; на приёме `login_handler` -(`browser/server.py:2814-2817`) зовёт `_no_live_proxy(provider, None)` и -`_ensure_browser(provider)` без override — то есть **сайдкар на `/login` proxy-override не -принимает** и логинится с env-узла при любом теле запроса. Аренда на этом пути была бы -холостой (взяли в `__aenter__`, отпустили в `__aexit__`, health-вердикта по узлу нет), а -при пустом пуле в production `_acquire_lease` поднимает `NoProxyAvailableError` ДО POST — -и единственная ручка ВОССТАНОВЛЕНИЯ сессии отдавала бы `502 Browser login failed` ровно во -время инцидента с пулом. Поэтому здесь `proxy_provider` не передаётся (фабрика остаётся -ради endpoint/environment из одного места); пул для логина — отдельная задача сайдкара. +`POST /admin/scrape/cian/auto-login` (#3410) — до правки намеренно без пула: `/login` +сайдкара proxy-override не принимал, `_post_login` его не клал, и логин шёл с того же +мёртвого env-узла при любом теле. Теперь `/login` берёт proxy из тела, `login()` кладёт +туда узел аренды, а ручка передаёт провайдер. Пустой пул на проде — честный 503 «нет +узла для cian», а не 502 «Browser login failed» и не заход на мёртвый env-узел. Подделка ставится и на `scraper_kit.providers._base.BrowserFetcher` (путь через фабрику), и на `app.api.v1.admin.BrowserFetcher` (прямая конструкция, как было до #3197, `create=True` — @@ -81,17 +74,20 @@ class _RealLeaseFetcher(BrowserFetcher): """ captured: ClassVar[list[dict[str, Any]]] = [] + login_proxy: ClassVar[list[str | None]] = [] def __init__(self, **kwargs: Any) -> None: _RealLeaseFetcher.captured.append(kwargs) super().__init__(**kwargs) async def login(self, **_kwargs: Any) -> dict[str, str]: + # Узел, который настоящий login() положил бы в тело /login (см. его код). + _RealLeaseFetcher.login_proxy.append(self._current_proxy()[0]) return {name: "v" for name in cian_session_svc.CIAN_REQUIRED_COOKIES} class _SpyProvider: - """Пустой пул + спай: `acquire` пишет вызовы в ClassVar и всегда отдаёт None. + """Спай пула: `acquire` пишет вызовы в ClassVar и отдаёт `lease` (None — пул пуст). ClassVar, а не поле инстанса: `_kit_proxy_provider()` конструирует провайдер сам, и «ни разу не позвали» должно покрывать в том числе «даже не создали». @@ -99,10 +95,11 @@ class _SpyProvider: acquired: ClassVar[list[str]] = [] released: ClassVar[list[int]] = [] + lease: ClassVar[ProxyLease | None] = None def acquire(self, provider: str) -> ProxyLease | None: _SpyProvider.acquired.append(provider) - return None + return _SpyProvider.lease def release(self, lease: ProxyLease) -> None: _SpyProvider.released.append(lease.id) @@ -124,8 +121,10 @@ def _pool_on(monkeypatch: pytest.MonkeyPatch) -> None: monkeypatch.setattr(admin, "RealProxyProvider", _SpyProvider) _CapturingFetcher.captured = [] _RealLeaseFetcher.captured = [] + _RealLeaseFetcher.login_proxy = [] _SpyProvider.acquired = [] _SpyProvider.released = [] + _SpyProvider.lease = None def _cian_login_settings(monkeypatch: pytest.MonkeyPatch, *, use_pool: bool, env: str) -> None: @@ -149,13 +148,11 @@ def _patched_cian_login(stack: ExitStack, fetcher_cls: type) -> None: stack.enter_context(patch.object(cian_session_svc, "save_session", MagicMock())) -@pytest.mark.parametrize(("use_pool", "environment"), [(True, "production"), (False, "dev")]) @pytest.mark.usefixtures("_pool_on") -async def test_cian_auto_login_does_not_lease_from_pool( - monkeypatch: pytest.MonkeyPatch, use_pool: bool, environment: str -) -> None: - """Логин пул НЕ арендует: сайдкар на `/login` proxy-override не берёт (см. докстринг).""" - _cian_login_settings(monkeypatch, use_pool=use_pool, env=environment) +async def test_cian_auto_login_logs_in_through_pool_lease(monkeypatch: pytest.MonkeyPatch) -> None: + """#3410: прод + узел в пуле → логин идёт через него, аренда отпускается.""" + _cian_login_settings(monkeypatch, use_pool=True, env="production") + _SpyProvider.lease = ProxyLease(id=13, url="http://u:p@pool:8080", kind="http") with ExitStack() as stack: _patched_cian_login(stack, _RealLeaseFetcher) @@ -165,8 +162,12 @@ async def test_cian_auto_login_does_not_lease_from_pool( assert len(_RealLeaseFetcher.captured) == 1, "ручка обязана построить ровно один фетчер" kwargs = _RealLeaseFetcher.captured[0] # .get(), а не [] — красное должно читаться как «значение не то», а не KeyError. - assert kwargs.get("proxy_provider") is None, "аренда на /login холостая — провайдер не нужен" - assert _SpyProvider.acquired == [], "lease взят впустую (сайдкар его всё равно не увидит)" + assert kwargs.get("proxy_provider") is not None, "без провайдера логин идёт с env-узла" + assert kwargs.get("use_pool") is True + assert kwargs.get("environment") == "production" + assert _SpyProvider.acquired == ["cian"] + assert _RealLeaseFetcher.login_proxy == ["http://u:p@pool:8080"] + assert _SpyProvider.released == [13], "аренда логина не должна течь" # endpoint из фабрики не должен потеряться (#2322: без него TypeError). from app.core.config import settings @@ -174,28 +175,40 @@ async def test_cian_auto_login_does_not_lease_from_pool( @pytest.mark.usefixtures("_pool_on") -async def test_cian_auto_login_survives_empty_pool_in_production( +async def test_cian_auto_login_empty_pool_in_production_is_honest_503( monkeypatch: pytest.MonkeyPatch, ) -> None: - """Пустой пул на проде НЕ ломает ручку восстановления сессии (нет ложного 502). + """Пустой пул на проде → 503 «нет узла для cian», логин не запускается. - Ровно тот сценарий, ради которого пул отсюда убран: `_acquire_lease` при - `use_pool + provider + production + пустой пул` поднимает `NoProxyAvailableError`, - `cian_auto_login` ловит любое `Exception` и отдаёт `502 Browser login failed` — то - есть инцидент с пулом закрывал бы единственный способ переполучить cian-сессию, - хотя логину пул не нужен (сайдкар proxy-override на `/login` не принимает). + Не 502 «Browser login failed» (читается как сломанные селекторы/креды) и не заход на + env-узел сайдкара (#2616: на проде он мёртв). """ _cian_login_settings(monkeypatch, use_pool=True, env="production") with ExitStack() as stack: _patched_cian_login(stack, _RealLeaseFetcher) - try: - result = await admin.cian_auto_login(db=MagicMock(), body=None) - except HTTPException as exc: - # pytest.fail, а не re-raise: красное должно называть статус и detail. - pytest.fail(f"пустой пул уронил ручку восстановления: {exc.status_code} {exc.detail}") + with pytest.raises(HTTPException) as exc_info: + await admin.cian_auto_login(db=MagicMock(), body=None) - assert result["ok"] is True and result["userId"] == 7 + assert (exc_info.value.status_code, "пул" in str(exc_info.value.detail)) == (503, True) + assert _SpyProvider.acquired == ["cian"] + assert _RealLeaseFetcher.login_proxy == [], "логин без узла запускаться не должен" + + +@pytest.mark.usefixtures("_pool_on") +async def test_cian_auto_login_dev_without_browser_pool_uses_env( + monkeypatch: pytest.MonkeyPatch, +) -> None: + """dev + browser-пул выключен → аренды нет, логин без proxy в теле (env сайдкара).""" + _cian_login_settings(monkeypatch, use_pool=False, env="dev") + + with ExitStack() as stack: + _patched_cian_login(stack, _RealLeaseFetcher) + result = await admin.cian_auto_login(db=MagicMock(), body=None) + + assert result["ok"] is True + assert _SpyProvider.acquired == [] + assert _RealLeaseFetcher.login_proxy == [None] @pytest.mark.parametrize(("use_pool", "environment"), [(True, "production"), (False, "dev")]) diff --git a/tradein-mvp/backend/tests/test_kit_browser_fetcher_proxy_pool.py b/tradein-mvp/backend/tests/test_kit_browser_fetcher_proxy_pool.py index 6c19c9e5..81a3e8f9 100644 --- a/tradein-mvp/backend/tests/test_kit_browser_fetcher_proxy_pool.py +++ b/tradein-mvp/backend/tests/test_kit_browser_fetcher_proxy_pool.py @@ -640,3 +640,36 @@ async def test_report_ban_does_not_release_or_rotate_lease() -> None: assert provider.released == [] assert bf._lease is not None assert bf._lease.id == 5 + + +# ── #3410: /login несёт узел аренды, как /fetch ──────────────────────────────── + + +@pytest.mark.parametrize("use_pool", [True, False]) +async def test_login_body_carries_lease_proxy(use_pool: bool) -> None: + """Аренда есть → в теле /login тот же proxy/proxy_kind, что ушёл бы в /fetch; нет → без.""" + provider = _FakeProxyProvider(ProxyLease(id=13, url="http://u:p@pool:8080", kind="http")) + client = _mock_client({"cookies": [{"name": "DMIR_AUTH", "value": "v"}]}) + bf = await _fetcher(client, source="cian", proxy_provider=provider, use_pool=use_pool) + + cookies = await bf.login( + url="https://www.cian.ru/authenticate/", + email="a@b.c", + password="pw", + email_selector="#e", + password_selector="#p", + submit_selector="#s", + success_cookie="DMIR_AUTH", + ) + await bf.__aexit__(None, None, None) + + assert cookies == {"DMIR_AUTH": "v"} + url_called = client.post.call_args.args[0] + body = client.post.call_args.kwargs["json"] + assert url_called == "http://browser:3000/login" + if use_pool: + assert (body.get("proxy"), body.get("proxy_kind")) == ("http://u:p@pool:8080", "http") + assert provider.released == [13] + else: + assert "proxy" not in body and "proxy_kind" not in body + assert provider.acquired == [] diff --git a/tradein-mvp/browser/server.py b/tradein-mvp/browser/server.py index 6e22b0a5..42a3bb6b 100644 --- a/tradein-mvp/browser/server.py +++ b/tradein-mvp/browser/server.py @@ -2822,12 +2822,16 @@ async def login_handler(request: web.Request) -> web.Response: return web.json_response({"error": f"missing required fields: {missing}"}, status=400) provider = _resolve_provider(body, body["url"]) + # #3410: прокси из пула в теле — как у /fetch. Без него логин шёл только с env-узла + # сайдкара (на проде — выключенный узел, InvalidIP), и ручка восстановления сессии + # не работала при живом пуле. relaunch при смене прокси — внутри _ensure_browser. + proxy_override = _resolve_proxy_override(body, provider) - # #2616 шаг 1: см. fetch_handler — прод + нет env-прокси (login override не берёт) → + # #2616 шаг 1: см. fetch_handler — прод + нет НИ override, НИ env-прокси → # отказ, не direct-IP. - if IS_PROD and _no_live_proxy(provider, None): + if IS_PROD and _no_live_proxy(provider, proxy_override): logger.warning( - "tradein-browser[%s]: /login отказ — нет env-прокси (prod) — " + "tradein-browser[%s]: /login отказ — нет прокси в теле и нет env-прокси (prod) — " "не подключаемся напрямую с IP сервера (#2616)", provider, ) @@ -2839,7 +2843,7 @@ async def login_handler(request: web.Request) -> web.Response: async with lock: # Та же resilience что и в /fetch: браузер мог не подняться (прокси лежал). # Lazy-попытка, иначе 503 — без прокси не логинимся. - if not await _ensure_browser(provider): + if not await _ensure_browser(provider, proxy_override=proxy_override): logger.warning( "tradein-browser[%s]: /login 503 — браузер недоступен (proxy may be down)", provider, diff --git a/tradein-mvp/browser/test_server_no_proxy_refusal.py b/tradein-mvp/browser/test_server_no_proxy_refusal.py index b74321ec..c000152a 100644 --- a/tradein-mvp/browser/test_server_no_proxy_refusal.py +++ b/tradein-mvp/browser/test_server_no_proxy_refusal.py @@ -267,6 +267,52 @@ def test_fetch_handler_prod_with_body_override_unaffected(monkeypatch: pytest.Mo assert calls == [("avito", "http://pool:8080")] +_LOGIN_BODY: dict[str, Any] = { + "url": "https://www.cian.ru/login", + "email": "a@b.ru", + "password": "x", + "email_selector": "#e", + "password_selector": "#p", + "submit_selector": "#s", + "success_cookie": "sid", +} + + +@pytest.mark.parametrize( + ("extra", "expected_override"), + [({"proxy": "http://pool:8080", "proxy_kind": "http"}, "http://pool:8080"), ({}, None)], +) +def test_login_handler_prod_uses_body_proxy( + monkeypatch: pytest.MonkeyPatch, extra: dict[str, Any], expected_override: str | None +) -> None: + """#3410: /login берёт прокси из тела, как /fetch; без него — прежний env-путь. + + С прокси в теле и БЕЗ env-прокси прод-guard не отказывает (узел пула есть), а + браузер поднимается ровно с этим узлом. Без прокси в теле, но с env — override None. + """ + monkeypatch.setattr(server, "IS_PROD", True) + if not extra: + monkeypatch.setenv("SCRAPER_PROXY_URL", "http://env:8080") + calls: list[tuple[str, str | None]] = [] + + async def _ensure(provider: str, proxy_override: str | None = None) -> bool: + calls.append((provider, proxy_override)) + return True + + async def _fake_do_login(provider: str, params: dict[str, Any]) -> list[dict[str, Any]]: + return [{"name": "sid", "value": "1"}] + + monkeypatch.setattr(server, "_ensure_browser", _ensure) + monkeypatch.setattr(server, "_do_login", _fake_do_login) + + response = asyncio.run( + server.login_handler(_make_request("/login", {**_LOGIN_BODY, **extra})) + ) + + assert response.status == 200 + assert calls == [("cian", expected_override)] + + # ── распознаваемость: отказ ≠ "browser unavailable (proxy may be down)" ──────── diff --git a/tradein-mvp/packages/scraper-kit/src/scraper_kit/browser_fetcher.py b/tradein-mvp/packages/scraper-kit/src/scraper_kit/browser_fetcher.py index a2587ab2..afdcc228 100644 --- a/tradein-mvp/packages/scraper-kit/src/scraper_kit/browser_fetcher.py +++ b/tradein-mvp/packages/scraper-kit/src/scraper_kit/browser_fetcher.py @@ -656,6 +656,13 @@ class BrowserFetcher: } if wait_ms is not None: body["wait_ms"] = wait_ms + # #3410: узел аренды — в тело /login, как в _post_fetch. Без него сайдкар логинился + # с env-узла при любой аренде. + proxy_url, proxy_kind = self._current_proxy() + if proxy_url: + body["proxy"] = proxy_url + if proxy_kind: + body["proxy_kind"] = proxy_kind try: return await self._post_login(body) diff --git a/tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/_base.py b/tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/_base.py index f78c0bdb..b21b8aa4 100644 --- a/tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/_base.py +++ b/tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/_base.py @@ -212,13 +212,10 @@ def build_browser_fetcher( Служебные ручки `app/api/v1/admin.py` (cian-login, domclick-detail-debug) были последними прямыми конструкциями мимо фабрики — переведены сюда же (#3197 хвост); прямые конструкции в `orchestration/pipeline.py` и в backfill-задачах пул получают - своими kwargs. Живой `proxy_provider=None` остался ровно один — cian-login: сайдкар - на `/login` proxy-override не берёт (`browser/server.py::login_handler` → - `_no_live_proxy(provider, None)`, а `_post_login` не кладёт `payload["proxy"]`), так - что аренда там была бы холостой, а на проде при пустом пуле роняла бы ручку - восстановления в 502. `use_pool` при `proxy_provider is None` игнорируется - `BrowserFetcher` (`_acquire_lease`: `use_pool AND provider is not None`) — ни аренды, - ни прод-отказа, поведение как до фабрики. + своими kwargs. cian-login тоже с провайдером (#3410): сайдкар на `/login` берёт proxy + из тела, `BrowserFetcher.login` кладёт туда узел аренды. `use_pool` при + `proxy_provider is None` игнорируется `BrowserFetcher` (`_acquire_lease`: + `use_pool AND provider is not None`) — ни аренды, ни прод-отказа. `fetch_timeout_s=None` (дефолт) → используется дефолт `BrowserFetcher` (120s). Явный таймаут передаёт ровно один call-site — `yandex/serp.py` (30s);