tradein-mvp/backend/app/services/scrapers/avito.py

@@ -437,11 +437,9 @@ class AvitoScraper(BaseScraper):
                 return html
         assert self._cffi is not None
         max_rot = settings.avito_proxy_max_rotations if settings.avito_proxy_rotate_url else 0
-        # curl_cffi-сессия всегда egress через settings.scraper_proxy_url (backconnect
+        # backconnect-режим: прокси задан, но changeip-URL нет → ротация exit-IP
-        # mproxy). Пересоздание сессии (_reset_cffi) даёт свежий exit-IP вне зависимости
+        # делается пересозданием соединения, а не changeip-вызовом.
-        # от наличия changeip-URL (тот относится к ДРУГОМУ, browser/auv-прокси). Поэтому
+        backconnect = bool(settings.scraper_proxy_url) and not settings.avito_proxy_rotate_url
-        # reconnect-retry гейтим ТОЛЬКО на наличие proxy, не на отсутствие rotate_url.
-        backconnect = bool(settings.scraper_proxy_url)
         rot_done = 0
         transient_left = 2
         r429 = 0

tradein-mvp/backend/tests/scrapers/test_avito_403_backconnect_reconnect.py

@@ -5,10 +5,8 @@
 mark_banned. Каждое новое соединение через backconnect даёт свежий exit-IP, поэтому
 ретраим пересозданием curl_cffi-сессии до _AVITO_403_MAX_RETRIES раз.
 
-curl_cffi-сессия всегда egress через scraper_proxy_url (backconnect mproxy), поэтому
+backconnect = scraper_proxy_url задан И avito_proxy_rotate_url НЕ задан. Включаем через
-reconnect-retry гейтим ТОЛЬКО на наличие proxy — независимо от того, задан ли changeip-URL
+scraper_proxy_url_env (scraper_proxy_url — read-only property, его не monkeypatch'ишь).
-(тот относится к ДРУГОМУ, browser/auv-прокси). Включаем через scraper_proxy_url_env
-(scraper_proxy_url — read-only property, его не monkeypatch'ишь).
 """
 
 from unittest.mock import AsyncMock, MagicMock, patch
@@ -138,15 +136,13 @@ async def test_backconnect_403_exhausted_raises_blocked(
 
 
 @pytest.mark.asyncio
-async def test_reconnect_fires_even_when_rotate_url_set(
+async def test_non_backconnect_with_rotate_url_no_reconnect_path(
     monkeypatch: pytest.MonkeyPatch,
 ) -> None:
-    """Прод-конфиг run-212 регрессия: scraper_proxy_url + leftover avito_proxy_rotate_url +
+    """rotate_url задан → backconnect=False → одиночный 403 (max_rotations=0) raise сразу.
-    max_rotations=0 → reconnect-retry ВСЁ РАВНО срабатывает (gate только на наличие proxy).
 
-    changeip-URL относится к ДРУГОМУ (auv/browser) прокси; curl_cffi egress через
+    Новая reconnect-ветка должна быть выключена когда есть changeip-URL: legacy
-    scraper_proxy_url, поэтому пересоздание сессии меняет exit-IP независимо от changeip.
+    single-IP mobile-proxy путь без изменений.
-    С max_rotations=0 changeip-путь — no-op, fallback-reconnect снимает 403.
     """
     monkeypatch.setattr(
         avito_mod.settings, "avito_proxy_rotate_url", "https://changeip.example/?proxy_key=x"
@@ -158,63 +154,18 @@ async def test_reconnect_fires_even_when_rotate_url_set(
     r403 = MagicMock()
     r403.status_code = 403
     r403.text = ""
-    ok = MagicMock()
-    ok.status_code = 200
-    ok.text = _CARD_HTML
     mock_session = AsyncMock()
-    mock_session.get = AsyncMock(side_effect=[r403, r403, ok])
+    mock_session.get = AsyncMock(return_value=r403)
     scraper._cffi = mock_session
 
     reset = AsyncMock()
     with (
         patch("app.services.scrapers.avito.asyncio.sleep", AsyncMock()),
         patch.object(AvitoScraper, "_reset_cffi", reset),
-        patch.object(AvitoScraper, "_rotate_ip", AsyncMock(return_value=True)) as rot,
+        patch.object(AvitoScraper, "_rotate_ip", AsyncMock(return_value=True)),
     ):
-        html = await scraper._fetch_serp_html("https://www.avito.ru/x", page=1)
+        with pytest.raises(AvitoBlockedError):
+            await scraper._fetch_serp_html("https://www.avito.ru/x", page=1)
 
-    assert html == _CARD_HTML  # 403→403→200 снят reconnect'ом, нет raise
+    reset.assert_not_awaited()  # reconnect-ветка выключена при наличии rotate_url
-    assert reset.await_count == 2  # reconnect сработал несмотря на rotate_url
+    assert mock_session.get.await_count == 1  # немедленный raise
-    rot.assert_not_awaited()  # max_rotations=0 → changeip-путь не дёргается
-    assert mock_session.get.await_count == 3
-
-
-@pytest.mark.asyncio
-async def test_changeip_path_tried_first_when_rotations_available(
-    monkeypatch: pytest.MonkeyPatch,
-) -> None:
-    """changeip precedence: scraper_proxy_url + rotate_url + max_rotations=1 → на 403
-    changeip-ротация пробуется ПЕРЕД reconnect-fallback.
-
-    Гарантирует, что новый gate не сломал приоритет legacy changeip-пути.
-    """
-    monkeypatch.setattr(
-        avito_mod.settings, "avito_proxy_rotate_url", "https://changeip.example/?proxy_key=x"
-    )
-    monkeypatch.setattr(avito_mod.settings, "avito_proxy_max_rotations", 1)
-    monkeypatch.setattr(avito_mod.settings, "scraper_proxy_url_env", "http://u:p@mproxy.site:14619")
-
-    scraper = AvitoScraper()
-    r403 = MagicMock()
-    r403.status_code = 403
-    r403.text = ""
-    ok = MagicMock()
-    ok.status_code = 200
-    ok.text = _CARD_HTML
-    mock_session = AsyncMock()
-    mock_session.get = AsyncMock(side_effect=[r403, ok])
-    scraper._cffi = mock_session
-
-    reset = AsyncMock()
-    rot = AsyncMock(return_value=True)
-    with (
-        patch("app.services.scrapers.avito.asyncio.sleep", AsyncMock()),
-        patch.object(AvitoScraper, "_reset_cffi", reset),
-        patch.object(AvitoScraper, "_rotate_ip", rot),
-    ):
-        html = await scraper._fetch_serp_html("https://www.avito.ru/x", page=1)
-
-    assert html == _CARD_HTML
-    rot.assert_awaited_once()  # changeip-путь использован первым на 403
-    reset.assert_not_awaited()  # до reconnect-fallback не дошло
-    assert mock_session.get.await_count == 2