#2638 - [ВЛАДЕЛЬЦУ] Один рабочий прокси на три источника — 37 из 53 банов от исчерпания пула, а не от площадок - lekss361/gendesign

lekss361 commented

2026-08-02 14:38:16 +00:00

Owner

Итог измерения по вопросу «как уменьшить баны и продлить жизнь прокси». Требует решения владельца, потому что упирается в деньги.

Состояние пула прямо сейчас

id  label                  affinity   enabled  fails
 1  asocks-residential-1   domclick   да        0     ← зарезервирован под Домклик
 9  asocks-mobile-1        any        НЕТ      10     ← мёртв
10  asocks-mobile-2        any        да        0     ← ЕДИНСТВЕННЫЙ рабочий
11  asocks-mobile-3        any        НЕТ      10     ← мёртв

Узлы 9 и 11 умерли окончательно: самовосстановление (#2609) исправно переопрашивает их каждый час, и они честно не отвечают (connection refused / 502). Это не ложное отключение — они действительно нерабочие.

Итого: один узел на Авито, Циан и Яндекс.

Как это порождает баны

Аренда узла эксклюзивная (leased_by, FOR UPDATE SKIP LOCKED). Когда развёртки трёх источников пересекаются во времени, узел достаётся одному, остальные получают None — и падают на переменную окружения, а она мертва (#2613). Результат — browser unavailable (proxy may be down), записывается как banned.

Раскладка 53 банов за 14 дней (все Авито, у Циана/Яндекса/Домклика ноль):

причина	прогонов	статус
пула не было в коде вовсе (полные загрузки)	16	✅ исправлено, PR #2637 в проде
пул был, но узел занят/мёртв → падение на env	37	⛔ нужен второй рабочий узел
настоящая блокировка площадкой	1	—

То есть после #2637 останется около 37 банов, и они упрутся не в код, а в ёмкость.

Что уже сделано, чтобы обойтись малым

Срезана нагрузка (#2633, в проде): полная загрузка Циана давала 90% всех запросов — замедлена вчетверо и переведена на трёхдневный такт; выключены задачи с нулевым выходом; областные развёртки на трёхдневном такте.
Прошит пул в Авито (#2637, в проде).
Отказ вместо хода через мёртвый прокси (#2634, открыт) — превращает молчаливый бан в честную ошибку.

После этих мер суточный объём падает в разы, и одному узлу станет легче. Но эксклюзивная аренда при трёх источниках всё равно оставляет окна, когда двое из трёх остаются без прокси.

Решение за владельцем

Вариант А — восстановить два мёртвых порта ASocks. Узлы 9 и 11 куплены, но не отвечают. Возможно, порты нужно пересоздать в кабинете или они деактивированы. Это самый дешёвый путь: вернёт пул к трём рабочим узлам без новых трат.

Вариант Б — докупить узлы. По измерению достаточно 3-4 рабочих «общих» узла, чтобы три источника не конкурировали. ⚠️ Но сначала нужна привязка узла к прогону (см. ниже), иначе добавление узлов сделает хуже.

Вариант В — ничего не покупать, принять, что часть прогонов будет пропускаться. После срезания нагрузки это может оказаться приемлемым — увидим по данным за несколько дней.

⚠️ Техническое предусловие перед покупкой

Выдача узлов идёт по принципу «давно не использованный» (ORDER BY last_ok_at NULLS LAST). При двух и более живых узлах это заставит браузер перезапускаться при каждой смене прокси (+5-10 секунд к запросу). Нужна привязка узла к прогону на всё время прогона. Без неё расширение пула ухудшит ситуацию, а не улучшит.

Это отдельная небольшая задача, и её надо сделать до, а не после покупки.

Отдельно: токен ASocks

ASOCKS_API_TOKEN на проде не задан, ротаций за месяц — ноль (scrape_proxy_rotations пуста). Механизм ротации построен и отревьюен (#2611), но вызывать его нечем. При живом токене доступно 12 ротаций в сутки (4 порта × 3) — этого хватит на текущую частоту реальных банов с запасом, но только после того, как баны станут распознаваться (#2625).

Связано: #2600, #2609, #2611, #2613, #2625, #2633, #2634, #2637.

Итог измерения по вопросу «как уменьшить баны и продлить жизнь прокси». Требует решения владельца, потому что упирается в деньги. ## Состояние пула прямо сейчас ``` id label affinity enabled fails 1 asocks-residential-1 domclick да 0 ← зарезервирован под Домклик 9 asocks-mobile-1 any НЕТ 10 ← мёртв 10 asocks-mobile-2 any да 0 ← ЕДИНСТВЕННЫЙ рабочий 11 asocks-mobile-3 any НЕТ 10 ← мёртв ``` Узлы 9 и 11 умерли окончательно: самовосстановление (#2609) исправно переопрашивает их каждый час, и они честно не отвечают (connection refused / 502). Это не ложное отключение — они действительно нерабочие. **Итого: один узел на Авито, Циан и Яндекс.** ## Как это порождает баны Аренда узла эксклюзивная (`leased_by`, `FOR UPDATE SKIP LOCKED`). Когда развёртки трёх источников пересекаются во времени, узел достаётся одному, остальные получают `None` — и падают на переменную окружения, а она мертва (#2613). Результат — `browser unavailable (proxy may be down)`, записывается как `banned`. Раскладка 53 банов за 14 дней (**все Авито**, у Циана/Яндекса/Домклика ноль): | причина | прогонов | статус | |---|---|---| | пула не было в коде вовсе (полные загрузки) | **16** | ✅ исправлено, PR #2637 в проде | | пул был, но узел занят/мёртв → падение на env | **37** | ⛔ нужен второй рабочий узел | | настоящая блокировка площадкой | **1** | — | То есть после #2637 останется около 37 банов, и они упрутся не в код, а в ёмкость. ## Что уже сделано, чтобы обойтись малым - Срезана нагрузка (#2633, в проде): полная загрузка Циана давала 90% всех запросов — замедлена вчетверо и переведена на трёхдневный такт; выключены задачи с нулевым выходом; областные развёртки на трёхдневном такте. - Прошит пул в Авито (#2637, в проде). - Отказ вместо хода через мёртвый прокси (#2634, открыт) — превращает молчаливый бан в честную ошибку. После этих мер суточный объём падает в разы, и одному узлу станет легче. Но эксклюзивная аренда при трёх источниках всё равно оставляет окна, когда двое из трёх остаются без прокси. ## Решение за владельцем **Вариант А — восстановить два мёртвых порта ASocks.** Узлы 9 и 11 куплены, но не отвечают. Возможно, порты нужно пересоздать в кабинете или они деактивированы. Это самый дешёвый путь: вернёт пул к трём рабочим узлам без новых трат. **Вариант Б — докупить узлы.** По измерению достаточно 3-4 рабочих «общих» узла, чтобы три источника не конкурировали. ⚠️ Но сначала нужна привязка узла к прогону (см. ниже), иначе добавление узлов сделает хуже. **Вариант В — ничего не покупать**, принять, что часть прогонов будет пропускаться. После срезания нагрузки это может оказаться приемлемым — увидим по данным за несколько дней. ## ⚠️ Техническое предусловие перед покупкой Выдача узлов идёт по принципу «давно не использованный» (`ORDER BY last_ok_at NULLS LAST`). При двух и более живых узлах это заставит браузер перезапускаться при каждой смене прокси (+5-10 секунд к запросу). Нужна привязка узла к прогону на всё время прогона. Без неё расширение пула ухудшит ситуацию, а не улучшит. Это отдельная небольшая задача, и её надо сделать до, а не после покупки. ## Отдельно: токен ASocks `ASOCKS_API_TOKEN` на проде не задан, ротаций за месяц — **ноль** (`scrape_proxy_rotations` пуста). Механизм ротации построен и отревьюен (#2611), но вызывать его нечем. При живом токене доступно 12 ротаций в сутки (4 порта × 3) — этого хватит на текущую частоту реальных банов с запасом, но только после того, как баны станут распознаваться (#2625). Связано: #2600, #2609, #2611, #2613, #2625, #2633, #2634, #2637.

lekss361 commented

2026-08-02 16:13:32 +00:00

Author

Owner

Владелец ротировал все порты — результат проверен пробой

прокси	до ротации	после	вывод
id 1 `asocks-residential-1`	жив, 45.140.53.215	жив, 45.147.168.89	адрес сменился, работает
id 10 `asocks-mobile-2`	жив	жив, 2.15.167.217	работает
id 11 `asocks-mobile-3`	мёртв (502), выключен, 11 фейлов	ЖИВ, 136.169.169.152	ожил ротацией
id 9 `asocks-mobile-1`	мёртв (connection refused)	по-прежнему connection refused	ротация не помогла

id 11 включён вручную сразу после пробы (самовосстановление вернуло бы его в течение часа, но ждать незачем).

Пул сейчас

 1  asocks-residential-1   domclick   вкл   0 фейлов
 9  asocks-mobile-1        any        ВЫКЛ  12 фейлов   ← требует внимания
10  asocks-mobile-2        any        вкл   0 фейлов
11  asocks-mobile-3        any        вкл   0 фейлов

Общих узлов стало два вместо одного — для Авито, Циана и Яндекса это вдвое меньше конкуренции за аренду. С учётом того, что суточный объём срезан миграцией 206 (полная загрузка Циана давала 90% запросов, теперь вчетверо медленнее и раз в трое суток), нагрузка на узел падает кратно.

Что осталось по id 9

Connection refused — это отказ на уровне соединения, а не авторизации: порт не слушает вообще. Ротация IP такого не лечит. Варианты: порт деактивирован в кабинете, истёк, либо требует пересоздания. Стоит посмотреть его состояние в личном кабинете ASocks — если он оплачен, но не отвечает, это вопрос к поддержке провайдера.

Для сравнения: у мёртвых mobileproxy-узлов была другая картина — 407 Proxy Authentication Required, то есть порт отвечал, но не принимал учётные данные (закрытая подписка). Здесь порт молчит.

Прогноз

Ожидаю снижения банов из двух источников сразу:

#2637 (в проде) — 16 прогонов полных загрузок Авито получили пул;
второй общий узел — часть из 37 прогонов, падавших при исчерпании пула, теперь получит прокси.

Проверю по scrape_runs за следующие сутки. Если баны не исчезнут — значит остаётся третья причина, которую пока не видели, и её надо будет искать отдельно.

## Владелец ротировал все порты — результат проверен пробой | прокси | до ротации | после | вывод | |---|---|---|---| | id 1 `asocks-residential-1` | жив, 45.140.53.215 | жив, **45.147.168.89** | адрес сменился, работает | | id 10 `asocks-mobile-2` | жив | жив, **2.15.167.217** | работает | | **id 11 `asocks-mobile-3`** | мёртв (502), выключен, 11 фейлов | **ЖИВ, 136.169.169.152** | **ожил ротацией** | | id 9 `asocks-mobile-1` | мёртв (connection refused) | **по-прежнему connection refused** | ротация не помогла | id 11 включён вручную сразу после пробы (самовосстановление вернуло бы его в течение часа, но ждать незачем). ## Пул сейчас ``` 1 asocks-residential-1 domclick вкл 0 фейлов 9 asocks-mobile-1 any ВЫКЛ 12 фейлов ← требует внимания 10 asocks-mobile-2 any вкл 0 фейлов 11 asocks-mobile-3 any вкл 0 фейлов ``` **Общих узлов стало два вместо одного** — для Авито, Циана и Яндекса это вдвое меньше конкуренции за аренду. С учётом того, что суточный объём срезан миграцией 206 (полная загрузка Циана давала 90% запросов, теперь вчетверо медленнее и раз в трое суток), нагрузка на узел падает кратно. ## Что осталось по id 9 `Connection refused` — это отказ на уровне соединения, а не авторизации: порт не слушает вообще. Ротация IP такого не лечит. Варианты: порт деактивирован в кабинете, истёк, либо требует пересоздания. **Стоит посмотреть его состояние в личном кабинете ASocks** — если он оплачен, но не отвечает, это вопрос к поддержке провайдера. Для сравнения: у мёртвых mobileproxy-узлов была другая картина — `407 Proxy Authentication Required`, то есть порт отвечал, но не принимал учётные данные (закрытая подписка). Здесь порт молчит. ## Прогноз Ожидаю снижения банов из двух источников сразу: 1. #2637 (в проде) — 16 прогонов полных загрузок Авито получили пул; 2. второй общий узел — часть из 37 прогонов, падавших при исчерпании пула, теперь получит прокси. Проверю по `scrape_runs` за следующие сутки. Если баны не исчезнут — значит остаётся третья причина, которую пока не видели, и её надо будет искать отдельно.

lekss361 commented

2026-08-02 16:24:34 +00:00

Author

Owner

✅ Пул восстановлен полностью — владелец обновил последний порт

asocks-mobile-1 (id 9) ожил после пересоздания в кабинете. Проверено пробой: отвечает с exit-адреса 5.227.7.15, по прежнему адресу подключения 190.2.145.131:10313 — то есть учётные данные в базе менять не потребовалось. Включён вручную.

Состояние пула

 1  asocks-residential-1   domclick   вкл   0 фейлов   exit 45.147.168.89
 9  asocks-mobile-1        any        вкл   0 фейлов   exit 5.227.7.15
10  asocks-mobile-2        any        вкл   0 фейлов   exit 2.15.167.217
11  asocks-mobile-3        any        вкл   0 фейлов   exit 136.169.169.152

4 из 4 живы. Для Авито, Циана и Яндекса доступно 3 узла (проверено тем же запросом, что делает acquire()), против одного сегодня утром.

Вариант А из этого issue закрыт

Восстановление оказалось самым дешёвым путём, как и предполагалось: ротация вылечила id 11, пересоздание порта — id 9. Покупать ничего не потребовалось.

Диагностическое наблюдение на будущее: два мёртвых узла требовали разного лечения, и различить их можно было по симптому.

id 11 отдавал 502 Bad Gateway — порт слушал, но канал за ним был сломан → вылечила ротация IP;
id 9 отдавал Connection refused — порт не слушал вообще → потребовалось пересоздание;
для сравнения, мёртвые mobileproxy отдают 407 Proxy Authentication Required — порт живой, учётные данные отвергнуты → закрытая подписка, не лечится ничем со стороны кода.

Стоит зафиксировать это как памятку: по тексту ошибки пробы сразу видно, что делать.

Что теперь ожидается

Три причины банов устранены одновременно:

Полные загрузки Авито получили пул (#2637, в проде) — снимает 16 прогонов из 53.
Общих узлов стало 3 вместо 1 — снимает большую часть из оставшихся 37, где пул исчерпывался.
Суточный объём срезан кратно (#2633, в проде): полная загрузка Циана давала 90% всех запросов, теперь вчетверо медленнее и раз в трое суток.

Проверю по scrape_runs за сутки. Ожидание: банов должно остаться единицы (напомню, настоящая блокировка площадкой среди 53 была одна).

⚠️ Предусловие перед любым расширением пула остаётся в силе

Теперь, когда живых узлов три, актуализируется проблема из исходного разбора: acquire() выдаёт узлы по принципу «давно не использованный» (ORDER BY last_ok_at NULLS LAST), из-за чего браузер будет перезапускаться при каждой смене прокси между запросами (+5-10 с). Нужна привязка узла к прогону на всё время прогона. Раньше это было теоретическим соображением при одном узле — теперь становится практическим.

Завожу отдельной задачей.

## ✅ Пул восстановлен полностью — владелец обновил последний порт `asocks-mobile-1` (id 9) ожил после пересоздания в кабинете. Проверено пробой: отвечает с exit-адреса `5.227.7.15`, **по прежнему адресу подключения** `190.2.145.131:10313` — то есть учётные данные в базе менять не потребовалось. Включён вручную. ### Состояние пула ``` 1 asocks-residential-1 domclick вкл 0 фейлов exit 45.147.168.89 9 asocks-mobile-1 any вкл 0 фейлов exit 5.227.7.15 10 asocks-mobile-2 any вкл 0 фейлов exit 2.15.167.217 11 asocks-mobile-3 any вкл 0 фейлов exit 136.169.169.152 ``` **4 из 4 живы. Для Авито, Циана и Яндекса доступно 3 узла** (проверено тем же запросом, что делает `acquire()`), против одного сегодня утром. ### Вариант А из этого issue закрыт Восстановление оказалось самым дешёвым путём, как и предполагалось: ротация вылечила id 11, пересоздание порта — id 9. Покупать ничего не потребовалось. Диагностическое наблюдение на будущее: **два мёртвых узла требовали разного лечения, и различить их можно было по симптому.** - id 11 отдавал `502 Bad Gateway` — порт слушал, но канал за ним был сломан → вылечила **ротация IP**; - id 9 отдавал `Connection refused` — порт не слушал вообще → потребовалось **пересоздание**; - для сравнения, мёртвые mobileproxy отдают `407 Proxy Authentication Required` — порт живой, учётные данные отвергнуты → **закрытая подписка**, не лечится ничем со стороны кода. Стоит зафиксировать это как памятку: по тексту ошибки пробы сразу видно, что делать. ### Что теперь ожидается Три причины банов устранены одновременно: 1. Полные загрузки Авито получили пул (#2637, в проде) — снимает 16 прогонов из 53. 2. Общих узлов стало 3 вместо 1 — снимает большую часть из оставшихся 37, где пул исчерпывался. 3. Суточный объём срезан кратно (#2633, в проде): полная загрузка Циана давала 90% всех запросов, теперь вчетверо медленнее и раз в трое суток. Проверю по `scrape_runs` за сутки. Ожидание: банов должно остаться единицы (напомню, настоящая блокировка площадкой среди 53 была **одна**). ### ⚠️ Предусловие перед любым расширением пула остаётся в силе Теперь, когда живых узлов три, актуализируется проблема из исходного разбора: `acquire()` выдаёт узлы по принципу «давно не использованный» (`ORDER BY last_ok_at NULLS LAST`), из-за чего браузер будет перезапускаться при каждой смене прокси между запросами (+5-10 с). **Нужна привязка узла к прогону на всё время прогона.** Раньше это было теоретическим соображением при одном узле — теперь становится практическим. Завожу отдельной задачей.

Rows
Columns

[ВЛАДЕЛЬЦУ] Один рабочий прокси на три источника — 37 из 53 банов от исчерпания пула, а не от площадок #2638

Состояние пула прямо сейчас

Как это порождает баны

Что уже сделано, чтобы обойтись малым

Решение за владельцем

⚠️ Техническое предусловие перед покупкой

Отдельно: токен ASocks

Владелец ротировал все порты — результат проверен пробой

Пул сейчас

Что осталось по id 9

Прогноз

✅ Пул восстановлен полностью — владелец обновил последний порт

Состояние пула

Вариант А из этого issue закрыт

Что теперь ожидается

⚠️ Предусловие перед любым расширением пула остаётся в силе

Сегодняшняя ночь как конкретный аргумент: три источника делят один деградирующий узел

Почему это аргумент именно за ротацию, а не за «купить ещё узлов»

Побочное следствие, важное для эпика #2674

Поправка: пример с новостройками к этой задаче НЕ относится — я ошибся

Что остаётся верным в этой задаче