lekss361/gendesign
1
0
Fork 0
Code Issues 143 Pull requests Projects Releases Packages Wiki Activity Actions

tradein: прокси-пул — здоровье глобальное, бан на одном источнике выбрасывает прокси отовсюду (и обычно не засчитывается) #2600

New issue
Closed
opened 2026-07-31 20:28:02 +00:00 by lekss361 · 5 comments
lekss361 commented 2026-07-31 20:28:02 +00:00
Owner
Copy link

Поднято владельцем 2026-07-31: «если прокси забанен на Авито — почему не отдать его Яндексу, а Авито дать тот, что работал у Яндекса». Разбор показал: такой логики нет, а имеющаяся работает в противоположную сторону.

Код читан на forgejo/main @ a596caf5, прод-данные — tradein-postgres на 20:00.

Как устроено сейчас

Пул есть и в проде включён (USE_PROXY_POOL_CURL=true, USE_PROXY_POOL_BROWSER=true), таблица scrape_proxies, сервис app/services/proxy_pool.py.

  1. provider_affinity статическая. Значения avito/cian/yandex/domclick/generic/any заданы, но ни одного UPDATE ... provider_affinity в коде нет — только ручной админский bulk_upsert_proxies (app/api/v1/admin.py:2702). Система сама прокси не переназначает.

  2. Здоровье — один общий счётчик. acquire() фильтрует глобально: enabled AND consecutive_fails < 3. Засчитанный бан выкидывает прокси из всех источников сразу, а не понижает для одного — противоположность запрошенному.

  3. Но бан обычно не засчитывается. Мягкий бан Авито — страница-заглушка «Доступ ограничен: проблема с IP» с HTTP 200 (providers/avito/serp.py:224), не 403. В browser_fetcher.py::_pool_proxy и providers/_proxy.py::curl_proxy_url ok=False ставится только если из блока вылетело исключение, а raise_for_status() проверяет ответ нашего tradein-browser, не Авито. Бан распознаётся позже, при разборе HTML — вне контекст-менеджера. Забаненный прокси получает mark_health(ok=True), счётчик сбрасывается в 0, его выдают снова.

  4. Счётчик крутит только ipify-проба run_proxy_healthcheck (расписание id 142, раз в 30 мин). Она берёт WHERE enabled → после авто-disable на 5 фейлах прокси больше не проверяется и сам не возвращается. Храповик в одну сторону.

Прод

Из 8 прокси 5 выключены с consecutive_fails=5. Живых три: id 1 (affinity domclick), id 10 и 11 (affinity any). Авито, Циан и Яндекс делят два прокси при эксклюзивной аренде (leased_by, FOR UPDATE SKIP LOCKED) — третий источник при параллельных прогонах остаётся без прокси.

Фолбэк воскрешает приговорённых: при пустом acquire() код берёт env-прокси, а это ровно выключенные узлы —

env узел в пуле
AVITO_PROXY_URL ard.mobileproxy.space:1055 id 4, выключен, 5 фейлов
CIAN_PROXY_URL ha.mobileproxy.space:2014 id 2, выключен, 5 фейлов
YANDEX_PROXY_URL aup.mobileproxy.space:1080 id 5, выключен, 5 фейлов

Отсюда 8 прогонов banned за 48 часов. asocks-mobile-1 был жив в 16:38 и к 20:00 выключен с 5 фейлами — парк расходуется прямо сейчас.

Что делать

Порядок важен, п.1 — предусловие п.2.

  1. Довести сигнал бана до пула. Точка распознавания заглушки в serp.py знает породившую её аренду, но пулу не сообщает. Без этого учить пул нечему.
  2. Здоровье по паре «прокси + источник» — таблица с banned_until на пару, acquire(provider) фильтрует по ней. Бан на Авито понижает прокси только для Авито, для Яндекса он остаётся первосортным. Это и есть запрошенное поведение.
  3. Фолбэк не должен брать выключенные узлы — при пустом пуле предпочесть здоровый прокси чужой affinity, а не приговорённый env-узел.
  4. Авто-восстановление — проверять и выключенные, реже, включать обратно при успехе. Иначе убыль монотонна: 5 из 8 уже потеряны.

Ротация IP по бану — отдельный рычаг, ждёт номера портов ASocks (у asocks-узлов rotate_url пуст, у mobileproxy заполнен; лимит 3 ротации в сутки на порт).

Дробление: п.1+3 — один PR без новой схемы, даёт эффект сразу. п.2 — отдельный PR с миграцией. п.4 — мелкий, к п.1.

Связано: #2161, #2162, #2163, #2164.

Поднято владельцем 2026-07-31: «если прокси забанен на Авито — почему не отдать его Яндексу, а Авито дать тот, что работал у Яндекса». Разбор показал: такой логики нет, а имеющаяся работает в противоположную сторону. Код читан на `forgejo/main` @ `a596caf5`, прод-данные — `tradein-postgres` на 20:00. ## Как устроено сейчас Пул есть и в проде включён (`USE_PROXY_POOL_CURL=true`, `USE_PROXY_POOL_BROWSER=true`), таблица `scrape_proxies`, сервис `app/services/proxy_pool.py`. 1. **`provider_affinity` статическая.** Значения `avito/cian/yandex/domclick/generic/any` заданы, но ни одного `UPDATE ... provider_affinity` в коде нет — только ручной админский `bulk_upsert_proxies` (`app/api/v1/admin.py:2702`). Система сама прокси не переназначает. 2. **Здоровье — один общий счётчик.** `acquire()` фильтрует глобально: `enabled AND consecutive_fails < 3`. Засчитанный бан выкидывает прокси **из всех источников сразу**, а не понижает для одного — противоположность запрошенному. 3. **Но бан обычно не засчитывается.** Мягкий бан Авито — страница-заглушка «Доступ ограничен: проблема с IP» с HTTP 200 (`providers/avito/serp.py:224`), не 403. В `browser_fetcher.py::_pool_proxy` и `providers/_proxy.py::curl_proxy_url` `ok=False` ставится только если из блока вылетело исключение, а `raise_for_status()` проверяет ответ нашего `tradein-browser`, не Авито. Бан распознаётся позже, при разборе HTML — вне контекст-менеджера. Забаненный прокси получает `mark_health(ok=True)`, счётчик сбрасывается в 0, его выдают снова. 4. **Счётчик крутит только ipify-проба** `run_proxy_healthcheck` (расписание id 142, раз в 30 мин). Она берёт `WHERE enabled` → после авто-disable на 5 фейлах прокси больше не проверяется и сам не возвращается. Храповик в одну сторону. ## Прод Из 8 прокси **5 выключены** с `consecutive_fails=5`. Живых три: id 1 (affinity `domclick`), id 10 и 11 (affinity `any`). Авито, Циан и Яндекс делят **два** прокси при эксклюзивной аренде (`leased_by`, `FOR UPDATE SKIP LOCKED`) — третий источник при параллельных прогонах остаётся без прокси. Фолбэк воскрешает приговорённых: при пустом `acquire()` код берёт env-прокси, а это ровно выключенные узлы — | env | узел | в пуле | |---|---|---| | `AVITO_PROXY_URL` | `ard.mobileproxy.space:1055` | id 4, выключен, 5 фейлов | | `CIAN_PROXY_URL` | `ha.mobileproxy.space:2014` | id 2, выключен, 5 фейлов | | `YANDEX_PROXY_URL` | `aup.mobileproxy.space:1080` | id 5, выключен, 5 фейлов | Отсюда 8 прогонов `banned` за 48 часов. `asocks-mobile-1` был жив в 16:38 и к 20:00 выключен с 5 фейлами — парк расходуется прямо сейчас. ## Что делать Порядок важен, п.1 — предусловие п.2. 1. **Довести сигнал бана до пула.** Точка распознавания заглушки в `serp.py` знает породившую её аренду, но пулу не сообщает. Без этого учить пул нечему. 2. **Здоровье по паре «прокси + источник»** — таблица с `banned_until` на пару, `acquire(provider)` фильтрует по ней. Бан на Авито понижает прокси только для Авито, для Яндекса он остаётся первосортным. Это и есть запрошенное поведение. 3. **Фолбэк не должен брать выключенные узлы** — при пустом пуле предпочесть здоровый прокси чужой affinity, а не приговорённый env-узел. 4. **Авто-восстановление** — проверять и выключенные, реже, включать обратно при успехе. Иначе убыль монотонна: 5 из 8 уже потеряны. Ротация IP по бану — отдельный рычаг, ждёт номера портов ASocks (у asocks-узлов `rotate_url` пуст, у mobileproxy заполнен; лимит 3 ротации в сутки на порт). Дробление: п.1+3 — один PR без новой схемы, даёт эффект сразу. п.2 — отдельный PR с миграцией. п.4 — мелкий, к п.1. Связано: #2161, #2162, #2163, #2164.
lekss361 commented 2026-08-01 05:10:01 +00:00
Author
Owner
Copy link

Владелец прислал номера портов ASocks — блокер снят частично, плюс живая проба вскрыла, что состояние пула перевёрнуто относительно реальности.

Сопоставление портов

порт ASocks адрес запись в пуле
223610715 212.8.249.134:10423 id 1 asocks-residential-1 (affinity domclick)
225031312 190.2.145.131:10313 id 9 asocks-mobile-1
231878029 175.110.115.153:10492 id 10 asocks-mobile-2
231878030 109.236.82.42:11048 id 11 asocks-mobile-3

Лимит — 3 ротации в сутки на порт.

Эндпоинт: брать документированный, а не дашбордный

Присланный POST /unlimited-proxy/{id}/refresh-ip — ручка веб-кабинета, авторизуется сессией браузера. Проба с прода: 401 {"success":false,"message":"Unauthenticated"} (ротация не потрачена).

Для сервера годится документированный публичный API:

GET https://api.asocks.com/v2/proxy/refresh/{portId}?apiKey=КЛЮЧ
→ 200 {"success": true}   (коды 200/401/404)

Долгоживущий ключ вместо сессии. Ключ ещё нужен от владельца — в env прода (.env.runtime), не в коммит и не в колонку rotate_url.

🔴 Пул рассинхронизирован с реальностью — доказано пробой

Прогнал ipify через каждый прокси ASocks напрямую из tradein-scraper:

прокси состояние в пуле реальность
id 9 asocks-mobile-1 выключен, 5 фейлов работает, exit 5.227.31.243
id 11 asocks-mobile-3 выключен, 5 фейлов работает, exit 178.71.241.249
id 10 asocks-mobile-2 enabled, 0 фейлов 502 Bad Gateway
id 1 asocks-residential-1 enabled, 0 фейлов работает, exit 45.140.53.184

Единственный прокси, который пул считал здоровым, — сломан; два рабочих лежали выключенными. Это не гипотеза из первого разбора, а измеренный факт, и он подтверждает пункт 4 (авто-восстановление) как не менее важный, чем пункт 2.

Механика: run_proxy_healthcheck берёт WHERE enabled, поэтому после авто-disable на 5 фейлах узел больше не проверяется никогда. Транзиентный сбой становится вечным приговором.

Отдельно про скорость расхода: id 11 был enabled, 0 fails в 22:10 и disabled, 5 fails к 04:30 — сгорел за ночь на транзиентных ошибках, при этом физически исправен.

Сделано сейчас

UPDATE scrape_proxies SET enabled = true, consecutive_fails = 0 WHERE id IN (9, 11) — оба проверены живой пробой до включения. Пул: было 2 «здоровых» (из них 1 реально сломан), стало 4 (из них 3 реально рабочих). Для avito/cian/yandex доступных стало 3 вместо фактического нуля.

Это ручное лечение симптома, причина (пункт 4) не устранена.

Уточнение приоритетов

Пункт 4 (авто-восстановление) поднимается с «мелкий, к пункту 1» до самостоятельного и срочного: без него пул деградирует до нуля за считанные дни независимо от всего остального. Порядок теперь:

  1. Авто-восстановление — проверять и выключенных, реже; включать обратно при успехе. Плюс не считать транзиентную сетевую ошибку тем же, чем бан.
  2. Довести сигнал бана до пула — сейчас бан приходит страницей с кодом 200 и до mark_health не доходит.
  3. Фолбэк не должен брать выключенные узлы.
  4. Здоровье по паре «прокси + источник» — исходный запрос владельца; имеет смысл после 1-3.
  5. Ротация по бану через документированный эндпоинт, счётчик 3/сутки на порт, только на подтверждённый бан.
Владелец прислал номера портов ASocks — блокер снят частично, плюс живая проба вскрыла, что состояние пула **перевёрнуто относительно реальности**. ## Сопоставление портов | порт ASocks | адрес | запись в пуле | |---|---|---| | 223610715 | `212.8.249.134:10423` | id 1 `asocks-residential-1` (affinity `domclick`) | | 225031312 | `190.2.145.131:10313` | id 9 `asocks-mobile-1` | | 231878029 | `175.110.115.153:10492` | id 10 `asocks-mobile-2` | | 231878030 | `109.236.82.42:11048` | id 11 `asocks-mobile-3` | Лимит — 3 ротации в сутки на порт. ## Эндпоинт: брать документированный, а не дашбордный Присланный `POST /unlimited-proxy/{id}/refresh-ip` — ручка веб-кабинета, авторизуется сессией браузера. Проба с прода: **401 `{"success":false,"message":"Unauthenticated"}`** (ротация не потрачена). Для сервера годится документированный публичный API: ``` GET https://api.asocks.com/v2/proxy/refresh/{portId}?apiKey=КЛЮЧ → 200 {"success": true} (коды 200/401/404) ``` Долгоживущий ключ вместо сессии. **Ключ ещё нужен от владельца** — в env прода (`.env.runtime`), не в коммит и не в колонку `rotate_url`. ## 🔴 Пул рассинхронизирован с реальностью — доказано пробой Прогнал ipify через каждый прокси ASocks напрямую из `tradein-scraper`: | прокси | состояние в пуле | реальность | |---|---|---| | id 9 `asocks-mobile-1` | выключен, 5 фейлов | **работает**, exit 5.227.31.243 | | id 11 `asocks-mobile-3` | выключен, 5 фейлов | **работает**, exit 178.71.241.249 | | id 10 `asocks-mobile-2` | **enabled, 0 фейлов** | **502 Bad Gateway** | | id 1 `asocks-residential-1` | enabled, 0 фейлов | работает, exit 45.140.53.184 | Единственный прокси, который пул считал здоровым, — сломан; два рабочих лежали выключенными. Это не гипотеза из первого разбора, а измеренный факт, и он подтверждает пункт 4 (авто-восстановление) как не менее важный, чем пункт 2. Механика: `run_proxy_healthcheck` берёт `WHERE enabled`, поэтому после авто-disable на 5 фейлах узел больше не проверяется никогда. Транзиентный сбой становится вечным приговором. Отдельно про скорость расхода: id 11 был `enabled, 0 fails` в 22:10 и `disabled, 5 fails` к 04:30 — сгорел за ночь на транзиентных ошибках, при этом физически исправен. ## Сделано сейчас `UPDATE scrape_proxies SET enabled = true, consecutive_fails = 0 WHERE id IN (9, 11)` — оба проверены живой пробой до включения. Пул: было 2 «здоровых» (из них 1 реально сломан), стало 4 (из них 3 реально рабочих). Для avito/cian/yandex доступных стало 3 вместо фактического нуля. Это ручное лечение симптома, причина (пункт 4) не устранена. ## Уточнение приоритетов Пункт 4 (авто-восстановление) поднимается с «мелкий, к пункту 1» до **самостоятельного и срочного**: без него пул деградирует до нуля за считанные дни независимо от всего остального. Порядок теперь: 1. **Авто-восстановление** — проверять и выключенных, реже; включать обратно при успехе. Плюс не считать транзиентную сетевую ошибку тем же, чем бан. 2. **Довести сигнал бана до пула** — сейчас бан приходит страницей с кодом 200 и до `mark_health` не доходит. 3. **Фолбэк не должен брать выключенные узлы.** 4. **Здоровье по паре «прокси + источник»** — исходный запрос владельца; имеет смысл после 1-3. 5. **Ротация по бану** через документированный эндпоинт, счётчик 3/сутки на порт, только на подтверждённый бан.
lekss361 commented 2026-08-01 18:57:48 +00:00
Author
Owner
Copy link

Пункт 1 (авто-восстановление) и пункт 3 (голод при занятых своих узлах) закрыты — PR #2609 смержен (5b2d6807).

Что вошло

  • Проверка здоровья опрашивает теперь и выключенные узлы — реже (константа DISABLED_RECHECK_MINUTES = 60), и возвращает их в строй при успешной пробе. Счётчик revived в результате прогона. Это лечит первопричину: раньше выборка шла WHERE enabled, поэтому авто-выключенный узел не проверялся больше никогда.
  • acquire() при отсутствии свободных своих берёт узел чужой affinity вторым заходом, с предупреждением в лог.
  • Защита последнего узла выделенной affinity — добавлена после первого раунда ревью. Без неё голод не исчезал, а переезжал: domclick это ровно один выделенный узел (id 1), вырезанный из общего пула потому, что QRATOR банит всё, кроме этого чистого residential-адреса (обоснование в миграции 173_scrape_proxies_add_domclick_affinity.sql). Авито/Циан/Яндекс могли бы его забрать и оставить Домклик без прокси.
  • Тип сетевой ошибки классифицируется и попадает в лог. Полноценное разделение «транзиент против бана» не делалось — требует новой колонки, обосновано в PR.

Проверки, которые стоит отметить

Семантика блокировок проверена эмпирически, а не рассуждением: ревьюер держал открытую транзакцию с FOR UPDATE на одной строке и параллельной сессией пробовал FOR UPDATE NOWAIT на той, что видна только внутри коррелированного подзапроса — прошло мгновенно, тогда как на первой строке честно упало с ошибкой блокировки. Вывод: алиас подзапроса под внешний FOR UPDATE не попадает, патологии нет.

Фальсификация проведена подменой SQL напрямую в файле (а не через git — иначе получается бесполезная ошибка импорта константы): убрал условие защиты — тест упал; убрал enabled = true — упал тест реанимации.

Отдельно: автор сам нашёл и починил второй экземпляр методологической проблемы, на который я указал для первого — его собственный новый тест проходил бы и против незащищённого SQL, потому что мок реализовывал защиту в Python независимо от запроса. Тест проверял сам себя.

Мелкая находка, не блокер

proxy_pool.py:174-180 — «бэкап» в EXISTS-подзапросе засчитывается только по other.enabled, без учёта consecutive_fails. Сейчас не проявляется (у domclick ровно один узел, EXISTS честно даёт ноль). Но если у выделенной affinity появится второй узел и он окажется в карантине (3-4 фейла, ещё enabled, но acquire его уже не выдаёт), подзапрос сочтёт его валидным бэкапом и отдаст последний реально рабочий узел чужому провайдеру. Лечится одним условием AND other.consecutive_fails < CAST(:max_fails AS integer) — стоит закрыть при следующем касании файла.

Статус пунктов

  1. ✅ Авто-восстановление — сделано.
  2. ⬜ Довести сигнал бана до пула — не сделано, самый рискованный пункт (правка в горячем пути скрапера).
  3. ✅ Фолбэк не берёт выключенные + защита последнего узла — сделано.
  4. ⬜ Здоровье по паре «прокси + источник» — исходный запрос владельца, имеет смысл после пункта 2.
  5. 🔄 Ротация по бану — PR #2611 на глубоком ревью. Механизм и ручной запуск; автоматический триггер невозможен до пункта 2.

Плюс отдельно заведена #2610 — пул не отличает ручное выключение от авто-отключения.

Пункт 1 (авто-восстановление) и пункт 3 (голод при занятых своих узлах) закрыты — **PR #2609 смержен** (`5b2d6807`). ## Что вошло - Проверка здоровья опрашивает теперь и выключенные узлы — реже (константа `DISABLED_RECHECK_MINUTES = 60`), и возвращает их в строй при успешной пробе. Счётчик `revived` в результате прогона. Это лечит первопричину: раньше выборка шла `WHERE enabled`, поэтому авто-выключенный узел не проверялся больше никогда. - `acquire()` при отсутствии свободных своих берёт узел чужой affinity вторым заходом, с предупреждением в лог. - **Защита последнего узла выделенной affinity** — добавлена после первого раунда ревью. Без неё голод не исчезал, а переезжал: `domclick` это ровно один выделенный узел (id 1), вырезанный из общего пула потому, что QRATOR банит всё, кроме этого чистого residential-адреса (обоснование в миграции `173_scrape_proxies_add_domclick_affinity.sql`). Авито/Циан/Яндекс могли бы его забрать и оставить Домклик без прокси. - Тип сетевой ошибки классифицируется и попадает в лог. Полноценное разделение «транзиент против бана» не делалось — требует новой колонки, обосновано в PR. ## Проверки, которые стоит отметить Семантика блокировок проверена **эмпирически**, а не рассуждением: ревьюер держал открытую транзакцию с `FOR UPDATE` на одной строке и параллельной сессией пробовал `FOR UPDATE NOWAIT` на той, что видна только внутри коррелированного подзапроса — прошло мгновенно, тогда как на первой строке честно упало с ошибкой блокировки. Вывод: алиас подзапроса под внешний `FOR UPDATE` не попадает, патологии нет. Фальсификация проведена подменой SQL напрямую в файле (а не через git — иначе получается бесполезная ошибка импорта константы): убрал условие защиты — тест упал; убрал `enabled = true` — упал тест реанимации. Отдельно: автор сам нашёл и починил второй экземпляр методологической проблемы, на который я указал для первого — его собственный новый тест проходил бы и против незащищённого SQL, потому что мок реализовывал защиту в Python независимо от запроса. Тест проверял сам себя. ## Мелкая находка, не блокер `proxy_pool.py:174-180` — «бэкап» в EXISTS-подзапросе засчитывается только по `other.enabled`, без учёта `consecutive_fails`. Сейчас не проявляется (у `domclick` ровно один узел, EXISTS честно даёт ноль). Но если у выделенной affinity появится второй узел и он окажется в карантине (3-4 фейла, ещё `enabled`, но `acquire` его уже не выдаёт), подзапрос сочтёт его валидным бэкапом и отдаст последний реально рабочий узел чужому провайдеру. Лечится одним условием `AND other.consecutive_fails < CAST(:max_fails AS integer)` — стоит закрыть при следующем касании файла. ## Статус пунктов 1. ✅ Авто-восстановление — сделано. 2. ⬜ Довести сигнал бана до пула — не сделано, самый рискованный пункт (правка в горячем пути скрапера). 3. ✅ Фолбэк не берёт выключенные + защита последнего узла — сделано. 4. ⬜ Здоровье по паре «прокси + источник» — исходный запрос владельца, имеет смысл после пункта 2. 5. 🔄 Ротация по бану — PR #2611 на глубоком ревью. Механизм и ручной запуск; автоматический триггер невозможен до пункта 2. Плюс отдельно заведена #2610 — пул не отличает ручное выключение от авто-отключения.
bot-backend commented 2026-08-05 11:44:48 +00:00
Collaborator
Copy link

Пункт 1 закрыт — PR #2653 (merged + прод-verified). Пункт 2 (per-source здоровье, banned_until на пару прокси×источник) остаётся открытым, это отдельная задача.

Что сделано

Сигнал бана теперь доходит до пула: BrowserFetcher.report_ban() помечает текущий sticky-lease (#2640) → proxy_pool.mark_banned() выключает узел с disabled_reason='banned:<source>'. Колонка из #2610 гарантирует, что ipify-проба такой узел не воскресит (иначе был бы флаппинг, ровно как предсказано в #2610).

Инструментированы все 4 источника. Тонкость: Avito размечен на raise-сайтах, а не в __aexit__ — pipeline.py присваивает scraper._browser напрямую и в контекст-менеджер не заходит, централизованный хук пропустил бы весь этот путь. Cian/Yandex проверяют счётчики в __aexit__ до релиза lease. Curl-путь получил маркер-класс ProxyBanError (дремлющий: сегодня все 4 источника на browser-пути).

Две защиты, которые пришлось добавить (deep-review, 🟠 HIGH ×2)

  1. Ложный бан. У Яндекса _http_get глотал исключения fetch() и возвращал status_code=0 — этот случай считался в тот же счётчик, что настоящая капча. Живой путь POST /admin/scrape {"sources":["yandex"]} делает ровно одну попытку → 1/1 = 100% → здоровый узел выключался бы как забаненный. Добавлен признак transport_error (счётчик трогают только контентные провалы — Циан так делал изначально) + порог attempts >= 3. Проверено: боевой sweep делает ≥4 попытки на инстанс, детект настоящего бана не страдает.
  2. Выкос пула. mark_banned не выключает последний достижимый для источника узел (EXISTS зеркалит логику acquire() с учётом affinity — domclick-узел не запасной для avito/cian/yandex). Плюс pg_advisory_xact_lock: два параллельных бана разных узлов проходили мимо защиты (одностроч­ный UPDATE не атомарен поперёк строк) и могли обнулить пул без самолечения.

Три вида отказа остались различимы: бан площадки → mark_banned; нет прокси → NoProxyAvailableError (#2616); сетевой сбой → обычный mark_health(ok=False).

Прод после деплоя

Маркеры в живом образе (mark_banned, advisory-lock, transport_error, floor на обоих источниках) — на месте. Пул цел: 4 узла (3 any + 1 domclick), все enabled, disabled_reason пуст, ложных банов нет.

Замечу по состоянию из тела issue: «5 из 8 выключены, живых три» — устарело, мёртвые mobileproxy-узлы удалены (#2614), самовосстановление (#2609) подняло остальные.

**Пункт 1 закрыт** — PR #2653 (merged + прод-verified). Пункт 2 (per-source здоровье, `banned_until` на пару прокси×источник) остаётся открытым, это отдельная задача. ## Что сделано Сигнал бана теперь доходит до пула: `BrowserFetcher.report_ban()` помечает текущий sticky-lease (#2640) → `proxy_pool.mark_banned()` выключает узел с `disabled_reason='banned:<source>'`. Колонка из #2610 гарантирует, что ipify-проба такой узел **не воскресит** (иначе был бы флаппинг, ровно как предсказано в #2610). Инструментированы все 4 источника. Тонкость: Avito размечен **на raise-сайтах**, а не в `__aexit__` — `pipeline.py` присваивает `scraper._browser` напрямую и в контекст-менеджер не заходит, централизованный хук пропустил бы весь этот путь. Cian/Yandex проверяют счётчики в `__aexit__` **до** релиза lease. Curl-путь получил маркер-класс `ProxyBanError` (дремлющий: сегодня все 4 источника на browser-пути). ## Две защиты, которые пришлось добавить (deep-review, 🟠 HIGH ×2) 1. **Ложный бан.** У Яндекса `_http_get` глотал исключения `fetch()` и возвращал `status_code=0` — этот случай считался в тот же счётчик, что настоящая капча. Живой путь `POST /admin/scrape {"sources":["yandex"]}` делает ровно одну попытку → 1/1 = 100% → здоровый узел выключался бы как забаненный. Добавлен признак `transport_error` (счётчик трогают только контентные провалы — Циан так делал изначально) + порог `attempts >= 3`. Проверено: боевой sweep делает ≥4 попытки на инстанс, детект настоящего бана не страдает. 2. **Выкос пула.** `mark_banned` не выключает последний достижимый для источника узел (EXISTS зеркалит логику `acquire()` **с учётом affinity** — domclick-узел не запасной для avito/cian/yandex). Плюс `pg_advisory_xact_lock`: два параллельных бана разных узлов проходили мимо защиты (одностроч­ный UPDATE не атомарен поперёк строк) и могли обнулить пул **без самолечения**. Три вида отказа остались различимы: бан площадки → `mark_banned`; нет прокси → `NoProxyAvailableError` (#2616); сетевой сбой → обычный `mark_health(ok=False)`. ## Прод после деплоя Маркеры в живом образе (`mark_banned`, advisory-lock, `transport_error`, floor на обоих источниках) — на месте. Пул цел: 4 узла (3 `any` + 1 domclick), все enabled, `disabled_reason` пуст, ложных банов нет. Замечу по состоянию из тела issue: «5 из 8 выключены, живых три» — устарело, мёртвые mobileproxy-узлы удалены (#2614), самовосстановление (#2609) подняло остальные.
bot-backend commented 2026-08-05 12:21:12 +00:00
Collaborator
Copy link

Пункт 2 — в работе, PR #2654 (открыт, на ревью, не смержен).

Суть: бан переезжает из глобального enabled=false в таблицу scrape_proxy_source_bans с ключом по паре «узел × источник». acquire(provider) фильтрует по активным банам ЭТОГО источника — узел, забаненный Авито, для Яндекса остаётся первосортным. Это и есть поведение, которое ты описал 31.07.

Сроки: 6 часов на первый бан пары, при повторе удваивается до потолка в 72 часа — узел, который площадка банит раз за разом, перестаёт жечь прогоны, но и не теряется навсегда. Счётчик повторов сбрасывается, если пара неделю чиста после истечения бана.

Защита последнего узла сохранена, но теперь считается ПО ИСТОЧНИКУ: если после бана у acquire(source) не останется ни одного кандидата, бан не записывается — вместо этого WARNING с прямой формулировкой, что нужны новые прокси (#2638). Голодать без прокси хуже, чем ходить через подозрительный.

Миграция заодно чинит мину, которую оставил п.1: узлы с disabled_reason='banned:<источник>' конвертируются в per-source бан и возвращаются в строй. Иначе они зависли бы выключенными навсегда — новый код такой семантики не пишет и ничего её не снимает, а health-проба не воскрешает узлы с непустым disabled_reason (#2610).

Пункт 2 — в работе, PR #2654 (открыт, на ревью, не смержен). Суть: бан переезжает из глобального `enabled=false` в таблицу `scrape_proxy_source_bans` с ключом по паре «узел × источник». `acquire(provider)` фильтрует по активным банам ЭТОГО источника — узел, забаненный Авито, для Яндекса остаётся первосортным. Это и есть поведение, которое ты описал 31.07. Сроки: 6 часов на первый бан пары, при повторе удваивается до потолка в 72 часа — узел, который площадка банит раз за разом, перестаёт жечь прогоны, но и не теряется навсегда. Счётчик повторов сбрасывается, если пара неделю чиста после истечения бана. Защита последнего узла сохранена, но теперь считается ПО ИСТОЧНИКУ: если после бана у `acquire(source)` не останется ни одного кандидата, бан не записывается — вместо этого WARNING с прямой формулировкой, что нужны новые прокси (#2638). Голодать без прокси хуже, чем ходить через подозрительный. Миграция заодно чинит мину, которую оставил п.1: узлы с `disabled_reason='banned:<источник>'` конвертируются в per-source бан и возвращаются в строй. Иначе они зависли бы выключенными навсегда — новый код такой семантики не пишет и ничего её не снимает, а health-проба не воскрешает узлы с непустым `disabled_reason` (#2610).
bot-backend commented 2026-08-05 15:23:07 +00:00
Collaborator
Copy link

Закрыто целиком. Все четыре пункта сделаны и проверены на проде.

пункт чем закрыт
1. довести сигнал бана до пула PR #2653
2. здоровье по паре «прокси + источник» PR #2654
3. фолбэк не должен брать выключенные узлы #2616 (отказ вместо мёртвого env-узла) + кросс-affinity фолбэк в acquire
4. авто-восстановление #2609 (health-проба опрашивает и выключенные)

Пункт 2 на проде

Таблица scrape_proxy_source_bans создана, PK по паре (proxy_id, source), каскад на удаление узла. acquire(provider) фильтрует по активным банам этого источника в обоих запросах — и в основном, и в фолбэке на чужую affinity. Пул после деплоя цел: 4 узла, все включены, активных банов ноль, ни один узел не завис с остаточным disabled_reason='banned:…' от пункта 1 (миграция 210 такие конвертирует — проверил, срабатывать было не на чем, но мина обезврежена).

Что нашло глубокое ревью, помимо заявленного

Две вещи, которые тестами не ловились:

«Включён» перестало означать «пригоден». Внутренний EXISTS, защищающий выделенную affinity от увода последнего узла фолбэком, считал backup'ом любой включённый узел этой affinity. После перехода на per-source бан узел может быть включён и при этом забанен своим же источником — и всё равно считался запасом. Сценарий: два domclick-узла, один забанен domclick'ом (законно), фолбэк avito уводит второй, acquire('domclick') возвращает пусто, источник встал при двух формально живых прокси. Сегодня не стреляет — у domclick ровно один выделенный узел, — но выстрелило бы в день появления второго.

У оператора не осталось рычага снять бан. В пункте 1 ложное срабатывание лечилось ручным включением узла; после пункта 2 бан живёт в отдельной таблице, и снять его было нечем, кроме SQL руками. Теперь clear_source_bans вызывается при ручном включении узла (семантика «включил руками = чистый лист») и после успешной ротации exit-IP — сменился адрес, значит бан площадки на старом адресе протух, а строка привязана к узлу и продолжала бы действовать.

Плюс: миграция сужена до известных источников, чтобы не отменить ручное выключение оператора, если он напишет в причину текст с префиксом banned: (формат подсказан комментарием миграции 209); тест защиты перестал дублировать боевую логику и теперь действительно краснеет при удалении предиката; поправлены два описания, оставшиеся от старой модели.

Все правки подтверждены мутацией: при удалении фикса из боевого SQL нужные тесты падают.

Остаётся вне этой задачи

Ротация exit-IP построена (#2611), но не может быть вызвана — ASOCKS_API_TOKEN не задан, таблица ротаций пуста за всю историю. И пул тонкий: три узла any на три площадки при эксклюзивной аренде (#2638). Оба ждут тебя.

**Закрыто целиком.** Все четыре пункта сделаны и проверены на проде. | пункт | чем закрыт | |---|---| | 1. довести сигнал бана до пула | PR #2653 | | 2. здоровье по паре «прокси + источник» | PR #2654 | | 3. фолбэк не должен брать выключенные узлы | #2616 (отказ вместо мёртвого env-узла) + кросс-affinity фолбэк в `acquire` | | 4. авто-восстановление | #2609 (health-проба опрашивает и выключенные) | ## Пункт 2 на проде Таблица `scrape_proxy_source_bans` создана, PK по паре `(proxy_id, source)`, каскад на удаление узла. `acquire(provider)` фильтрует по активным банам этого источника в обоих запросах — и в основном, и в фолбэке на чужую affinity. Пул после деплоя цел: 4 узла, все включены, активных банов ноль, ни один узел не завис с остаточным `disabled_reason='banned:…'` от пункта 1 (миграция 210 такие конвертирует — проверил, срабатывать было не на чем, но мина обезврежена). ## Что нашло глубокое ревью, помимо заявленного Две вещи, которые тестами не ловились: **«Включён» перестало означать «пригоден».** Внутренний EXISTS, защищающий выделенную affinity от увода последнего узла фолбэком, считал backup'ом любой включённый узел этой affinity. После перехода на per-source бан узел может быть включён и при этом забанен своим же источником — и всё равно считался запасом. Сценарий: два domclick-узла, один забанен domclick'ом (законно), фолбэк avito уводит второй, `acquire('domclick')` возвращает пусто, источник встал при двух формально живых прокси. Сегодня не стреляет — у domclick ровно один выделенный узел, — но выстрелило бы в день появления второго. **У оператора не осталось рычага снять бан.** В пункте 1 ложное срабатывание лечилось ручным включением узла; после пункта 2 бан живёт в отдельной таблице, и снять его было нечем, кроме SQL руками. Теперь `clear_source_bans` вызывается при ручном включении узла (семантика «включил руками = чистый лист») и после успешной ротации exit-IP — сменился адрес, значит бан площадки на старом адресе протух, а строка привязана к узлу и продолжала бы действовать. Плюс: миграция сужена до известных источников, чтобы не отменить ручное выключение оператора, если он напишет в причину текст с префиксом `banned:` (формат подсказан комментарием миграции 209); тест защиты перестал дублировать боевую логику и теперь действительно краснеет при удалении предиката; поправлены два описания, оставшиеся от старой модели. Все правки подтверждены мутацией: при удалении фикса из боевого SQL нужные тесты падают. ## Остаётся вне этой задачи Ротация exit-IP построена (#2611), но не может быть вызвана — `ASOCKS_API_TOKEN` не задан, таблица ротаций пуста за всю историю. И пул тонкий: три узла `any` на три площадки при эксклюзивной аренде (#2638). Оба ждут тебя.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
fix/3469-showcase-schedule
fix/3443-caddy-selfdowntime
fix/3463-db-statement-timeout
fix/3448-caddy-only-detection
fix/metrics-deploy-reloads-prometheus
feat/landing-showcase-band
fix/3452-corridor-advisory-zone
fix/alert-value-is-not-the-ratio
fix/3449-geocoder-cancel-orphan
fix/3451-tvf-deals-rooms
fix/msk-collector-net-retry
feat/msk-yandex-import
fix/3051-fetch-deals-rooms-dropped
feat/msk-collector-cian
fix/3256-asking-to-sold-buckets
fix/3083-estimate-throughput
fix/3274-part2b-gate
fix/3274-part2a-caddy-retry
fix/perimeter-smoke-retry-on-no-response
fix/3274-zero-downtime-frontend
fix/3274-part1-deploy-swap
fix/3412-cian-instance-relaunch
fix/3415-bucket-done-only-if-phases-ok
chore/backend-pool-wiring-tails
fix/3398-pool-ops-off-event-loop
fix/3402-followups-ban-kinds-curl
feat/3404-proxy-run-attribution
fix/cian-captcha-is-platform-refusal
refactor/3390-single-runs-module
fix/3398-estimator-valuations-proxy-pool
fix/3386-estimator-imv-proxy-pool
fix/3394-cian-sweep-houses-proxy-pool
fix/3393-interrupted-runs-outside-streaks
fix/drain-marks-inflight-app-tasks
fix/3384-no-proxy-at-batch-start
fix/3197-yandex-newbuilding-proxy-pool
fix/3376-price-history-decimal-slips
fix/backend-proxy-pool-flags
fix/3197-cian-history-backfill-proxy-pool
fix/3288-sidecar-ban-status-code
fix/3375-yandex-fullload-on-bucket-contract
fix/3380-deploy-metrics-alloy-recreate
fix/3354-alloy-query-secret-scrub
fix/3360-admin-prefix-anon-404
fix/3368-yandex-leaf-complete-flag
fix/3369-domclick-cancel-checkpoint
fix/3225-domklik-diff-percent
fix/smoke-history-path
fix/3288-breaker-block-kind
fix/3355-drain-mark-fullloads
fix/3191-yandex-detail-completeness
fix/3359-containment-cian-yandex
fix/3323-payment-init-fail-409
fix/3172-freshness-by-data
fix/3288-avito-ban-per-source
fix/3253-domclick-house-fields
fix/3312-defer-interval-minutes
fix/3324-rbac-401-oracle
fix/3274-deploy-window-error-page
fix/3343-auth-latency-flaky
fix/3315-exhaustive-containment-skip
fix/3338-backfill-save-false
fix/3339-thin-market-badge
fix/3154-glitchtip-secret-log-leak
fix/3333-drain-mark-all-sweeps
fix/3323-imv-thin-market-gate
fix/3324-mera-perimeter
fix/3323-coverage-copy-honesty
fix/3332-domclick-counter-identity
fix/3324-ptica-deploy-gate
fix/3316-role-single-source
fix/3319-citysweep-checkpoint
fix/3322-rosseti-stable-key
fix/3320-v2-honest-zeros
fix/3321-draft-fields-survive
fix/mera-mobile-nav-and-sticky
fix/audit-form-ux
fix/audit-coverage-500
fix/audit-dkp-price
fix/audit-accuracy-window
fix/audit-faq-contradiction
fix/perimeter-smoke-after-payments
feat/b2c-landing-honest-copy
feat/b2c-landing-live-numbers
feat/b2c-v3-becomes-root
feat/b2c-v3-port-v1-blocks
feat/b2c-report-redesign
feat/b2c-landing-v3-full
feat/3192b-yandex-phones
feat/3168-backfill-cursor-resume
fix/3118-domclick-no-proxy
fix/3170-yandex-combo-checkpoint
feat/3074-newbuilding-sweep-resume
fix/3163-infra-topic-default
fix/3156-tgbot-error-type
feat/3163-infra-topic-split
fix/3161-alertmanager-route-prefix
fix/3155-prometheus-no-alertmanager
feat/2997-drop-listings-geom-idx
fix/3122-boot-reap-observable
feat/3122-boot-reap
feat/3051-houses-region-code
feat/3074-cian-anchor-checkpoint
feat/3051-region-registry
fix/2656-anchor-ratio-freshness
fix/3114-scrub-credentials-in-logs
fix/3078-grafana-single-auth
fix/3081-honest-progress
fix/3063-pro-seller-derive
fix/3074-checkpoint-survives-claim
fix/3082-estimate-concurrency
fix/3044-enriched-total-seen
fix/telegram-pin-selectel-override
chore/compose-host-parameterised-resources
fix/revisit-floor-lateral-lookup
fix/avito-detail-fields
fix/3034-avito-fingerprint
fix/avito-offers-per-page
feat/3033-avito-secondary-filter
fix/2203-restore-drill-readiness
feat/2203-backup-staleness-and-forgejo
fix/2990-clean-start-initdb
fix/2924-yandex-jk-resolve-tried-at
fix/2992-upsert-distinct-gate
fix/2998-rosreestr-q2-partitions
feat/2936-null-penalty-flag
fix/2996-mislocated-houses-watchdog
fix/1781-secondary-only-param
fix/2934-risks-coverage
fix/2464-three-small
fix/2464-two-docstrings
fix/2464-zouit-label
fix/2464-building-pct-guard
fix/2464-download-binary-retry
fix/2986-permits-key
fix/2464-tep-docstring
fix/2464-act-date-backfill
fix/2464-area-bin-null
fix/2464-act-date-citation
fix/2464-detect-kind
fix/2464-status-negation
fix/2464-objective-zombie-sweep
fix/2464-inert-retry-config
fix/2464-default-profile-unique
fix/2464-zombie-any-running
fix/2464-catalog-skipped-counter
fix/2464-heat-loader-tx
fix/2464-objective-run-stuck
fix/2464-catalog-waf-breaker
fix/2464-lock-key-order
fix/2464-backfill-waf-abort
fix/2464-docs-vs-code
fix/2464-land-reservation-dedup
fix/2464-manual-list-validation
fix/2464-capacity-savepoints
fix/2464-leads-window-naming
fix/2464-zouit-count-label
fix/2464-catalog-batch-commits
fix/2464-html-zoning-fallback
fix/2950-lock-wait-observable
fix/2956-freshness-counts-failed-harvest
fix/2950-host-lock
fix/2953-nominatim-throttle
fix/2950-deploy-docker-lock
fix/2464-ird-lookups-savepoint
fix/2464-parcels-savepoint-pair
fix/2674-deal-floor-display
docs/2854-stale-justifications
chore/2857-drop-placeholder-columns
fix/2855-probe-protected-path
fix/2674-has-panorama
fix/house-imv-anchor-era
fix/2674-quality-cadastre-column
fix/sber-freshness-guard
fix/dkp-corridor-as-of
fix/scheduler-resume-checkpoint
fix/quarter-target-from-neighbour
fix/2687-domclick-ban-kind-platform
fix/2814-address-backfill
fix/2677-house-anchor-renovation
feat/tradein-paid-retention
chore/ci-config-cleanup
feat/mera-b2c-privacy
feat/tradein-payments-schema
chore/2674-dead-code-sweep
fix/2674-matching-tiers-honesty
fix/2674-avito-full-load-coverage
fix/2674-admin-metrics-honesty
fix/2674-writers-honor-schema
fix/2674-alerts-actually-fire
fix/2679-scraper-deploy-parity
fix/2674-house-imv-params
fix/2666-discount-plausibility-gate
feat/2435-cian-house-enrichment
fix/2657-domclick-block-not-done
feat/2571-login-throttle
fix/2660-display-freshness-segment
fix/2658-loud-skip-status
fix/2603-geocode-city-hint-tails
feat/2600-per-source-proxy-health
feat/tradein-v2-exposure-in-result-card
fix/tradein-avito-browser-proxy-pool
chore/tradein-cut-wasteful-scraping
fix/tradein-v2-deals-fallback-visible
fix/tradein-city-stamp-geo-guard
fix/tradein-cian-oblast-secondary
fix/tradein-implausible-build-year
fix/tradein-snapshot-query-perf
fix/tradein-asking-sold-city-scope
chore/tradein-purge-dead-mobileproxy
feat/tradein-asocks-rotation
fix/tradein-region-code-foreign-cities
fix/tradein-proxy-pool-self-healing
fix/tradein-backfill-listing-city-from-url
fix/tradein-geocode-queue-active-only
fix/tradein-geocode-city-hint
chore/tradein-remove-yandex-scripts
fix/tradein-listing-city-from-sweep
chore/tradein-remove-yandex-geocoder
chore/tradein-remove-n1
fix/tradein-geocoder-fail-closed
fix/tradein-ui-city-label-clip
feat/tradein-ui-city-hint
fix/tradein-coords-backfill-city-gate
fix/tradein-geocoder-city-default
fix/tradein-anchor-geo-scope
fix/tradein-avito-detail-oblast
feat/tradein-price-bands-refresh
feat/tradein-caddy-cutover
fix/tradein-team-nav-and-401
feat/tradein-team-dashboard
fix/tradein-team-list-order
feat/tradein-team-api
feat/tradein-login-ui
feat/tradein-auth-core
feat/tradein-auth-password-foundation
feat/tradein-auth-users-schema
fix/tradein-rbac-test-user2-expired
fix/tradein-auth-revoke-user2
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels   
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

No labels
Fable 5 ревью
GG-форсайт
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
feedback/max
generative
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
ИРД
вторичка
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#2600
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?