chore(tradein): последние обходы пула прокси — admin cian-login/domclick-debug через фабрику; снят костыль _PoolCurlConfig (#3197, #3386) #3409

Merged

bot-backend merged 2 commits from chore/backend-pool-wiring-tails into main 2026-09-07 11:04:08 +00:00

Conversation 1 Commits 2 Files changed 6 +319 -46

bot-backend commented 2026-09-06 12:24:26 +00:00

Collaborator

Copy link

Хвосты #3197 (часть 1 — закрывает список точек) и #3386 (п. _PoolCurlConfig). Closes #3197.

1. admin.py — cian-login (~511) и domclick-detail-debug (~702) строили BrowserFetcher(source=…, endpoint=…) без пула → env-фолбэк на выключенный узел 9. Переведены на образец :1947: build_browser_fetcher(RealScraperConfig(), "<source>", proxy_provider=_kit_proxy_provider()); импорт BrowserFetcher в admin.py снят (патч-поинт в test_admin_cian_session_endpoints.py перенаправлен на build_browser_fetcher); докстринг фабрики _base.py больше не перечисляет эти ручки как обходы. Аудит BrowserFetcher( вне тестов: все оставшиеся конструкции — с провайдером/use_pool/environment или в узаконенной config=None-ветке офлайн-тестов.

2. cian_price_history.py — _PoolCurlConfig форсировал use_proxy_pool_curl=True из-за отсутствия env у backend; после #3387 (USE_PROXY_POOL_CURL: "true" у сервиса backend, compose :341) избыточен и докстринг неверен → RealScraperConfig() напрямую. Тест test_2830 …_despite_flag_off проверял сам костыль — переименован в …_takes_pool_node (флаг включён), добавлен …_honours_flag_off (флаг выключен → пул не трогаем; на main красный: assert ['cian'] == []).

Тесты: tests/test_3197_admin_debug_browser_pool_wiring.py (2×2: proxy_provider is not None, use_pool/environment из конфига). Фальсификация (git apply -R): assert None is not None ×4 + при выключенном флаге пул не трогаем: assert ['cian'] == [] — 5 failed. Восстановлено.

Прогоны: полный backend 5623 passed, 35 skipped (rc=0); ruff OK.

Приёмка на проде: POST /admin/scrape/domclick/debug/detail-fetch изнутри контейнера берёт узел с affinity domclick (раньше — узел 9 → InvalidIP); cian-price-history слушается USE_PROXY_POOL_CURL.

Хвосты #3197 (часть 1 — закрывает список точек) и #3386 (п. `_PoolCurlConfig`). Closes #3197. **1. admin.py** — cian-login (`~511`) и domclick-detail-debug (`~702`) строили `BrowserFetcher(source=…, endpoint=…)` без пула → env-фолбэк на выключенный узел 9. Переведены на образец `:1947`: `build_browser_fetcher(RealScraperConfig(), "<source>", proxy_provider=_kit_proxy_provider())`; импорт `BrowserFetcher` в admin.py снят (патч-поинт в `test_admin_cian_session_endpoints.py` перенаправлен на `build_browser_fetcher`); докстринг фабрики `_base.py` больше не перечисляет эти ручки как обходы. Аудит `BrowserFetcher(` вне тестов: все оставшиеся конструкции — с провайдером/`use_pool`/`environment` или в узаконенной `config=None`-ветке офлайн-тестов. **2. cian_price_history.py** — `_PoolCurlConfig` форсировал `use_proxy_pool_curl=True` из-за отсутствия env у backend; после #3387 (`USE_PROXY_POOL_CURL: "true"` у сервиса backend, compose `:341`) избыточен и докстринг неверен → `RealScraperConfig()` напрямую. Тест `test_2830 …_despite_flag_off` проверял сам костыль — переименован в `…_takes_pool_node` (флаг включён), добавлен `…_honours_flag_off` (флаг выключен → пул не трогаем; на main красный: `assert ['cian'] == []`). **Тесты:** `tests/test_3197_admin_debug_browser_pool_wiring.py` (2×2: `proxy_provider is not None`, `use_pool`/`environment` из конфига). **Фальсификация** (`git apply -R`): `assert None is not None` ×4 + `при выключенном флаге пул не трогаем: assert ['cian'] == []` — 5 failed. Восстановлено. **Прогоны:** полный backend `5623 passed, 35 skipped` (rc=0); ruff OK. **Приёмка на проде:** `POST /admin/scrape/domclick/debug/detail-fetch` изнутри контейнера берёт узел с affinity domclick (раньше — узел 9 → `InvalidIP`); `cian-price-history` слушается `USE_PROXY_POOL_CURL`.

bot-backend added 1 commit 2026-09-06 12:24:27 +00:00

chore(tradein/proxy): последние две ручки admin.py — через фабрику фетчера; снят форс pool-режима у cian-history (#3197, #3386) ... 8761602e9b

Два хвоста одной темы — проводка пула прокси в контейнере backend.

#3197: `cian-login` и `domclick-detail-debug` были последними прямыми
конструкциями `BrowserFetcher(source=, endpoint=)` мимо `build_browser_fetcher`.
Без `proxy_provider`/`use_pool`/`environment` сайдкар брал свой env-узел
`SCRAPER_PROXY_URL` (на проде выключенный узел 9: 407 → camoufox `InvalidIP`), а
прод-отказ «пул пуст» (#2616) на этих путях был мёртв — он смотрит на
`environment`, который до конструктора не доезжал. Соседи по эпику уже переведены
(#3382 cian, #3389 yandex). Прямых конструкций без провайдера вне тестов больше
не осталось: остальные (backfill-задачи, pipeline) пул получают своими kwargs,
а `endpoint=None`-ветки providers — это документированный `config=None` для
офлайн-тестов.

#3386: `_PoolCurlConfig` в `cian_price_history` форсил `use_proxy_pool_curl=True`,
потому что у контейнера `backend` не было переменной. #3387 задал
`USE_PROXY_POOL_CURL: "true"` сервису `backend` в compose — зашитая константа
стала лишней и делала рубильник неотключаемым ровно на этом пути (докстринг при
этом описывал уже неверную причину). Теперь `RealScraperConfig()` напрямую.

Тесты меряют значения, а не наличие kwarg'а: на откате исходников красные
4 параметризации нового `test_3197_admin_debug_browser_pool_wiring`
(`assert None is not None` — провайдер не передан) и
`test_price_history_honours_flag_off` (`assert ['cian'] == []` — пул дёргался при
выключенном флаге).

bot-backend referenced this pull request 2026-09-06 12:32:06 +00:00

tradein/browser: /login сайдкара не принимает proxy-override — cian auto-login всегда идёт с env-узла сайдкара (сейчас выключенный узел 9 → InvalidIP) #3410

bot-backend commented 2026-09-06 12:32:07 +00:00

Author

Collaborator

Copy link

Code-review (06.09): ⚠️ — domclick-debug и снятие _PoolCurlConfig чистые (kwargs не потеряны, compose-флаг у backend подтверждён на main, off-тест различает env-путь от «ничего не делал»); cian-login — фикс декоративный: /login сайдкара proxy-override не принимает (server.py:2814-2817, _post_login не кладёт proxy), аренда бралась впустую, а при пустом пуле в production ручка восстановления отдавала бы 502 Browser login failed из-за NoProxyAvailableError. Доработка: на cian-login провайдер не передавать, честный комментарий, тест «при пустом пуле ручка не 502» (красный на 8761602e). Проводка пула в /login сайдкара — #3410.

Code-review (06.09): ⚠️ — domclick-debug и снятие `_PoolCurlConfig` чистые (kwargs не потеряны, compose-флаг у backend подтверждён на main, off-тест различает env-путь от «ничего не делал»); **cian-login — фикс декоративный**: `/login` сайдкара proxy-override не принимает (`server.py:2814-2817`, `_post_login` не кладёт `proxy`), аренда бралась впустую, а при пустом пуле в production ручка восстановления отдавала бы `502 Browser login failed` из-за `NoProxyAvailableError`. Доработка: на cian-login провайдер не передавать, честный комментарий, тест «при пустом пуле ручка не 502» (красный на 8761602e). Проводка пула в `/login` сайдкара — #3410.

Light1YT added 1 commit 2026-09-06 12:54:20 +00:00

chore(#3197): cian-login — без холостой аренды и ложного отказа (/login сайдкара override не берёт); честные докстринги ... f4d174283a

Code-review хвоста #3197: на `cian-login` аренда из пула не доходила до сайдкара.
`BrowserFetcher._post_login` не кладёт `payload["proxy"]` (это делают только
`fetch`/`fetch_json`), а на приёме `login_handler` (browser/server.py:2814-2817)
зовёт `_no_live_proxy(provider, None)` и `_ensure_browser(provider)` без override —
`/login` proxy-override не принимает вовсе. Lease брался в `__aenter__` и
освобождался в `__aexit__` без пользы и без health-вердикта по узлу.

Хуже холостого хода: при пустом пуле в production `_acquire_lease` поднимает
`NoProxyAvailableError` ДО POST, `cian_auto_login` ловит любое `Exception` →
`502 Browser login failed`. То есть единственная ручка ВОССТАНОВЛЕНИЯ cian-сессии
отказывала ровно во время инцидента с пулом. Комментарий в admin.py при этом
утверждал, что фикс закрывает InvalidIP на логине — неправда.

Убран `proxy_provider=` (фабрика остаётся ради endpoint/environment из одного
места). `use_pool` без провайдера фетчер игнорирует сам — `_acquire_lease`:
`use_pool AND provider is not None` — поэтому ни аренды, ни прод-отказа.
`domclick-detail-debug` не тронут: он ходит через `fetch`, где override реально
кладётся в тело и читается сайдкаром — там #3197 остаётся настоящим фиксом.

Тесты для cian обратные по значению и падают на HEAD ветки:
`test_cian_auto_login_does_not_lease_from_pool` (провайдер не передан, `acquire`
не вызван) и `test_cian_auto_login_survives_empty_pool_in_production` (пустой пул
на проде не отдаёт 502). Стаб cian — подкласс настоящего `BrowserFetcher`, чтобы
второе утверждение шло через реальный `_acquire_lease`, а не через заглушку.

Follow-up (отдельной задачей): сайдкар `/login` не принимает proxy override →
логин cian всегда с env-узла (сейчас выключенный узел 9).

bot-backend merged commit 278f8055a4 into main 2026-09-07 11:04:08 +00:00

bot-backend referenced this pull request from a commit 2026-09-07 11:04:09 +00:00

Merge pull request 'chore(tradein): последние обходы пула прокси — admin cian-login/domclick-debug через фабрику; снят костыль _PoolCurlConfig (#3197, #3386)' (#3409) from chore/backend-pool-wiring-tails into main

Sign in to join this conversation.

Reviewers

No reviewers

Labels

Clear labels   

Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  

GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  

admin

Admin UI / internal tools / pipeline tracker

  

analytics

Аналитика данных / matching

  

auth

Authentication / authorization / multi-tenancy

  

automation

Автоматизация / cron / scheduler

  

bug

Something isn't working

  

business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  

chore

Operational housekeeping

  

ci

Forgejo Actions / build pipeline

  

compliance

152-ФЗ / реестр ПО / legal / TOS

  

data

Data sources, parsers, ETL

  

data-moat

Уникальные данные — sales tracker, CRM aggregation

  

docs

README / runbooks / onboarding

  

duplicate

This issue or pull request already exists

  

dx

Developer experience / build speed

  

enhancement

New feature or request

  

feedback/max

Feedback from Max (Senior partner)

  

generative

Generative Design — concept generation engine

  

needs-discussion

Pending team sync / decision

  

needs-human

Human review/decision required

  

observability

Monitoring / metrics / logs / Sentry / Uptime

  

pause-bots

Kill-switch — all autonomous bots pause

  

performance

Latency / throughput / DB query tuning

  

priority/p0

Critical / production-blocker

  

priority/p1

High priority

  

priority/p2

Normal priority

  

priority/p3

Низкий приоритет (follow-up, tech-debt)

  

scope/backend

Backend Python — FastAPI, Celery, scrapers

  

scope/db

DB migrations, indexes, SQL

  

scope/devops

docker-compose, Caddy, workflows

  

scope/frontend

Frontend — Next.js, React, TypeScript

  

scope/qa

Tests, smoke, Playwright

  

scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  

security

Security audit / secrets / vulnerabilities

  

site-finder

Site Finder scoring quality & data layer

  

stage/1

Stage 1: Generative MVP (нед 2-7)

  

stage/2

Stage 2: Site Finder MVP (нед 8-12)

  

status/blocked

Blocked — needs human intervention

  

status/done

Closed, completed

  

status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  

status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  

status/qa

PR merged, awaiting smoke test

  

status/ready

Ready for pickup by worker bot

  

status/review

PR open, awaiting code review

  

status/wip

Work in progress (worker claimed)

  

tech-debt

Технический долг

  

tradein

Trade-In MVP проект

  

ux

User experience / responsive / conversion

  

week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  

wontfix

This will not be worked on

  

ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

  

вторичка

Trade-In Estimator — проект оценки вторичного жилья

No labels

Fable 5 ревью

GG-форсайт

admin

analytics

auth

automation

bug

business

chore

ci

compliance

data

data-moat

docs

duplicate

dx

enhancement

feedback/max

generative

needs-discussion

needs-human

observability

pause-bots

performance

priority/p0

priority/p1

priority/p2

priority/p3

scope/backend

scope/db

scope/devops

scope/frontend

scope/qa

scrapers

security

site-finder

stage/1

stage/2

status/blocked

status/done

status/needs-analysis

status/needs-fix

status/qa

status/ready

status/review

status/wip

tech-debt

tradein

ux

week ревью 1

wontfix

ИРД

вторичка

Milestone

Clear milestone

No items

No milestone

Projects

Clear projects

No items

No project

Assignees

Clear assignees

No assignees

2 participants

Notifications

Subscribe

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#3409

No description provided.