12 commits

Author	SHA1	Message	Date
bot-backend	d362b16d7c	fix(tradein/proxy): доводить сигнал бана площадки до пула (#2600 п.1) (#2653)	2026-08-05 11:37:35 +00:00
bot-backend	59c072fc4c	chore(tradein): удалить мёртвые mobileproxy env-переменные и rotate-ip (#2616 шаги 2-3) (#2650)	2026-08-05 09:35:54 +00:00
lekss361	ef2b07ee9c	fix(tradein/proxy): один прокси на сессию браузера вместо смены на каждом запросе (#2640) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-08-04 18:45:37 +00:00
lekss361	7d13e93792	fix(tradein/scraper): не ходить через мёртвый запасной прокси (#2634) ... Co-authored-by: lekss361 <lekss361@gendsgn.local> Co-committed-by: lekss361 <lekss361@gendsgn.local>	2026-08-04 18:27:49 +00:00
bot-backend	9b4cdf8ec6	feat(tradein/scraper-kit): shared base/utils для providers/* (#2358, Foundation) ... Аддитивный Foundation-модуль (эпик #2277 Group F4): scraper_kit/providers/_base.py извлекает 3 реально повторяющихся паттерна, найденных чтением avito/cian/yandex/ domclick providers (~13k строк): - build_browser_fetcher(config: ScraperConfig, source, ...) — config MANDATORY, устраняет footgun-класс #2322/#2330 (BrowserFetcher конструировался вручную в 6+ местах, endpoint/proxy-pool wiring легко забыть/потерять). - build_curl_cffi_session / build_document_session + http_proxies() — общий curl_cffi AsyncSession(impersonate=chrome120, proxies=..., headers=...) boilerplate, дублированный в avito/serp.py, avito/detail.py, avito/imv.py, cian/detail.py, cian/newbuilding.py (x2), cian/session.py. - DOCUMENT_HEADERS — идентичный "document" headers dict, дублированный трижды. Retry/backoff-циклы (yandex tarpit-retry, avito page-retry, tenacity в BaseScraper) сознательно НЕ обобщены — разная семантика ошибок/действий между попытками, обобщение дало бы leaky abstraction (см. docstring модуля). Existing providers/{avito,cian,yandex,domclick}/*.py НЕ тронуты — миграция call-site'ов на новый модуль это отдельные future issues (F4a-d). Заодно: актуализирован устаревший докстринг app/services/scraper_adapters.py ("Пока НИКТО их не использует") — адаптеры wired в прод с #2192 через app.scheduler_main._run_kit_scheduler.	2026-07-04 03:50:55 +03:00
lekss361	ca473a0012	feat(proxy-pool): P4 — browser dynamic pool-proxy (acquire→/fetch→relaunch) + orchestration wiring, ship-dark (#2164)	2026-07-02 19:20:29 +00:00
lekss361	0937da4260	feat(proxy-pool): P3 — kit curl-paths acquire/release from pool behind USE_PROXY_POOL_CURL, ship-dark (#2163)	2026-07-02 18:56:36 +00:00
bot-backend	0eb033d77d	fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)	2026-07-02 21:33:52 +03:00
lekss361	abdb413a99	feat(scraper-kit): copy remaining sweep orchestrators (yandex/cian/domclick/full-load), strangler (#2135 F2)	2026-07-02 17:29:05 +00:00
lekss361	8a177df0e2	feat(scraper-kit): copy sweep pipeline orchestration (avito) with protocol injection, strangler (#2135)	2026-07-02 17:08:40 +00:00
lekss361	f7063d49b5	fix(scraper-kit): sync RealScraperConfig adapter with ScraperConfig protocol (cookie_encryption_key)	2026-07-02 16:46:05 +00:00
lekss361	6391587572	feat(scraper-kit): protocol boundaries (matcher/config/session/jobs) + backend adapters (#2131)	2026-07-02 15:25:38 +00:00