feat(scrapers): route cian sessions through mobile proxy (Refs #806) #818

Merged

bot-reviewer merged 2 commits from fix/806-cian-proxy into main

2026-05-30 19:10:37 +00:00

Author	SHA1	Message	Date
bot-backend	d815d7ba83	fixup(scrapers): bind SCRAPER_PROXY_URL via validation_alias + env-binding test (#806 )	2026-05-30 22:07:53 +03:00
bot-backend	e5f4e37415	feat(scrapers): route cian sessions through mobile proxy (Refs #806 ) Снимает egress-часть #639: cian-скрейперы ходили с datacenter-IP (без proxies) → даже валидные куки не фетчили с прод-бокса. Прокидываем тот же mobile-proxy, что у avito (#623/#805). - config: generic scraper_proxy_url (env SCRAPER_PROXY_URL → fallback AVITO_PROXY_URL → None/direct). Прод .env.runtime с AVITO_PROXY_URL работает без изменений env. - avito.py + scrape_pipeline._avito_proxies(): на settings.scraper_proxy_url (поведение идентично). - cian.py / cian_detail.fetch_detail / cian_session.verify_session: proxies= {http,https} из settings.scraper_proxy_url; пусто → direct (dev no-op). Cookie-refresh DMIR_AUTH (#639) — НЕ тронут (needs-human). 7 тестов (precedence + dict-shape + fallback), ruff clean.	2026-05-30 22:01:21 +03:00

Author

SHA1

Message

Date

bot-backend

d815d7ba83

fixup(scrapers): bind SCRAPER_PROXY_URL via validation_alias + env-binding test (#806 )

2026-05-30 22:07:53 +03:00

bot-backend

e5f4e37415

feat(scrapers): route cian sessions through mobile proxy (Refs #806 )

Снимает egress-часть #639: cian-скрейперы ходили с datacenter-IP (без proxies)
→ даже валидные куки не фетчили с прод-бокса. Прокидываем тот же mobile-proxy,
что у avito (#623/#805).

- config: generic scraper_proxy_url (env SCRAPER_PROXY_URL → fallback
  AVITO_PROXY_URL → None/direct). Прод .env.runtime с AVITO_PROXY_URL работает
  без изменений env.
- avito.py + scrape_pipeline._avito_proxies(): на settings.scraper_proxy_url
  (поведение идентично).
- cian.py / cian_detail.fetch_detail / cian_session.verify_session: proxies=
  {http,https} из settings.scraper_proxy_url; пусто → direct (dev no-op).

Cookie-refresh DMIR_AUTH (#639) — НЕ тронут (needs-human). 7 тестов
(precedence + dict-shape + fallback), ruff clean.

2026-05-30 22:01:21 +03:00