lekss361/gendesign

Fork 0

[research][tradein] ДомКлик PoC: headless + DataDome (401 на curl_cffi) — отложенный #796

New issue

Closed

opened 2026-05-30 17:12:13 +00:00 by bot-backend · 6 comments

bot-backend commented

2026-05-30 17:12:13 +00:00

Collaborator

Research / PoC. Отложенный — брать только под решение о серьёзной МСК-экспансии. Привязка к #559 (EPIC scrapers).

Контекст

ДомКлик (domclick.ru, Сбер) — крупнейший источник: МСК вторичка ~22k, национальное покрытие + price.domclick.ru (оценка по реальным сделкам Сбера + 40 характеристик). Закрыл бы дыру плотности по Москве.

Блокер (разведано 2026-05-30)

curl_cffi impersonate=chrome120 + RU mobile-proxy → HTTP 401 на domclick.ru И ekb.domclick.ru (edge WAF/DataDome-класс, не Avito-style firewall). Текущий стек скрейпинга НЕ проходит.

PoC (deliverable)

Headless-браузер (Playwright + stealth) через RU mobile-proxy → пройти DataDome-челлендж, получить cookie.
Подтвердить структуру данных (вероятно __NEXT_DATA__ / offers JSON) на vtorichka SERP.
Оценить устойчивость (как часто рефреш cookie, бан-rate) и стоимость поддержки vs ROI.
Альтернатива: ЦИАН B2B API (легальный платный, данные на базе Rosreestr) — сравнить cost/quality с scraping ДомКлика.

Решение нужно от человека

Стоит ли инвестировать в headless-стек ДомКлика — зависит от приоритета МСК-экспансии (Практика). Высокий effort.

Связано

#559, #623 (proxy infra), #647.

> Research / PoC. Отложенный — брать только под решение о серьёзной МСК-экспансии. Привязка к #559 (EPIC scrapers). ## Контекст ДомКлик (domclick.ru, Сбер) — **крупнейший** источник: МСК вторичка ~22k, национальное покрытие + price.domclick.ru (оценка по реальным сделкам Сбера + 40 характеристик). Закрыл бы дыру плотности по Москве. ## Блокер (разведано 2026-05-30) `curl_cffi impersonate=chrome120` + RU mobile-proxy → **HTTP 401** на `domclick.ru` И `ekb.domclick.ru` (edge WAF/DataDome-класс, не Avito-style firewall). Текущий стек скрейпинга НЕ проходит. ## PoC (deliverable) 1. Headless-браузер (Playwright + stealth) через RU mobile-proxy → пройти DataDome-челлендж, получить cookie. 2. Подтвердить структуру данных (вероятно `__NEXT_DATA__` / offers JSON) на vtorichka SERP. 3. Оценить устойчивость (как часто рефреш cookie, бан-rate) и стоимость поддержки vs ROI. 4. Альтернатива: **ЦИАН B2B API** (легальный платный, данные на базе Rosreestr) — сравнить cost/quality с scraping ДомКлика. ## Решение нужно от человека Стоит ли инвестировать в headless-стек ДомКлика — зависит от приоритета МСК-экспансии (Практика). Высокий effort. ## Связано #559, #623 (proxy infra), #647.

bot-backend added the

priority/p3

scope/backend

tradein

labels 2026-05-30 17:12:13 +00:00

lekss361 added this to the Praktika demo — Mon 2026-06-01 milestone 2026-05-30 17:21:05 +00:00

bot-analyst added the

status/needs-analysis

label 2026-05-31 07:13:08 +00:00

bot-analyst commented

2026-05-31 07:16:11 +00:00

Collaborator

analyst gate (needs-analysis → needs-human + blocked). Тело прямо говорит «Решение нужно от человека»: инвестировать ли в headless+DataDome-стек ДомКлика — зависит от приоритета МСК-экспансии (Практика), высокий effort. Это go/no-go человека, не аналитик-декомпозиция; постить ready нельзя (отложенный PoC). → needs-human. После решения о МСК-экспансии — декомпозирую PoC-шаги (Playwright stealth cookie → __NEXT_DATA__ структура → бан-rate/cost vs ЦИАН B2B API).

analyst gate (needs-analysis → needs-human + blocked). Тело прямо говорит «Решение нужно от человека»: инвестировать ли в headless+DataDome-стек ДомКлика — зависит от приоритета МСК-экспансии (Практика), высокий effort. Это go/no-go человека, не аналитик-декомпозиция; постить ready нельзя (отложенный PoC). → `needs-human`. После решения о МСК-экспансии — декомпозирую PoC-шаги (Playwright stealth cookie → `__NEXT_DATA__` структура → бан-rate/cost vs ЦИАН B2B API).

bot-analyst added

needs-human

status/blocked

and removed

status/needs-analysis

labels 2026-05-31 07:16:20 +00:00

bot-analyst commented

2026-05-31 08:45:07 +00:00

Collaborator

🔬 Resolver — ДомКлик PoC выполнен эмпирически (live Playwright 2026-05-31)

Protестировал главный вопрос issue («curl_cffi 401 — пройдёт ли headless»). Результат: headless проходит DataDome уже сейчас.

Hard data

domclick.ru/search?deal_type=sale&category=living&offer_type=flat&rooms=2 через headless Playwright (Chrome 148, без stealth, без прокси, dev-IP) → живой SERP рендерится: title «...7 695 объявлений», 40-66 offer-карточек в DOM.
DataDome challenge НЕ показан (нет captcha-iframe). Первый /search HTML отдал 401, но SPA гидратировался и offers отрисовались ⇒ DataDome пропустил browser-fingerprint Playwright (в отличие от curl_cffi TLS-fp → hard 401). 401 остались только на auth-эндпоинтах (/auth/me) — норма для анонима.
Offers извлекаемы: a[href*="/card/"] → domclick.ru/card/sale__flat__2075671636 «2-комн. квартира 53,5 м² 5/15 эт.». НЕ __NEXT_DATA__ (client-rendered SPA); API-слой bff-search-web.domclick.ru/api/*.

Вывод — технический блокер снят, остаётся investment-решение

«Можно ли» → да, headless берёт. Открытые вопросы (не технические, а бизнес/ops):

Устойчивость с прод-IP: я тестил с dev-IP (single request, чисто). Прод datacenter-IP TIMEWEB DataDome может резать жёстче → нужен тест через mobile-proxy (#623) с прод-хоста при объёме.
Стоимость: headless тяжелее curl_cffi (RAM/CPU/инстанс), бан-rate при объёме неизвестен.
ROI: МСК вторичка ~22k — крупный прирост плотности, но investment под МСК-экспансию (Практика), не демо-критично.

Полный PoC в vault research/ (2026-05-31-0850-resolver-796-domclick-datadome-poc). Технический риск из тела issue (401) устранён. Решение «инвестировать ли в headless-пайплайн» — остаётся за человеком (приоритет МСК-экспансии). Оставляю needs-human + status/blocked — это genuine investment-decision, не code-таска. При «го»: воркер строит Playwright-пуллер (DOM-extract / bff-search reverse) + тест устойчивости через mobile-proxy с прода.

## 🔬 Resolver — ДомКлик PoC выполнен эмпирически (live Playwright 2026-05-31) Protестировал главный вопрос issue («curl_cffi 401 — пройдёт ли headless»). **Результат: headless проходит DataDome уже сейчас.** ### Hard data - `domclick.ru/search?deal_type=sale&category=living&offer_type=flat&rooms=2` через **headless Playwright (Chrome 148, без stealth, без прокси, dev-IP)** → **живой SERP рендерится**: title «...**7 695 объявлений**», **40-66 offer-карточек** в DOM. - **DataDome challenge НЕ показан** (нет captcha-iframe). Первый `/search` HTML отдал 401, но SPA гидратировался и offers отрисовались ⇒ DataDome пропустил browser-fingerprint Playwright (в отличие от curl_cffi TLS-fp → hard 401). 401 остались только на auth-эндпоинтах (`/auth/me`) — норма для анонима. - Offers извлекаемы: `a[href*="/card/"]` → `domclick.ru/card/sale__flat__2075671636` «2-комн. квартира 53,5 м² 5/15 эт.». НЕ `__NEXT_DATA__` (client-rendered SPA); API-слой `bff-search-web.domclick.ru/api/*`. ### Вывод — технический блокер снят, остаётся investment-решение «Можно ли» → **да, headless берёт**. Открытые вопросы (не технические, а бизнес/ops): 1. **Устойчивость с прод-IP:** я тестил с dev-IP (single request, чисто). Прод datacenter-IP TIMEWEB DataDome может резать жёстче → нужен тест через mobile-proxy (#623) с прод-хоста при объёме. 2. **Стоимость:** headless тяжелее curl_cffi (RAM/CPU/инстанс), бан-rate при объёме неизвестен. 3. **ROI:** МСК вторичка ~22k — крупный прирост плотности, но investment под МСК-экспансию (Практика), не демо-критично. Полный PoC в vault `research/` (`2026-05-31-0850-resolver-796-domclick-datadome-poc`). Технический риск из тела issue (401) **устранён**. Решение «инвестировать ли в headless-пайплайн» — остаётся за человеком (приоритет МСК-экспансии). Оставляю `needs-human` + `status/blocked` — это genuine investment-decision, не code-таска. При «го»: воркер строит Playwright-пуллер (DOM-extract / bff-search reverse) + тест устойчивости через mobile-proxy с прода.

bot-backend commented

2026-05-31 09:40:16 +00:00

Author

Collaborator

PoC выполнен (2026-05-31, Playwright + residential IP)

Главное: DataDome обходится реальным браузером. curl_cffi+mobile-proxy давал HTTP 401, но Playwright (residential IP) грузит контент БЕЗ челленджа — страница рендерится, SSR-стейт присутствует. Вектор «headless+stealth через RU-proxy» подтверждён рабочим.

1. Путь, который работает

https://<city>.domclick.ru/search?deal_type=sale&category=living&offer_type=flat[&rooms=2,3] — city-субдомен обязателен (ekaterinburg.domclick.ru). domclick.ru дефолтит на Москву. ЕКБ 2-3к вторичка = 7 338 офферов.

2. Структура данных (догадка issue про NEXT_DATA — НЕВЕРНА)

Домклик — React-SPA (loadable+react-router), НЕ Next.js. Оффера в двух местах:

window.__SSR_STATE__ — встроенный SSR-блоб (~224 КБ) в <script> HTML, ~40 офферов/стр (поля price, offer_id, area, rooms, floor, address...). ⚠️ это JS-литерал (содержит undefined), НЕ чистый JSON → парсить через JS-eval в браузерном контексте (page.evaluate), не json.loads. После гидрации window.__SSR_STATE__ удаляется — брать из сырого HTML-блоба.
40 DOM-карточек/стр: a[href*="/card/sale__flat__<id>"] (sample /card/sale__flat__2077235525).
API-хост для пагинации/фильтров/гео: bff-search-web.domclick.ru/api/... (geo_suggester, roads, subways видны; offers-list — POST/SSR).

3. Оценка устойчивости / стоимости

Скрейп = Playwright (Chromium) в prod-контейнере + RU-residential/mobile proxy. Cookie-челлендж DataDome проходится прозрачно реальным браузером (cookie httpOnly, JS не виден — но контент грузится).
Стоимость поддержки: headless-стек (Chromium в проде) + residential/mobile proxy. Выше, чем curl_cffi-источники (cian/avito/n1), сравнимо с локальными Playwright-скриптами scripts/local-cian/*.
Бан-rate/refresh — НЕ замерено за длинную сессию (PoC = разовая проверка прохода). Нужен sustained-тест перед prod.

4. Решение для человека (остаётся)

Технически — проходимо (headless+residential). Вопрос ROI: строить ли headless-domclick-стек ради МСК-плотности (Практика). Альтернатива ЦИАН B2B API (платный, Rosreestr-данные) — domclick-скрейп теперь дешевле по лицензии, но дороже по инфра-поддержке (Chromium+proxy).

Рекомендация: брать только под явный приоритет МСК-экспансии (как и помечено). Технический блокер снят — PoC показал путь. Реализация = новый headless-скрейпер (Playwright) по образцу scripts/local-cian/playwright_*.py, парс __SSR_STATE__ через page.evaluate.

Лейбл status/blocked снят (PoC выполнен), needs-human оставлен (go/no-go по инвестиции). Детали PoC.

## PoC выполнен (2026-05-31, Playwright + residential IP) **Главное: DataDome обходится реальным браузером.** curl_cffi+mobile-proxy давал HTTP 401, но Playwright (residential IP) грузит контент БЕЗ челленджа — страница рендерится, SSR-стейт присутствует. Вектор «headless+stealth через RU-proxy» подтверждён рабочим. ### 1. Путь, который работает `https://<city>.domclick.ru/search?deal_type=sale&category=living&offer_type=flat[&rooms=2,3]` — **city-субдомен обязателен** (`ekaterinburg.domclick.ru`). `domclick.ru` дефолтит на Москву. ЕКБ 2-3к вторичка = **7 338 офферов**. ### 2. Структура данных (догадка issue про __NEXT_DATA__ — НЕВЕРНА) Домклик — React-SPA (loadable+react-router), НЕ Next.js. Оффера в двух местах: - **`window.__SSR_STATE__`** — встроенный SSR-блоб (~224 КБ) в `<script>` HTML, ~40 офферов/стр (поля price, offer_id, area, rooms, floor, address...). ⚠️ это JS-литерал (содержит `undefined`), НЕ чистый JSON → парсить через JS-eval в браузерном контексте (`page.evaluate`), не `json.loads`. После гидрации `window.__SSR_STATE__` удаляется — брать из сырого HTML-блоба. - **40 DOM-карточек/стр**: `a[href*="/card/sale__flat__<id>"]` (sample `/card/sale__flat__2077235525`). - API-хост для пагинации/фильтров/гео: **`bff-search-web.domclick.ru/api/...`** (geo_suggester, roads, subways видны; offers-list — POST/SSR). ### 3. Оценка устойчивости / стоимости - Скрейп = Playwright (Chromium) в prod-контейнере + RU-residential/mobile proxy. Cookie-челлендж DataDome проходится прозрачно реальным браузером (cookie httpOnly, JS не виден — но контент грузится). - Стоимость поддержки: headless-стек (Chromium в проде) + residential/mobile proxy. Выше, чем curl_cffi-источники (cian/avito/n1), сравнимо с локальными Playwright-скриптами `scripts/local-cian/*`. - Бан-rate/refresh — НЕ замерено за длинную сессию (PoC = разовая проверка прохода). Нужен sustained-тест перед prod. ### 4. Решение для человека (остаётся) Технически — **проходимо** (headless+residential). Вопрос ROI: строить ли headless-domclick-стек ради МСК-плотности (Практика). Альтернатива ЦИАН B2B API (платный, Rosreestr-данные) — domclick-скрейп теперь дешевле по лицензии, но дороже по инфра-поддержке (Chromium+proxy). **Рекомендация:** брать только под явный приоритет МСК-экспансии (как и помечено). Технический блокер снят — PoC показал путь. Реализация = новый headless-скрейпер (Playwright) по образцу `scripts/local-cian/playwright_*.py`, парс `__SSR_STATE__` через page.evaluate. Лейбл `status/blocked` снят (PoC выполнен), `needs-human` оставлен (go/no-go по инвестиции). Детали PoC.

bot-backend added

scrapers

and removed

status/blocked

labels 2026-05-31 09:40:16 +00:00

bot-backend commented

2026-05-31 09:42:56 +00:00

Author

Collaborator

Доп-проверка: можно ли через curl_cffi? — НЕТ (2026-05-31)

Протестировал curl_cffi impersonate=chrome120 И chrome124 с residential-машины против рабочего пути (ekaterinburg.domclick.ru/search?...):

[chrome120] status=401 len=279 ssr_state=False
[chrome124] status=401 len=279 ssr_state=False

Вывод: 401 приходит и с residential IP → дело НЕ в IP, а в DataDome JS-challenge. curl_cffi проходит TLS-fingerprint (JA3 chrome), но не исполняет JS → DataDome отдаёт 279-байт challenge-стаб (401), не контент. Чистый curl_cffi-стек для домклика невозможен при любом impersonate/IP — подтверждает исходный блокер как фундаментальный.

Архитектурные варианты

Full Playwright (proven): реальный браузер на каждую страницу SERP → парс __SSR_STATE__/DOM. Дороже (Chromium в проде), но работает.
Гибрид (cost-opt): Playwright 1 раз решает DataDome → datadome-cookie → curl_cffi гоняет пагинацию с cookie, пока жива. Экономит на bulk, НО cookie httpOnly + периодический refresh через браузер + неизвестен TTL/бан-rate → требует отдельной валидации.

Итого по выбору стека: Playwright обязателен (минимум для cookie). curl_cffi — только как bulk-ускоритель поверх браузерной cookie, не самостоятельно.

## Доп-проверка: можно ли через curl_cffi? — НЕТ (2026-05-31) Протестировал curl_cffi `impersonate=chrome120` И `chrome124` с **residential-машины** против рабочего пути (`ekaterinburg.domclick.ru/search?...`): ``` [chrome120] status=401 len=279 ssr_state=False [chrome124] status=401 len=279 ssr_state=False ``` **Вывод:** 401 приходит и с residential IP → **дело НЕ в IP, а в DataDome JS-challenge.** curl_cffi проходит TLS-fingerprint (JA3 chrome), но не исполняет JS → DataDome отдаёт 279-байт challenge-стаб (401), не контент. Чистый curl_cffi-стек для домклика **невозможен** при любом impersonate/IP — подтверждает исходный блокер как фундаментальный. ### Архитектурные варианты 1. **Full Playwright** (proven): реальный браузер на каждую страницу SERP → парс `__SSR_STATE__`/DOM. Дороже (Chromium в проде), но работает. 2. **Гибрид** (cost-opt): Playwright 1 раз решает DataDome → `datadome`-cookie → curl_cffi гоняет пагинацию с cookie, пока жива. Экономит на bulk, НО cookie httpOnly + периодический refresh через браузер + неизвестен TTL/бан-rate → требует отдельной валидации. Итого по выбору стека: Playwright обязателен (минимум для cookie). curl_cffi — только как bulk-ускоритель поверх браузерной cookie, не самостоятельно.

bot-backend commented

2026-05-31 09:46:20 +00:00

Author

Collaborator

Уточнение защиты + тест fingerprint через curl_cffi (2026-05-31)

Это Qrator, не DataDome. Cookie блокирующей страницы = qrator_jsr (Qrator Labs JS-challenge), не DataDome. 279-байт стаб содержит JS, который должен исполниться в браузере → выдаёт clearance-cookie → reload.

Тест curl_cffi с полным Chrome-129 fingerprint'ом (UA + sec-ch-ua + accept-language ru + warmup homepage + impersonate chrome131/124/120):

[chrome131] home=401 serp=401 len=279 ssr=False cookies=['qrator_jsr']
[chrome124] home=401 serp=401 ...
[chrome120] home=401 serp=401 ...

Все 401. HTTP-часть fingerprint (UA/headers/TLS-JA3) применена — не помогает. canvas/webgl/audio/fonts/screen из anti-detect профиля curl_cffi применить не может (нет JS-runtime) — а Qrator JS-challenge проверяет именно их.

Вывод: fingerprint бесполезен для curl_cffi (только browser-runtime свойства решают Qrator). Нужен реальный браузер (Playwright — уже proven, грузит контент). Anti-detect fingerprint (canvas-noise/webgl-vendor/audio-hash/fonts/screen/timezone, привязанный к geo прокси) применяется в Playwright через add_init_script + context (UA/locale/timezone/geolocation/viewport) на этапе сборки скрейпера — для устойчивого low-detection сбора. Для разового прохода Qrator хватает и обычного реального браузера.

Итог стека: Playwright + (опц.) anti-detect fingerprint injection; curl_cffi — только bulk-ускоритель поверх уже полученной браузером qrator_jsr-cookie (TTL/бан-rate валидировать).

## Уточнение защиты + тест fingerprint через curl_cffi (2026-05-31) **Это Qrator, не DataDome.** Cookie блокирующей страницы = `qrator_jsr` (Qrator Labs JS-challenge), не DataDome. 279-байт стаб содержит JS, который должен исполниться в браузере → выдаёт clearance-cookie → reload. Тест curl_cffi с полным Chrome-129 fingerprint'ом (UA + sec-ch-ua + accept-language ru + warmup homepage + impersonate chrome131/124/120): ``` [chrome131] home=401 serp=401 len=279 ssr=False cookies=['qrator_jsr'] [chrome124] home=401 serp=401 ... [chrome120] home=401 serp=401 ... ``` **Все 401.** HTTP-часть fingerprint (UA/headers/TLS-JA3) применена — не помогает. canvas/webgl/audio/fonts/screen из anti-detect профиля **curl_cffi применить не может** (нет JS-runtime) — а Qrator JS-challenge проверяет именно их. **Вывод:** fingerprint бесполезен для curl_cffi (только browser-runtime свойства решают Qrator). Нужен **реальный браузер** (Playwright — уже proven, грузит контент). Anti-detect fingerprint (canvas-noise/webgl-vendor/audio-hash/fonts/screen/timezone, привязанный к geo прокси) применяется в Playwright через `add_init_script` + context (UA/locale/timezone/geolocation/viewport) на этапе сборки скрейпера — для устойчивого low-detection сбора. Для разового прохода Qrator хватает и обычного реального браузера. Итог стека: **Playwright + (опц.) anti-detect fingerprint injection**; curl_cffi — только bulk-ускоритель поверх уже полученной браузером qrator_jsr-cookie (TTL/бан-rate валидировать).

bot-backend commented

2026-05-31 09:52:15 +00:00

Author

Collaborator

Update 2026-05-31: для прохода Qrator выбран Camoufox (anti-detect Firefox с встроенным fingerprint-spoofing — canvas/webgl/audio/fonts/navigator из коробки). Тестируется в отдельном окне. Camoufox решает ровно тот пробел, что убивал curl_cffi: исполняет JS + отдаёт консистентный browser-runtime fingerprint под geo прокси → должен проходить Qrator JS-challenge. Результат теста допишу по готовности.

**Update 2026-05-31:** для прохода Qrator выбран **Camoufox** (anti-detect Firefox с встроенным fingerprint-spoofing — canvas/webgl/audio/fonts/navigator из коробки). Тестируется в отдельном окне. Camoufox решает ровно тот пробел, что убивал curl_cffi: исполняет JS + отдаёт консистентный browser-runtime fingerprint под geo прокси → должен проходить Qrator JS-challenge. Результат теста допишу по готовности.

bot-backend referenced this issue

2026-05-31 10:01:09 +00:00

[EPIC][tradein] Полная автоматизация scrapers с persistence через redeploy #559

lekss361 referenced this issue

2026-05-31 10:36:15 +00:00

[EPIC][tradein][scrapers] Миграция fetch-слоя на camoufox (real browser anti-bot) #883

lekss361 referenced this issue

2026-05-31 10:37:56 +00:00

[tradein][scrapers] Phase 2 — cian/n1/yandex на camoufox + снять анти-бот костыли (#883) #886

lekss361 referenced this issue from a commit

2026-05-31 13:58:26 +00:00

feat(tradein): DomClick вторичка scraper via BrowserFetcher (#796)