tradein/browser: заход через поиск Яндекса срабатывает 2 раза из 9 — капча на выдаче, откат без Referer #3263

New issue

Open

opened 2026-08-29 23:32:12 +00:00 by lekss361 · 1 comment

lekss361 commented

2026-08-29 23:32:12 +00:00

Owner

Продолжение #3258 / #3260. Механизм работает как задумано редко; в остальных случаях молча откатывается и при этом стоит времени.

Замер

Логи tradein-browser за час работы 29-30.08 (включая добор run 5312, 37 карточек), все подъёмы якорной вкладки для domclick:

5 × капча на выдаче Яндекса — откат на прямой goto(origin) без referer
2 × клик увёл текущую вкладку на yandex.ru вместо ekaterinburg.domclick.ru —
    перехода на origin не было, откат на прямой goto(origin) без referer
2 × клик по ссылке в выдаче открыл НОВУЮ вкладку на ekaterinburg.domclick.ru —
    она становится якорной

Девять подъёмов, два сработавших. Внутри самого добора — два подъёма (оба по recycle_pages=15), оба закончились капчей.

Почему это стоит починить

Referer. Ради него всё и делалось (#3247): в семи случаях из девяти карточки запрашиваются без источника перехода — ровно то поведение, которое #3247 признал причиной отказов на 11-й карточке.

Время. Подъём якоря стоит ~15 с сверх запуска браузера: старт AsyncCamoufox → якорь занимал 14-15 с до появления яндекс-пути и 20-29 с после. При recycle_pages=15 это раз на 15 карточек, то есть ~2 с на карточку впустую при неудачном исходе.

Что стоит проверить

Капча ловит именно наш выход или яндекс-выдача под прокси капчится всегда — сравнить с ручным заходом через тот же узел (метод из #3261: локальный контроль в тот же час).
«Клик увёл текущую вкладку на yandex.ru» — похоже, попали не в ту ссылку выдачи; посмотреть, что именно матчит _find_serp_result_link.
Дешёвая альтернатива, если яндекс-путь не выправляется: поднимать якорь прямо на выдаче Домклика (как было до #3258) и получать Referer оттуда — переход внутри площадки естественен и капчи не требует.

Ломающего эффекта нет: откат отрабатывает, заход происходит, добор 37 из 37 прошёл. Это про недополученный Referer и потраченное время, не про аварию.

Продолжение #3258 / #3260. Механизм работает как задумано редко; в остальных случаях молча откатывается и при этом стоит времени. ## Замер Логи `tradein-browser` за час работы 29-30.08 (включая добор run 5312, 37 карточек), все подъёмы якорной вкладки для `domclick`: ``` 5 × капча на выдаче Яндекса — откат на прямой goto(origin) без referer 2 × клик увёл текущую вкладку на yandex.ru вместо ekaterinburg.domclick.ru — перехода на origin не было, откат на прямой goto(origin) без referer 2 × клик по ссылке в выдаче открыл НОВУЮ вкладку на ekaterinburg.domclick.ru — она становится якорной ``` Девять подъёмов, два сработавших. Внутри самого добора — два подъёма (оба по `recycle_pages=15`), оба закончились капчей. ## Почему это стоит починить **Referer.** Ради него всё и делалось (#3247): в семи случаях из девяти карточки запрашиваются без источника перехода — ровно то поведение, которое #3247 признал причиной отказов на 11-й карточке. **Время.** Подъём якоря стоит ~15 с сверх запуска браузера: старт AsyncCamoufox → якорь занимал 14-15 с до появления яндекс-пути и 20-29 с после. При `recycle_pages=15` это раз на 15 карточек, то есть ~2 с на карточку впустую при неудачном исходе. ## Что стоит проверить - Капча ловит именно наш выход или яндекс-выдача под прокси капчится всегда — сравнить с ручным заходом через тот же узел (метод из #3261: локальный контроль в тот же час). - «Клик увёл текущую вкладку на yandex.ru» — похоже, попали не в ту ссылку выдачи; посмотреть, что именно матчит `_find_serp_result_link`. - Дешёвая альтернатива, если яндекс-путь не выправляется: поднимать якорь прямо на выдаче Домклика (как было до #3258) и получать Referer оттуда — переход внутри площадки естественен и капчи не требует. Ломающего эффекта нет: откат отрабатывает, заход происходит, добор 37 из 37 прошёл. Это про недополученный Referer и потраченное время, не про аварию.

lekss361 commented

2026-08-29 23:38:04 +00:00

Author

Owner

Замерил два вопроса сразу: капча — свойство домена или выходного узла, и годится ли Гугл вместо Яндекса.

Один запрос (домклик екатеринбург вторичка купить квартиру), один камуфокс, разница только в поисковике и выходном IP. Считалась не только капча, но и главное — есть ли в выдаче ссылка на домклик, по которой якорю кликать:

без прокси (мой IP 95.165.147.218)  яндекс выдача, 2 ссылки, 887 КБ   гугл КАПЧА, 7 КБ
узел  1 (46.150.248.78)             яндекс КАПЧА,  0 ссылок, 21 КБ    гугл КАПЧА, 6 КБ
узел  9 (94.77.7.134)               яндекс выдача, 2 ссылки, 912 КБ   гугл КАПЧА, 4 КБ
узел 10 (94.72.28.157)              яндекс КАПЧА,  0 ссылок, 21 КБ    гугл КАПЧА, 4 КБ
узел 11 (178.69.46.201)             яндекс КАПЧА,  0 ссылок, 21 КБ    гугл КАПЧА, 6 КБ

Гугл не вариант: 5 капч из 5, включая чистый домашний IP без прокси. Он отбивает камуфокс сам по себе, безотносительно выхода — менять _YANDEX_SEARCH_URL на Гугл нельзя.

Капча Яндекса — свойство выходного узла, а не домена. Проходит с домашнего IP и через узел 9, капчится через 1, 10 и 11. Значит уход с ya.ru на yandex.ru (#3258) починить это и не мог: капчатся конкретные мобильные выходы, а не адрес поиска. И ровно поэтому в проде выходит 2 успеха из 9 — доля совпадает с долей «хороших» узлов в пуле.

Вывод для выбора решения: заход через поисковик ненадёжен по устройству — он ставит получение Referer в зависимость от того, нравится ли Яндексу сегодняшний выход прокси, и на пуле из мобильных узлов это чаще «нет». Третий вариант из описания (якорь на собственной выдаче Домклика, Referer с внутреннего перехода) выглядит не запасным, а основным: внутри площадки переход естественен, капчи нет, от поисковика не зависим. Предлагаю делать его.

Замерил два вопроса сразу: капча — свойство домена или выходного узла, и годится ли Гугл вместо Яндекса. Один запрос (`домклик екатеринбург вторичка купить квартиру`), один камуфокс, разница только в поисковике и выходном IP. Считалась не только капча, но и главное — есть ли в выдаче ссылка на домклик, по которой якорю кликать: ``` без прокси (мой IP 95.165.147.218) яндекс выдача, 2 ссылки, 887 КБ гугл КАПЧА, 7 КБ узел 1 (46.150.248.78) яндекс КАПЧА, 0 ссылок, 21 КБ гугл КАПЧА, 6 КБ узел 9 (94.77.7.134) яндекс выдача, 2 ссылки, 912 КБ гугл КАПЧА, 4 КБ узел 10 (94.72.28.157) яндекс КАПЧА, 0 ссылок, 21 КБ гугл КАПЧА, 4 КБ узел 11 (178.69.46.201) яндекс КАПЧА, 0 ссылок, 21 КБ гугл КАПЧА, 6 КБ ``` **Гугл не вариант: 5 капч из 5, включая чистый домашний IP без прокси.** Он отбивает камуфокс сам по себе, безотносительно выхода — менять `_YANDEX_SEARCH_URL` на Гугл нельзя. **Капча Яндекса — свойство выходного узла, а не домена.** Проходит с домашнего IP и через узел 9, капчится через 1, 10 и 11. Значит уход с `ya.ru` на `yandex.ru` (#3258) починить это и не мог: капчатся конкретные мобильные выходы, а не адрес поиска. И ровно поэтому в проде выходит 2 успеха из 9 — доля совпадает с долей «хороших» узлов в пуле. Вывод для выбора решения: заход через поисковик ненадёжен **по устройству** — он ставит получение Referer в зависимость от того, нравится ли Яндексу сегодняшний выход прокси, и на пуле из мобильных узлов это чаще «нет». Третий вариант из описания (якорь на собственной выдаче Домклика, Referer с внутреннего перехода) выглядит не запасным, а основным: внутри площадки переход естественен, капчи нет, от поисковика не зависим. Предлагаю делать его.