docs(tradein/domclick): два комментария описывали пул, которого нет с миграции 253
All checks were successful
CI Trade-In / changes (pull_request) Successful in 9s
CI Trade-In / browser-tests (pull_request) Has been skipped
CI / changes (pull_request) Successful in 10s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / backend-tests (pull_request) Successful in 4m48s
All checks were successful
CI Trade-In / changes (pull_request) Successful in 9s
CI Trade-In / browser-tests (pull_request) Has been skipped
CI / changes (pull_request) Successful in 10s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / backend-tests (pull_request) Successful in 4m48s
Оба места утверждали, что у Домклика один выделенный резидентный прокси и пула нет. Это перестало быть правдой ещё в #2800 (миграция 253 сняла резервацию узла), но текст остался — и именно на него опирался тикет #3189, поставленный под «калибровку» ограничения, которого не существует. Свип к тому же ходит через пул давно (serp.py:359), а бэкфилл подключён к нему в PR #3222. Заодно докстринг называл не тот ограничитель: свип кладёт не счётчик провалов lease, а break по первому DomClickBlockedError (#2854) — до ротации дело не доходит ни при каком счётчике, отсюда buckets_completed=0. Только комментарии, поведение не меняется. Миграция 175 уже применена, а _schema_migrations трекает по имени файла без checksum — правка текста её не перезапустит.
This commit is contained in:
parent
9e243fd643
commit
3059f09e53
2 changed files with 13 additions and 8 deletions
|
|
@ -38,10 +38,13 @@
|
||||||
-- same-site SERP-origin navigation cadence from PR #2430 -- QRATOR is
|
-- same-site SERP-origin navigation cadence from PR #2430 -- QRATOR is
|
||||||
-- reputation-based, not purely rate-based, but a more human cadence
|
-- reputation-based, not purely rate-based, but a more human cadence
|
||||||
-- reduces the odds of tripping it in the first place.
|
-- reduces the odds of tripping it in the first place.
|
||||||
-- max_consecutive_blocks -- 3 (vs Avito's 5): DomClick has no IP-rotation recovery
|
-- max_consecutive_blocks -- 3 (vs Avito's 5): aborting sooner avoids hammering an
|
||||||
-- on block (one dedicated residential proxy, not a pool) -- aborting
|
-- already-reputation-damaged proxy/session and preserves it for the
|
||||||
-- sooner avoids hammering an already-reputation-damaged proxy/session
|
-- next scheduled window. NB the original rationale here ("one
|
||||||
-- and preserves it for the next scheduled window.
|
-- dedicated residential proxy, not a pool") is obsolete: migration
|
||||||
|
-- 253 (#2800) dropped the reservation, and the backfill was wired
|
||||||
|
-- into the shared pool in PR #3222 -- all four nodes carry
|
||||||
|
-- provider_affinity='any'.
|
||||||
--
|
--
|
||||||
-- Seeded with enabled=false: activation is a deliberate, separate manual step after
|
-- Seeded with enabled=false: activation is a deliberate, separate manual step after
|
||||||
-- this migration deploys and the orchestrator is smoke-tested against a live cookie
|
-- this migration deploys and the orchestrator is smoke-tested against a live cookie
|
||||||
|
|
|
||||||
|
|
@ -327,10 +327,12 @@ class DomClickScraper(BaseScraper):
|
||||||
комнатности 2+ не собирались никогда. Замер 19.08 по активным
|
комнатности 2+ не собирались никогда. Замер 19.08 по активным
|
||||||
объявлениям: студий 575, однушек 408, двушек 1, трёшек 0; у соседних
|
объявлениям: студий 575, однушек 408, двушек 1, трёшек 0; у соседних
|
||||||
площадок 2+ комнат — около двух третей выдачи.
|
площадок 2+ комнат — около двух третей выдачи.
|
||||||
Сдвиг НЕ лечит блок, он распределяет то, что успевает собраться, по
|
Сдвиг НЕ лечит обрыв, он распределяет то, что успевает собраться,
|
||||||
всем корзинам вместо одной. Работает при единственном свободном узле —
|
по всем корзинам вместо одной, и работает даже когда свободен один
|
||||||
в отличие от ротации lease, которой сейчас упираться некуда: в пуле 3
|
узел. Ротация lease тут ни при чём: свип кладёт не счётчик провалов,
|
||||||
включённых узла, 2 забанены Домкликом.
|
а break ниже по первому же DomClickBlockedError (#2854). В пуле
|
||||||
|
четыре включённых узла, у всех provider_affinity='any' —
|
||||||
|
выделенного домклик-прокси нет с миграции 253 (#2800).
|
||||||
skip_buckets: корзины, уже собранные предыдущим оборванным прогоном
|
skip_buckets: корзины, уже собранные предыдущим оборванным прогоном
|
||||||
(#3118, чекпоинт done_buckets) — по ним ни одного запроса. Вместе
|
(#3118, чекпоинт done_buckets) — по ним ни одного запроса. Вместе
|
||||||
со сдвигом #2854 это превращает случайную ротацию в систематический
|
со сдвигом #2854 это превращает случайную ротацию в систематический
|
||||||
|
|
|
||||||
Loading…
Add table
Reference in a new issue