Compare commits

..

No commits in common. "8f3912cdf661b23faa8682e853aa46d0bc40d898" and "9e243fd64313ef20aa68913c7a5f7ea62f09ff23" have entirely different histories.

2 changed files with 8 additions and 13 deletions

View file

@ -38,13 +38,10 @@
-- same-site SERP-origin navigation cadence from PR #2430 -- QRATOR is -- same-site SERP-origin navigation cadence from PR #2430 -- QRATOR is
-- reputation-based, not purely rate-based, but a more human cadence -- reputation-based, not purely rate-based, but a more human cadence
-- reduces the odds of tripping it in the first place. -- reduces the odds of tripping it in the first place.
-- max_consecutive_blocks -- 3 (vs Avito's 5): aborting sooner avoids hammering an -- max_consecutive_blocks -- 3 (vs Avito's 5): DomClick has no IP-rotation recovery
-- already-reputation-damaged proxy/session and preserves it for the -- on block (one dedicated residential proxy, not a pool) -- aborting
-- next scheduled window. NB the original rationale here ("one -- sooner avoids hammering an already-reputation-damaged proxy/session
-- dedicated residential proxy, not a pool") is obsolete: migration -- and preserves it for the next scheduled window.
-- 253 (#2800) dropped the reservation, and the backfill was wired
-- into the shared pool in PR #3222 -- all four nodes carry
-- provider_affinity='any'.
-- --
-- Seeded with enabled=false: activation is a deliberate, separate manual step after -- Seeded with enabled=false: activation is a deliberate, separate manual step after
-- this migration deploys and the orchestrator is smoke-tested against a live cookie -- this migration deploys and the orchestrator is smoke-tested against a live cookie

View file

@ -327,12 +327,10 @@ class DomClickScraper(BaseScraper):
комнатности 2+ не собирались никогда. Замер 19.08 по активным комнатности 2+ не собирались никогда. Замер 19.08 по активным
объявлениям: студий 575, однушек 408, двушек 1, трёшек 0; у соседних объявлениям: студий 575, однушек 408, двушек 1, трёшек 0; у соседних
площадок 2+ комнат около двух третей выдачи. площадок 2+ комнат около двух третей выдачи.
Сдвиг НЕ лечит обрыв, он распределяет то, что успевает собраться, Сдвиг НЕ лечит блок, он распределяет то, что успевает собраться, по
по всем корзинам вместо одной, и работает даже когда свободен один всем корзинам вместо одной. Работает при единственном свободном узле
узел. Ротация lease тут ни при чём: свип кладёт не счётчик провалов, в отличие от ротации lease, которой сейчас упираться некуда: в пуле 3
а break ниже по первому же DomClickBlockedError (#2854). В пуле включённых узла, 2 забанены Домкликом.
четыре включённых узла, у всех provider_affinity='any'
выделенного домклик-прокси нет с миграции 253 (#2800).
skip_buckets: корзины, уже собранные предыдущим оборванным прогоном skip_buckets: корзины, уже собранные предыдущим оборванным прогоном
(#3118, чекпоинт done_buckets) — по ним ни одного запроса. Вместе (#3118, чекпоинт done_buckets) — по ним ни одного запроса. Вместе
со сдвигом #2854 это превращает случайную ротацию в систематический со сдвигом #2854 это превращает случайную ротацию в систематический