docs(tradein/domclick): два комментария описывали пул, которого нет с миграции 253
All checks were successful
CI Trade-In / changes (pull_request) Successful in 9s
CI Trade-In / browser-tests (pull_request) Has been skipped
CI / changes (pull_request) Successful in 10s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / backend-tests (pull_request) Successful in 4m48s
All checks were successful
CI Trade-In / changes (pull_request) Successful in 9s
CI Trade-In / browser-tests (pull_request) Has been skipped
CI / changes (pull_request) Successful in 10s
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / backend-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Has been skipped
CI Trade-In / backend-tests (pull_request) Successful in 4m48s
Оба места утверждали, что у Домклика один выделенный резидентный прокси и пула нет. Это перестало быть правдой ещё в #2800 (миграция 253 сняла резервацию узла), но текст остался — и именно на него опирался тикет #3189, поставленный под «калибровку» ограничения, которого не существует. Свип к тому же ходит через пул давно (serp.py:359), а бэкфилл подключён к нему в PR #3222. Заодно докстринг называл не тот ограничитель: свип кладёт не счётчик провалов lease, а break по первому DomClickBlockedError (#2854) — до ротации дело не доходит ни при каком счётчике, отсюда buckets_completed=0. Только комментарии, поведение не меняется. Миграция 175 уже применена, а _schema_migrations трекает по имени файла без checksum — правка текста её не перезапустит.
This commit is contained in:
parent
9e243fd643
commit
3059f09e53
2 changed files with 13 additions and 8 deletions
|
|
@ -38,10 +38,13 @@
|
|||
-- same-site SERP-origin navigation cadence from PR #2430 -- QRATOR is
|
||||
-- reputation-based, not purely rate-based, but a more human cadence
|
||||
-- reduces the odds of tripping it in the first place.
|
||||
-- max_consecutive_blocks -- 3 (vs Avito's 5): DomClick has no IP-rotation recovery
|
||||
-- on block (one dedicated residential proxy, not a pool) -- aborting
|
||||
-- sooner avoids hammering an already-reputation-damaged proxy/session
|
||||
-- and preserves it for the next scheduled window.
|
||||
-- max_consecutive_blocks -- 3 (vs Avito's 5): aborting sooner avoids hammering an
|
||||
-- already-reputation-damaged proxy/session and preserves it for the
|
||||
-- next scheduled window. NB the original rationale here ("one
|
||||
-- dedicated residential proxy, not a pool") is obsolete: migration
|
||||
-- 253 (#2800) dropped the reservation, and the backfill was wired
|
||||
-- into the shared pool in PR #3222 -- all four nodes carry
|
||||
-- provider_affinity='any'.
|
||||
--
|
||||
-- Seeded with enabled=false: activation is a deliberate, separate manual step after
|
||||
-- this migration deploys and the orchestrator is smoke-tested against a live cookie
|
||||
|
|
|
|||
|
|
@ -327,10 +327,12 @@ class DomClickScraper(BaseScraper):
|
|||
комнатности 2+ не собирались никогда. Замер 19.08 по активным
|
||||
объявлениям: студий 575, однушек 408, двушек 1, трёшек 0; у соседних
|
||||
площадок 2+ комнат — около двух третей выдачи.
|
||||
Сдвиг НЕ лечит блок, он распределяет то, что успевает собраться, по
|
||||
всем корзинам вместо одной. Работает при единственном свободном узле —
|
||||
в отличие от ротации lease, которой сейчас упираться некуда: в пуле 3
|
||||
включённых узла, 2 забанены Домкликом.
|
||||
Сдвиг НЕ лечит обрыв, он распределяет то, что успевает собраться,
|
||||
по всем корзинам вместо одной, и работает даже когда свободен один
|
||||
узел. Ротация lease тут ни при чём: свип кладёт не счётчик провалов,
|
||||
а break ниже по первому же DomClickBlockedError (#2854). В пуле
|
||||
четыре включённых узла, у всех provider_affinity='any' —
|
||||
выделенного домклик-прокси нет с миграции 253 (#2800).
|
||||
skip_buckets: корзины, уже собранные предыдущим оборванным прогоном
|
||||
(#3118, чекпоинт done_buckets) — по ним ни одного запроса. Вместе
|
||||
со сдвигом #2854 это превращает случайную ротацию в систематический
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue