lekss361/gendesign
1
0
Fork 0
Code Issues 141 Pull requests 3 Projects Releases Packages Wiki Activity Actions

docs(tradein/domclick): два комментария описывали пул, которого нет с миграции 253 #3240

Merged
lekss361 merged 1 commit from docs/3189-stale-pool-comments into main 2026-08-29 16:13:54 +00:00
Conversation 0 Commits 1 Files changed 2 +13 -8
2 changed files with 13 additions and 8 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

11
tradein-mvp/backend/data/sql/175_scrape_schedules_seed_domclick_detail_backfill.sql
View file

@ -38,10 +38,13 @@
-- same-site SERP-origin navigation cadence from PR #2430 -- QRATOR is -- same-site SERP-origin navigation cadence from PR #2430 -- QRATOR is
-- reputation-based, not purely rate-based, but a more human cadence -- reputation-based, not purely rate-based, but a more human cadence
-- reduces the odds of tripping it in the first place. -- reduces the odds of tripping it in the first place.
-- max_consecutive_blocks -- 3 (vs Avito's 5): DomClick has no IP-rotation recovery -- max_consecutive_blocks -- 3 (vs Avito's 5): aborting sooner avoids hammering an
-- on block (one dedicated residential proxy, not a pool) -- aborting -- already-reputation-damaged proxy/session and preserves it for the
-- sooner avoids hammering an already-reputation-damaged proxy/session -- next scheduled window. NB the original rationale here ("one
-- and preserves it for the next scheduled window. -- dedicated residential proxy, not a pool") is obsolete: migration
-- 253 (#2800) dropped the reservation, and the backfill was wired
-- into the shared pool in PR #3222 -- all four nodes carry
-- provider_affinity='any'.
-- --
-- Seeded with enabled=false: activation is a deliberate, separate manual step after -- Seeded with enabled=false: activation is a deliberate, separate manual step after
-- this migration deploys and the orchestrator is smoke-tested against a live cookie -- this migration deploys and the orchestrator is smoke-tested against a live cookie

10
tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/domclick/serp.py
View file

@ -327,10 +327,12 @@ class DomClickScraper(BaseScraper):
комнатности 2+ не собирались никогда. Замер 19.08 по активным комнатности 2+ не собирались никогда. Замер 19.08 по активным
объявлениям: студий 575, однушек 408, двушек 1, трёшек 0; у соседних объявлениям: студий 575, однушек 408, двушек 1, трёшек 0; у соседних
площадок 2+ комнат — около двух третей выдачи. площадок 2+ комнат — около двух третей выдачи.
Сдвиг НЕ лечит блок, он распределяет то, что успевает собраться, по Сдвиг НЕ лечит обрыв, он распределяет то, что успевает собраться,
всем корзинам вместо одной. Работает при единственном свободном узле — по всем корзинам вместо одной, и работает даже когда свободен один
в отличие от ротации lease, которой сейчас упираться некуда: в пуле 3 узел. Ротация lease тут ни при чём: свип кладёт не счётчик провалов,
включённых узла, 2 забанены Домкликом. а break ниже по первому же DomClickBlockedError (#2854). В пуле
четыре включённых узла, у всех provider_affinity='any' —
выделенного домклик-прокси нет с миграции 253 (#2800).
skip_buckets: корзины, уже собранные предыдущим оборванным прогоном skip_buckets: корзины, уже собранные предыдущим оборванным прогоном
(#3118, чекпоинт done_buckets) — по ним ни одного запроса. Вместе (#3118, чекпоинт done_buckets) — по ним ни одного запроса. Вместе
со сдвигом #2854 это превращает случайную ротацию в систематический со сдвигом #2854 это превращает случайную ротацию в систематический