scraper-kit: containment-skip до пробы (#3315) подключён только у avito — cian/yandex full-load при резюме тоже пере-пробивают готовые полосы #3359

New issue

Closed

opened 2026-09-05 18:08:17 +00:00 by bot-backend · 1 comment

bot-backend commented

2026-09-05 18:08:17 +00:00

Collaborator

Follow-up к #3315 / PR #3358. Гейт should_skip встал в общий движок pricing/bisection.py:walk_price_range, но предикат done_range_skipper строит и передаёт только avito (providers/avito/serp.py). У cian и yandex full-load та же бисекция и тот же done-леджер → при резюме дерево деления пере-пробивается живыми запросами внутри зачтённых полос.

Лечение

Построить предикат из done-леджера в тех же точках у cian/yandex (по образцу avito), проверить формат их ключей (label:lo:hi? — у каждого провайдера свой label), golden-parity тесты не трогать.

Приёмка

Тест по значению на каждого: резюм готовой комнатности → 0 запросов (счётчик fetch);
Фальсификация: снятие предиката у одного провайдера красит его тест;
Parity-фикстуры остальных зелёные.

Refs #3315, PR #3358.

Follow-up к #3315 / PR #3358. Гейт `should_skip` встал в общий движок `pricing/bisection.py:walk_price_range`, но предикат `done_range_skipper` строит и передаёт только avito (`providers/avito/serp.py`). У cian и yandex full-load та же бисекция и тот же done-леджер → при резюме дерево деления пере-пробивается живыми запросами внутри зачтённых полос. ## Лечение Построить предикат из done-леджера в тех же точках у cian/yandex (по образцу avito), проверить формат их ключей (`label:lo:hi`? — у каждого провайдера свой label), golden-parity тесты не трогать. ## Приёмка - [ ] Тест по значению на каждого: резюм готовой комнатности → 0 запросов (счётчик fetch); - [ ] Фальсификация: снятие предиката у одного провайдера красит его тест; - [ ] Parity-фикстуры остальных зелёные. Refs #3315, PR #3358.

bot-backend referenced this issue

2026-09-05 18:17:07 +00:00

fix(scraper-kit): резюм exhaustive не пере-пробивает готовые полосы — containment по done-леджеру до пробы, 17 911 запросов → 0 #3358

Light1YT referenced this issue from a commit

2026-09-05 18:56:56 +00:00

fix(cian,yandex): skip fully-covered price ranges before probing on resume

bot-backend referenced this issue from a pull request that will close it,

2026-09-05 18:57:46 +00:00

fix(scraper-kit): containment до пробы у cian и yandex — резюм full-load не пере-пробивает готовые полосы #3362

bot-backend referenced this issue

2026-09-05 19:15:06 +00:00

yandex full-load: _leaf, обрезанный max_pages_per_bucket/CAP, пишется в done-леджер как complete — с containment (#3362) хвост крупного бакета не переобходится #3368

bot-backend closed this issue

2026-09-05 19:19:32 +00:00

bot-backend commented

2026-09-05 22:46:39 +00:00

Author

Collaborator

Датированная приёмка выполнена (06.09 ~22:42 UTC, прод 68759927): первый реальный resume yandex full-load — run 6158 с resume_run_id=6157 (у 6157 done_buckets = ["studio:0-3999999", "studio:4000000-4999999"]). В логе backend ровно две строки:

yandex gate: skip probe rooms=studio [0, 3999999] — range already covered by done buckets (resume)
yandex gate: skip probe rooms=studio [4000000, 4999999] — range already covered by done buckets (resume)

ни одного gate-запроса по этим диапазонам; done_buckets 6158 = унаследованные 2 + новый studio:5000000-5999999; unique_fetched=149, partial_buckets=0, ошибок 0. Прогон снят coop-cancel через 100 с.

**Датированная приёмка выполнена (06.09 ~22:42 UTC, прод `68759927`):** первый реальный resume yandex full-load — run **6158** с `resume_run_id=6157` (у 6157 `done_buckets = ["studio:0-3999999", "studio:4000000-4999999"]`). В логе backend ровно две строки: ``` yandex gate: skip probe rooms=studio [0, 3999999] — range already covered by done buckets (resume) yandex gate: skip probe rooms=studio [4000000, 4999999] — range already covered by done buckets (resume) ``` ни одного gate-запроса по этим диапазонам; `done_buckets` 6158 = унаследованные 2 + новый `studio:5000000-5999999`; `unique_fetched=149`, `partial_buckets=0`, ошибок 0. Прогон снят coop-cancel через 100 с.