lekss361/gendesign

Fork 0

fix(scraper-kit): containment до пробы у cian и yandex — резюм full-load не пере-пробивает готовые полосы #3362

Merged

bot-backend merged 2 commits from fix/3359-containment-cian-yandex into main

2026-09-05 19:19:32 +00:00

bot-backend commented

2026-09-05 18:57:46 +00:00

Collaborator

Closes #3359 (follow-up #3315/#3358). Гейт should_skip в движке был, предикат строил только avito.

Формат ключей — факт по коду

cian _paginate_leaf_bucket: f"{room_label}:{lo}:{_hi_repr}", открытый = open — идентичен avito → парсер по умолчанию.
yandex _combo_label: f"{rooms or 'any'}:{lo}-{hi}" — разделитель -, открытый потолок литерал None. Ключи не подогнаны (сломало бы старые чекпоинты): в done_range_skipper добавлены range_sep=":", open_token="open" (дефолты = прежнее поведение), yandex зовёт с range_sep="-", open_token="None". hi включительна у всех (движок делит [lo,mid]+[mid+1,hi]) → слияние смежных по +1 корректно.

Один леджер на два режима (предпосылка из ревью #3358)

cian: incremental-режима нет вовсе — неприменимо.
yandex: gate-combo ключи incremental'а несут префикс сегмента (secondary/2:4000000-4999999) — отсев key.startswith(f"{label}:") их не пропускает; плюс _pick_resume (params IS NOT DISTINCT FROM) — две независимые преграды, обе в докстринге, кейс на префиксный ключ в тесте.

Тесты

test_3359_{cian,yandex}_exhaustive_containment_skip.py: 155 passed, 1 skipped (-k bisect/pricing/parity/containment/serp; avito-тесты #3315 зелёные — параметризация обратно совместима). Фальсификация (откат yandex-хунка): полоса [4062500, 4124999] внутри зачтённой … сходил в сеть 1 раз, резюм готовой комнатности сделал 607 запрос(ов) вместо нуля — по значению; cian в том же прогоне зелёный.

Прод-приёмка

Первый живой резюм cian/yandex full-load: в логе skip probe … range already covered by done buckets (resume), просадка probe-запросов в начале прогона.

Closes #3359 (follow-up #3315/#3358). Гейт `should_skip` в движке был, предикат строил только avito. ## Формат ключей — факт по коду - **cian** `_paginate_leaf_bucket`: `f"{room_label}:{lo}:{_hi_repr}"`, открытый = `open` — идентичен avito → парсер по умолчанию. - **yandex** `_combo_label`: `f"{rooms or 'any'}:{lo}-{hi}"` — разделитель `-`, открытый потолок литерал `None`. Ключи не подогнаны (сломало бы старые чекпоинты): в `done_range_skipper` добавлены `range_sep=":"`, `open_token="open"` (дефолты = прежнее поведение), yandex зовёт с `range_sep="-", open_token="None"`. `hi` включительна у всех (движок делит `[lo,mid]+[mid+1,hi]`) → слияние смежных по `+1` корректно. ## Один леджер на два режима (предпосылка из ревью #3358) - cian: incremental-режима нет вовсе — неприменимо. - yandex: gate-combo ключи incremental'а несут префикс сегмента (`secondary/2:4000000-4999999`) — отсев `key.startswith(f"{label}:")` их не пропускает; плюс `_pick_resume` (`params IS NOT DISTINCT FROM`) — две независимые преграды, обе в докстринге, кейс на префиксный ключ в тесте. ## Тесты `test_3359_{cian,yandex}_exhaustive_containment_skip.py`: `155 passed, 1 skipped` (-k bisect/pricing/parity/containment/serp; avito-тесты #3315 зелёные — параметризация обратно совместима). Фальсификация (откат yandex-хунка): `полоса [4062500, 4124999] внутри зачтённой … сходил в сеть 1 раз`, `резюм готовой комнатности сделал 607 запрос(ов) вместо нуля` — по значению; cian в том же прогоне зелёный. ## Прод-приёмка Первый живой резюм cian/yandex full-load: в логе `skip probe … range already covered by done buckets (resume)`, просадка probe-запросов в начале прогона.

bot-backend added 1 commit 2026-09-05 18:57:47 +00:00

fix(cian,yandex): skip fully-covered price ranges before probing on resume

CI Trade-In / changes (pull_request) Successful in 8s

Details

CI / changes (pull_request) Successful in 9s

Details

CI Trade-In / browser-tests (pull_request) Has been skipped

Details

CI Trade-In / frontend-checks (pull_request) Has been skipped

Details

CI / backend-tests (pull_request) Has been skipped

Details

CI / frontend-tests (pull_request) Has been skipped

Details

CI / openapi-codegen-check (pull_request) Has been skipped

Details

CI Trade-In / backend-tests (pull_request) Successful in 5m1s

Details

35c7ea8492

Гейт should_skip живёт в общем движке (walk_price_range, #3315), но предикат
из done-леджера строил и передавал только avito. У cian и yandex та же
бисекция и тот же чекпоинт — на резюме дерево деления спускалось ВНУТРЬ
зачтённых полос живыми probe-запросами: ключи чекпоинта суть границы
ДИНАМИЧЕСКОЙ бисекции, при сдвиге рынка новый лист старому не равен даже
внутри собранной территории, поэтому сравнение строк ничего не ловит.

Формат ключей у провайдеров разный, и ключи не трогаем (иначе протухнут
живые чекпоинты): cian пишет room_label:lo:hi / :open — как avito, парсер
подходит без изменений; yandex пишет _combo_label «rooms:lo-hi» с «None»
вместо открытого потолка, поэтому в done_range_skipper параметризованы
range_sep и open_token (дефолты = прежнее поведение avito/cian).

Один леджер на два режима: у yandex incremental-ключи несут префикс
сегмента (secondary/2:…) и отсев по label их не пропускает, а смешение
режимов блокирует _pick_resume (params IS NOT DISTINCT FROM); у cian
incremental-режима нет вовсе. Записано в докстринге предиката.

Тесты по значению на обоих провайдерах: счётчик стоит на горлышке фетча
(_fetch_page_html / _fetch_page_json), резюм готовой комнатности = 0
запросов, частично покрытая полоса по-прежнему пробивается.

Closes #3359

Light1YT referenced this pull request from a commit

2026-09-05 19:13:27 +00:00

fix(yandex): degraded-бакет не зачитывается как пройденный

Light1YT added 1 commit 2026-09-05 19:13:28 +00:00

fix(yandex): degraded-бакет не зачитывается как пройденный

CI Trade-In / changes (pull_request) Successful in 8s

Details

CI Trade-In / browser-tests (pull_request) Has been skipped

Details

CI / changes (pull_request) Successful in 12s

Details

CI Trade-In / frontend-checks (pull_request) Has been skipped

Details

CI / backend-tests (pull_request) Has been skipped

Details

CI / frontend-tests (pull_request) Has been skipped

Details

CI / openapi-codegen-check (pull_request) Has been skipped

Details

CI Trade-In / backend-tests (pull_request) Successful in 5m11s

Details

4184f751bb

Ревью #3362: в _degraded (probe провалился → пагинация до пустоты, обрезаемая
max_pages_per_bucket) yandex звал on_bucket БЕЗ признака полноты, и ключ падал
в done-леджер наравне с честно добранным листом. До containment-гейта это был
точечный skip одного ключа; теперь ключ покрывает ИНТЕРВАЛ и сливается со
смежными — недобранная после отказа полоса больше никогда не переобходится.

Тот же путь, что у cian: третий позиционный аргумент complete, в чекпоинт
пишет только _mark_bucket(..., True); partial_buckets вынесен в счётчики
прогона (виден в heartbeat), лоты и cancel/shutdown-проверки не трогаем.

Плюс комментарий смежности в bisection.py приводил полуоткрытый пример, споря
с «hi ВКЛЮЧИТЕЛЬНА» в том же докстринге.

bot-backend referenced this pull request

2026-09-05 19:15:06 +00:00

yandex full-load: _leaf, обрезанный max_pages_per_bucket/CAP, пишется в done-леджер как complete — с containment (#3362) хвост крупного бакета не переобходится #3368

bot-backend merged commit 29c0ae006d into main

2026-09-05 19:19:32 +00:00

bot-backend referenced this pull request from a commit

2026-09-05 19:19:32 +00:00

Merge pull request 'fix(scraper-kit): containment до пробы у cian и yandex — резюм full-load не пере-пробивает готовые полосы' (#3362) from fix/3359-containment-cian-yandex into main

Light1YT referenced this pull request from a commit

2026-09-05 19:57:38 +00:00

fix(scraper-kit/yandex): обрезанный потолком страниц leaf не идёт в чекпоинт

bot-backend referenced this pull request

2026-09-05 19:59:35 +00:00

fix(scraper-kit): yandex _leaf под CAP не пишется в done-леджер как complete — capped_buckets отдельным счётчиком #3373

bot-backend referenced this pull request

2026-09-05 20:07:16 +00:00

[P1] yandex full-load: _leaf/_degraded передают on_bucket(key, len(seen), …) — int уезжает в save_listings как lots → TypeError, ручной full-load Яндекса ничего не сохраняет #3375

bot-backend commented

2026-09-05 22:46:40 +00:00

Author

Collaborator

Датированная приёмка выполнена (06.09 ~22:42 UTC, прод 68759927): первый реальный resume yandex full-load — run 6158 с resume_run_id=6157 (у 6157 done_buckets = ["studio:0-3999999", "studio:4000000-4999999"]). В логе backend ровно две строки:

yandex gate: skip probe rooms=studio [0, 3999999] — range already covered by done buckets (resume)
yandex gate: skip probe rooms=studio [4000000, 4999999] — range already covered by done buckets (resume)

ни одного gate-запроса по этим диапазонам; done_buckets 6158 = унаследованные 2 + новый studio:5000000-5999999; unique_fetched=149, partial_buckets=0, ошибок 0. Прогон снят coop-cancel через 100 с.

**Датированная приёмка выполнена (06.09 ~22:42 UTC, прод `68759927`):** первый реальный resume yandex full-load — run **6158** с `resume_run_id=6157` (у 6157 `done_buckets = ["studio:0-3999999", "studio:4000000-4999999"]`). В логе backend ровно две строки: ``` yandex gate: skip probe rooms=studio [0, 3999999] — range already covered by done buckets (resume) yandex gate: skip probe rooms=studio [4000000, 4999999] — range already covered by done buckets (resume) ``` ни одного gate-запроса по этим диапазонам; `done_buckets` 6158 = унаследованные 2 + новый `studio:5000000-5999999`; `unique_fetched=149`, `partial_buckets=0`, ошибок 0. Прогон снят coop-cancel через 100 с.