fix(tradein/domclick-local): resume — убрать преждевременный added==0 break в _paginate
При resume первые страницы каждого бакета = топ-qi офферы, уже лежащие в done → _add_offers возвращал added=0 → _paginate делал break → enumerate собирал 0 новых (st=0 при resume; на первом прогоне done пуст, не проявлялось). Терминаторы пагинации — только пустая страница и offset>=bound. Подтверждено: resume со 114 done → st собрал 546 новых студий (660-114).
This commit is contained in:
parent
3cc015c249
commit
0f7f5ea0ab
1 changed files with 4 additions and 3 deletions
|
|
@ -852,10 +852,11 @@ async def _paginate(
|
|||
)
|
||||
if not offers:
|
||||
break
|
||||
added = _add_offers(offers, seen, done, out, target_new)
|
||||
# NB: НЕ break при added==0. При resume первые страницы бакета — это топ-qi
|
||||
# офферы, уже лежащие в `done` → added=0, но новые id есть на след. страницах.
|
||||
# Терминаторы — только пустая страница (выше) и offset>=bound (total/cap).
|
||||
_add_offers(offers, seen, done, out, target_new)
|
||||
page_idx += 1
|
||||
if added == 0:
|
||||
break
|
||||
|
||||
|
||||
async def _sweep_bucket(
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue