tradein: две живые копии mark_failed/mark_done с разной семантикой counters — app/services/scrape_runs.py ЗАМЕНЯЕТ, scraper_kit/orchestration/runs.py МЕРЖИТ (||) #3390

New issue

Closed

opened 2026-09-06 01:31:46 +00:00 by bot-backend · 1 comment

bot-backend commented

2026-09-06 01:31:46 +00:00

Collaborator

Находка доработки PR #3388 (#3384), подтверждённая по импорту: app/services/scheduler.py:50, avito_detail_backfill.py:90, domclick_detail_backfill.py:108 импортируют app.services.scrape_runs as runs_mod, где mark_failed пишет counters = CAST(:counters AS jsonb) (замена, scrape_runs.py:738); kit-копия scraper_kit/orchestration/runs.py:~817 — counters = COALESCE(counters,'{}') || CAST(:counters AS jsonb) (мерж). Свипы через kit-scheduler идут на мерж, detail-бэкфиллы через runs_mod — на замену (scheduler.py:31 об этом предупреждает).

Чем это уже стоило: code-review #3388 предложил «отдать в mark_failed только {"no_proxy_stop": 1}, остальное домержится» — на replace-семантике это стёрло бы измеренные counters начисто; в #3355 я сам принял от ревью ложное «writer overwrites counters» про kit-путь (опровергнуто grep'ом по импорту). Две копии одной функции с противоположной семантикой — источник ложных выводов у людей и агентов.

Что сделать: одна реализация (kit runs.py), app-модуль — тонкий реэкспорт/адаптер с той же семантикой (мерж), либо явный replace_counters=True для тех, кому нужна замена; тест на семантику по значению (heartbeat записал a=5, mark_failed({b:1}) → в БД a=5, b=1) для ОБОИХ путей импорта; grep всех mark_failed(/mark_done( вызовов и проверка, кто полагается на замену (например, финальный counters.to_dict() у avito/domclick — при мерже поверх heartbeat остаётся тем же).

Refs #3384, PR #3388, #3355, память two-reviews-disagree-check-the-import.

Находка доработки PR #3388 (#3384), подтверждённая по импорту: `app/services/scheduler.py:50`, `avito_detail_backfill.py:90`, `domclick_detail_backfill.py:108` импортируют `app.services.scrape_runs as runs_mod`, где `mark_failed` пишет `counters = CAST(:counters AS jsonb)` (**замена**, `scrape_runs.py:738`); kit-копия `scraper_kit/orchestration/runs.py:~817` — `counters = COALESCE(counters,'{}') || CAST(:counters AS jsonb)` (**мерж**). Свипы через kit-scheduler идут на мерж, detail-бэкфиллы через `runs_mod` — на замену (`scheduler.py:31` об этом предупреждает). Чем это уже стоило: code-review #3388 предложил «отдать в `mark_failed` только `{"no_proxy_stop": 1}`, остальное домержится» — на replace-семантике это стёрло бы измеренные counters начисто; в #3355 я сам принял от ревью ложное «writer overwrites counters» про kit-путь (опровергнуто grep'ом по импорту). Две копии одной функции с противоположной семантикой — источник ложных выводов у людей и агентов. **Что сделать:** одна реализация (kit `runs.py`), app-модуль — тонкий реэкспорт/адаптер с той же семантикой (мерж), либо явный `replace_counters=True` для тех, кому нужна замена; тест на семантику по значению (heartbeat записал `a=5`, `mark_failed({b:1})` → в БД `a=5, b=1`) для ОБОИХ путей импорта; grep всех `mark_failed(`/`mark_done(` вызовов и проверка, кто полагается на замену (например, финальный `counters.to_dict()` у avito/domclick — при мерже поверх heartbeat остаётся тем же). Refs #3384, PR #3388, #3355, память `two-reviews-disagree-check-the-import`.

bot-backend referenced this issue

2026-09-06 01:32:06 +00:00

fix(tradein): пустой пул на старте батча пишет no_proxy_stop у cian/domclick/avito detail-бэкфиллов (#3384) #3388

bot-backend referenced this issue

2026-09-06 02:40:21 +00:00

tradein: «пул пуст на старте батча» у cian/domclick detail-бэкфиллов уходит мимо no_proxy_stop — scheduler пишет failed со стухшими counters #3384

Light1YT referenced this issue from a commit

2026-09-06 02:57:12 +00:00

fix(tradein/scheduler): SIGTERM-drain снимает с 'running' in-flight app-task'и (#3391)

bot-backend referenced this issue

2026-09-06 02:59:56 +00:00

fix(scraper-kit/scheduler): SIGTERM-drain помечает in-flight прогоны interrupted=1 при hard-cancel; честный лог drain'а (#3391) #3392

Light1YT referenced this issue from a commit

2026-09-06 04:05:17 +00:00

fix(#3391): пульс не пишет по финализированной строке; отмена в теле тика тоже помечает; rollback/try/честный лог

bot-backend referenced this issue

2026-09-06 04:44:09 +00:00

fix(tradein): прогоны, оборванные деплоем (interrupted=1), невидимы лестницам стриков и honest-status-гейтам (#3393) #3395

Light1YT referenced this issue from a commit

2026-09-06 06:46:06 +00:00

refactor(tradein/runs): одна реализация scrape_runs — kit, семантика counters мерж (#3390)

bot-backend referenced this issue from a pull request that will close it,

2026-09-06 06:49:04 +00:00

refactor(tradein): одна реализация scrape_runs — kit orchestration/runs.py, app-модуль = алиас; counters везде мержатся (#3390) #3400

Light1YT referenced this issue from a commit

2026-09-06 07:35:06 +00:00

docs(#3390): убрать ложные «counters ЗАМЕНЯЕТ» из комментариев/докстрингов; гейт test_3168 — честная формулировка

bot-backend closed this issue

2026-09-06 08:11:54 +00:00

bot-backend referenced this issue from a commit

2026-09-06 08:11:54 +00:00

Merge pull request 'refactor(tradein): одна реализация scrape_runs — kit orchestration/runs.py, app-модуль = алиас; counters везде мержатся (#3390)' (#3400) from refactor/3390-single-runs-module into main

bot-backend commented

2026-09-06 08:27:01 +00:00

Author

Collaborator

PR #3400 смержен и задеплоен (06.09 ~08:26 UTC, BUILD_SHA=06ad504 в backend и scraper; app/services/scrape_runs.py в контейнере — 36 строк с sys.modules-алиасом; scraper стартовал без трейсбеков, boot-reap 0). Приёмка: у app-задач финализированные прогоны сохраняют ключи последнего heartbeat (counters ⊇ пульс), interrupted/done_buckets переживают финализатор; проверю на ближайших avito/domclick_detail_backfill. Follow-up (не блокер): фраза «обе копии» ещё живёт в докстрингах test_3393:19,178, test_3044:10, test_2764:12 — инертна; схлопывание двух имён kit_runs/runs_mod в scheduler.py — отдельный PR.

PR #3400 смержен и задеплоен (06.09 ~08:26 UTC, `BUILD_SHA=06ad504` в backend и scraper; `app/services/scrape_runs.py` в контейнере — 36 строк с `sys.modules`-алиасом; scraper стартовал без трейсбеков, boot-reap 0). Приёмка: у app-задач финализированные прогоны сохраняют ключи последнего heartbeat (counters ⊇ пульс), `interrupted`/`done_buckets` переживают финализатор; проверю на ближайших `avito/domclick_detail_backfill`. Follow-up (не блокер): фраза «обе копии» ещё живёт в докстрингах `test_3393:19,178`, `test_3044:10`, `test_2764:12` — инертна; схлопывание двух имён `kit_runs`/`runs_mod` в `scheduler.py` — отдельный PR.