lekss361/gendesign
1
0
Fork 0
Code Issues 143 Pull requests Projects Releases Packages Wiki Activity Actions

Скрапперы: чекпоинты — длинный прогон продолжается с места обрыва, а не начинается заново #3074

New issue
Closed
opened 2026-08-24 15:25:40 +00:00 by bot-backend · 6 comments
bot-backend commented 2026-08-24 15:25:40 +00:00
Collaborator
Copy link

Эпик: #2989. Выделено из #3029 по решению владельца (2026-08-24): из трёх вариантов защиты длинных скрап-прогонов от деплоя выбран вариант 3 — чекпоинты. Он не devops, поэтому живёт отдельной задачей со scope/backend, а #3029 остаётся про перенастройку деплой-конвейера под переезд.

Зачем

Замер на проде за 30 дней (комментарий в #3029): из 2462 прогонов 10 убито деплоем (status='cancelled'), и это ровно самые дорогие — те, что собирают город целиком.

source дата прожил до отмены
avito_full_load_exhaustive 23.08 26 мин
cian_full_load 20.08 41 мин
yandex_city_sweep 15.08 65 мин
yandex_city_sweep 12.08 2 ч 33 мин
avito_full_load_exhaustive 09.08 2 ч 58 мин
cian_full_load 31.07 2 ч 10 мин

Примерно один убитый прогон каждые три дня. Убитый прогон сегодня теряется целиком: следующий запуск начинает город с нуля.

Почему существующая защита не помогает

В deploy-tradein.yml уже стоят три меры (#1951): атомарный recreate, graceful drain до 5 минут, startup-reap зависших running. Плюс SCRAPER_RECREATE пропускает дренаж, если digest образа не изменился (#2679).

Дренаж не может помочь по построению: cian_full_load идёт ~400 минут, деплой столько ждать не будет и не должен. Дренаж спасает короткие прогоны, а деплой убивает длинные.

Что делать

Прогон должен продолжаться с места обрыва, а не начинаться заново. Это снимает проблему целиком — и для деплоя, и для падений, OOM, банов и рестартов хоста, то есть для всех пяти видов обрыва сразу, а не только для одного.

Ориентировочные требования (уточнить при разборе, а не принимать на веру):

  • Единица чекпоинта — то, что уже есть в цикле обхода: страница выдачи / участок города / диапазон фильтра. Не изобретать новую разбивку, если существующий цикл уже итерируется чем-то естественным.
  • Чекпоинт пишется в БД (рядом со scrape_runs), а не в файл — контейнер пересоздаётся, том может не пережить.
  • Запись чекпоинта должна быть дешёвой и не превращаться в ещё один источник записи на каждый оффер (см. #2989: listings уже получает 198 апдейтов на строку).
  • При старте прогон обязан явно решать: продолжить незавершённый или начать новый, и это решение должно быть видно в логе и в scrape_runs.
  • Возобновлённый прогон не должен ломать дедупликацию и статистику: done по продолженному прогону обязан означать то же, что и раньше.
  • Устаревший чекпоинт (выдача уехала, фильтр больше не отдаёт ту же страницу) должен обнаруживаться, а не приводить к молчаливой дыре в покрытии.

Границы

  • Это правка Python в скрапперах trade-in (tradein-mvp/backend/...), деплой-скриптов НЕ касается.
  • Задача выглядит больше одного захода — при разборе разбить по источникам: сначала один скраппер целиком как образец (кандидат — cian_full_load, самый длинный), потом остальные по образцу.

Приёмка

  • Прогон, убитый на середине, при следующем запуске продолжается, а не начинается заново
  • Продолжение видно в scrape_runs и в логе явной записью
  • Покрытие продолженного прогона равно покрытию непрерывного (сверка на одном городе)
  • Стоимость чекпоинтов измерена: сколько дополнительных записей в БД на прогон
  • Устаревший чекпоинт обнаруживается и приводит к честному перезапуску, а не к дыре

Остаётся в #3029 (не здесь)

Вариант 1 («не пересоздавать scraper, если бежит длинный прогон — отложить») — дешёвая заплатка, доступная прямо сейчас и не требующая Python. Она строго не хуже текущего поведения (сейчас прогон и так теряется). Владелец выбрал чекпоинты как целевое решение; отдельно стоит решить, ставить ли заплатку на время до их появления — цена заплатки в том, что scraper может на несколько часов отставать от backend по образу, а образ у них ОДИН (#2679).

Refs #3029, #2989, #1951, #2679

Эпик: #2989. Выделено из #3029 по решению владельца (2026-08-24): из трёх вариантов защиты длинных скрап-прогонов от деплоя выбран **вариант 3 — чекпоинты**. Он не devops, поэтому живёт отдельной задачей со `scope/backend`, а #3029 остаётся про перенастройку деплой-конвейера под переезд. ## Зачем Замер на проде за 30 дней (комментарий в #3029): из 2462 прогонов **10 убито деплоем** (`status='cancelled'`), и это ровно самые дорогие — те, что собирают город целиком. | source | дата | прожил до отмены | |---|---|---| | avito_full_load_exhaustive | 23.08 | 26 мин | | cian_full_load | 20.08 | 41 мин | | yandex_city_sweep | 15.08 | 65 мин | | yandex_city_sweep | 12.08 | 2 ч 33 мин | | avito_full_load_exhaustive | 09.08 | 2 ч 58 мин | | cian_full_load | 31.07 | 2 ч 10 мин | Примерно один убитый прогон каждые три дня. Убитый прогон сегодня теряется целиком: следующий запуск начинает город с нуля. ## Почему существующая защита не помогает В `deploy-tradein.yml` уже стоят три меры (#1951): атомарный recreate, graceful drain до 5 минут, startup-reap зависших `running`. Плюс `SCRAPER_RECREATE` пропускает дренаж, если digest образа не изменился (#2679). Дренаж не может помочь **по построению**: `cian_full_load` идёт ~400 минут, деплой столько ждать не будет и не должен. Дренаж спасает короткие прогоны, а деплой убивает длинные. ## Что делать Прогон должен **продолжаться с места обрыва**, а не начинаться заново. Это снимает проблему целиком — и для деплоя, и для падений, OOM, банов и рестартов хоста, то есть для всех пяти видов обрыва сразу, а не только для одного. Ориентировочные требования (уточнить при разборе, а не принимать на веру): - Единица чекпоинта — то, что уже есть в цикле обхода: страница выдачи / участок города / диапазон фильтра. Не изобретать новую разбивку, если существующий цикл уже итерируется чем-то естественным. - Чекпоинт пишется в БД (рядом со `scrape_runs`), а не в файл — контейнер пересоздаётся, том может не пережить. - Запись чекпоинта должна быть дешёвой и не превращаться в ещё один источник записи на каждый оффер (см. #2989: `listings` уже получает 198 апдейтов на строку). - При старте прогон обязан **явно** решать: продолжить незавершённый или начать новый, и это решение должно быть видно в логе и в `scrape_runs`. - Возобновлённый прогон не должен ломать дедупликацию и статистику: `done` по продолженному прогону обязан означать то же, что и раньше. - Устаревший чекпоинт (выдача уехала, фильтр больше не отдаёт ту же страницу) должен обнаруживаться, а не приводить к молчаливой дыре в покрытии. ## Границы - Это правка Python в скрапперах trade-in (`tradein-mvp/backend/...`), деплой-скриптов НЕ касается. - Задача выглядит больше одного захода — при разборе разбить по источникам: сначала один скраппер целиком как образец (кандидат — `cian_full_load`, самый длинный), потом остальные по образцу. ## Приёмка - [ ] Прогон, убитый на середине, при следующем запуске продолжается, а не начинается заново - [ ] Продолжение видно в `scrape_runs` и в логе явной записью - [ ] Покрытие продолженного прогона равно покрытию непрерывного (сверка на одном городе) - [ ] Стоимость чекпоинтов измерена: сколько дополнительных записей в БД на прогон - [ ] Устаревший чекпоинт обнаруживается и приводит к честному перезапуску, а не к дыре ## Остаётся в #3029 (не здесь) Вариант 1 («не пересоздавать scraper, если бежит длинный прогон — отложить») — дешёвая заплатка, доступная прямо сейчас и не требующая Python. Она **строго не хуже** текущего поведения (сейчас прогон и так теряется). Владелец выбрал чекпоинты как целевое решение; отдельно стоит решить, ставить ли заплатку на время до их появления — цена заплатки в том, что scraper может на несколько часов отставать от backend по образу, а образ у них ОДИН (#2679). Refs #3029, #2989, #1951, #2679
lekss361 commented 2026-08-26 05:53:25 +00:00
Owner
Copy link

Замер цены отсутствия чекпоинтов: недельный полный сбор Авито не завершился ни разу за 8 недель

Наткнулся при разборе отмен деплоем (#3029). avito_full_load_exhaustive идёт раз в неделю, по субботам. Все восемь последних прогонов:

старт статус шёл, мин собрано причина
08-23 14:24 cancelled 26 0 деплой пересоздал scraper
08-16 13:37 banned (platform) 67 582 SERP вернул 429 на page=1
08-09 14:02 cancelled 178 5496 деплой пересоздал scraper
08-02 14:52 banned (infra) 154 0 browser-sidecar недоступен (прокси лежал)
07-26 13:10 banned 3 0
07-19 14:46 banned 4 0
07-12 13:07 banned 5 0
07-05 14:21 banned 28 0

Ни одного done. Шесть банов и две отмены деплоем.

Почему это довод именно за чекпоинты

Две отмены — прямой аргумент: прогон 08-09 отдал 178 минут и 5496 объявлений в мусор, потому что перезапуск начинается с нуля. Но и шесть банов лечатся тем же: platform-бан на page=1 (08-16) и падение прокси на page=3 (08-02) — это обрывы в середине, после которых при чекпоинте прогон продолжился бы со следующей страницы через час, а не ждал бы неделю до следующего расписания.

Сейчас же любой обрыв — деплой, 429, упавший сайдкар — стоит целой недели: следующая попытка только через 7 дней и снова с нуля. Отсюда и нулевая результативность за два месяца.

Что уже сделано правильно и помогает

Диагностика есть и она честная: ban_kind различает platform и infra (#2686/#2764), а отмену деплоем механизм подписывает дословно — deploy #1951: tradein-scraper recreated mid-run (startup-reap, checkpoint ...). То есть данных для чекпоинта достаточно: момент обрыва фиксируется, страница известна. Не хватает только возобновления с него.

Замер снят на живой БД Poincare 2026-08-26; выборка — scrape_runs по source='avito_full_load_exhaustive'.

## Замер цены отсутствия чекпоинтов: недельный полный сбор Авито не завершился **ни разу за 8 недель** Наткнулся при разборе отмен деплоем (#3029). `avito_full_load_exhaustive` идёт раз в неделю, по субботам. Все восемь последних прогонов: | старт | статус | шёл, мин | собрано | причина | |---|---|---|---|---| | 08-23 14:24 | cancelled | 26 | 0 | деплой пересоздал scraper | | 08-16 13:37 | banned (`platform`) | 67 | 582 | SERP вернул 429 на page=1 | | 08-09 14:02 | cancelled | **178** | **5496** | деплой пересоздал scraper | | 08-02 14:52 | banned (`infra`) | 154 | 0 | browser-sidecar недоступен (прокси лежал) | | 07-26 13:10 | banned | 3 | 0 | | | 07-19 14:46 | banned | 4 | 0 | | | 07-12 13:07 | banned | 5 | 0 | | | 07-05 14:21 | banned | 28 | 0 | | **Ни одного `done`.** Шесть банов и две отмены деплоем. ### Почему это довод именно за чекпоинты Две отмены — прямой аргумент: прогон 08-09 отдал 178 минут и 5496 объявлений в мусор, потому что перезапуск начинается с нуля. Но и шесть банов лечатся тем же: `platform`-бан на page=1 (08-16) и падение прокси на page=3 (08-02) — это обрывы в середине, после которых при чекпоинте прогон продолжился бы со следующей страницы через час, а не ждал бы неделю до следующего расписания. Сейчас же **любой** обрыв — деплой, 429, упавший сайдкар — стоит целой недели: следующая попытка только через 7 дней и снова с нуля. Отсюда и нулевая результативность за два месяца. ### Что уже сделано правильно и помогает Диагностика есть и она честная: `ban_kind` различает `platform` и `infra` (#2686/#2764), а отмену деплоем механизм подписывает дословно — `deploy #1951: tradein-scraper recreated mid-run (startup-reap, checkpoint ...)`. То есть данных для чекпоинта достаточно: момент обрыва фиксируется, страница известна. Не хватает только возобновления с него. Замер снят на живой БД Poincare 2026-08-26; выборка — `scrape_runs` по `source='avito_full_load_exhaustive'`.
bot-backend commented 2026-08-26 07:57:20 +00:00
Author
Collaborator
Copy link

Сделано в PR #3098 (смержен 26.08) + замер, закрывающий вопрос «остальные по образцу»

1. Дыра в уже существующем механизме: чекпоинт жил только в памяти до первого прогресса

Прод-факт: 4707 (avito full load, 23.08) подхватил 42 корзины у 4117, был убит деплоем на 26-й минуте — до завершения первой новой корзины — и не успел ни разу написать heartbeat с done_buckets. Его собственный чекпоинт пуст → следующий кандидат увидел бы no_checkpoint, и цепочка оборвалась бы при живом resume_chain. Теперь _resume_decision при вердикте ok кладёт done_buckets предшественника в counters нового прогона прямо при claim.

2. yandex_city_sweep получил чекпоинты (второй по цене источник из таблицы убитых)

Единица — combo (сегмент × комнатность × ценовой диапазон), ровно то, чем цикл уже итерируется. Провайдер: skip_combos + on_combo для каждого пройденного combo, включая пустые (иначе пустой combo не попадает в чекпоинт и перечитывается вечно). Планировщик: generic-механизм #2845 бесплатно (params-идентичность, свежесть, потолок цепочки). Подхват гейтится единственным якорем — combo_label якоря не содержит; на проде все свипы одноякорные.

3. «Потом остальные по образцу» — замер говорит, что образец больше некуда прикладывать

30 дней, Poincare:

source прогонов оборвано ср. мин макс мин
yandex_city_sweep 30 4 45 153
cian_city_sweep 31 0 33 68
avito_city_sweep 36 15 4 18
domclick_city_sweep 31 26 3 24
  • cian_city_sweep: ноль обрывов за месяц — 33-минутные прогоны дренаж деплоя переживают; чекпоинт был бы кодом без случая применения.
  • avito/domclick_city_sweep: обрывов много, но прогоны умирают на 3-4-й минуте от банов (QRATOR) — накопленного прогресса, который стоило бы спасать, не существует. Их лечит трек #3044/#3045, а не resume.
  • avito/cian full_load покрыты #930/#2845 ещё раньше.

То есть длинные прогоны, ради которых задача заводилась, теперь чекпоинтятся все. Приёмка по яндексу: у следующего оборванного yandex_city_sweep преемник должен показать resume_reason='ok' и растущий done_buckets; при такте в сутки — проверяемо в течение недели (обрывы у него ~раз в неделю).

## Сделано в PR #3098 (смержен 26.08) + замер, закрывающий вопрос «остальные по образцу» ### 1. Дыра в уже существующем механизме: чекпоинт жил только в памяти до первого прогресса Прод-факт: 4707 (avito full load, 23.08) подхватил 42 корзины у 4117, был убит деплоем на 26-й минуте — **до завершения первой новой корзины** — и не успел ни разу написать heartbeat с `done_buckets`. Его собственный чекпоинт пуст → следующий кандидат увидел бы `no_checkpoint`, и цепочка оборвалась бы при живом `resume_chain`. Теперь `_resume_decision` при вердикте `ok` кладёт `done_buckets` предшественника в counters нового прогона прямо при claim. ### 2. yandex_city_sweep получил чекпоинты (второй по цене источник из таблицы убитых) Единица — combo (сегмент × комнатность × ценовой диапазон), ровно то, чем цикл уже итерируется. Провайдер: `skip_combos` + `on_combo` для каждого пройденного combo, **включая пустые** (иначе пустой combo не попадает в чекпоинт и перечитывается вечно). Планировщик: generic-механизм #2845 бесплатно (params-идентичность, свежесть, потолок цепочки). Подхват гейтится единственным якорем — combo_label якоря не содержит; на проде все свипы одноякорные. ### 3. «Потом остальные по образцу» — замер говорит, что образец больше некуда прикладывать 30 дней, Poincare: | source | прогонов | оборвано | ср. мин | макс мин | |---|---:|---:|---:|---:| | yandex_city_sweep | 30 | 4 | **45** | **153** | ← покрыт этим PR | cian_city_sweep | 31 | **0** | 33 | 68 | | avito_city_sweep | 36 | 15 | **4** | 18 | | domclick_city_sweep | 31 | 26 | **3** | 24 | - **cian_city_sweep**: ноль обрывов за месяц — 33-минутные прогоны дренаж деплоя переживают; чекпоинт был бы кодом без случая применения. - **avito/domclick_city_sweep**: обрывов много, но прогоны умирают на 3-4-й минуте от банов (QRATOR) — накопленного прогресса, который стоило бы спасать, не существует. Их лечит трек #3044/#3045, а не resume. - avito/cian **full_load** покрыты #930/#2845 ещё раньше. То есть длинные прогоны, ради которых задача заводилась, теперь чекпоинтятся все. Приёмка по яндексу: у следующего оборванного `yandex_city_sweep` преемник должен показать `resume_reason='ok'` и растущий `done_buckets`; при такте в сутки — проверяемо в течение недели (обрывы у него ~раз в неделю).
bot-backend commented 2026-08-27 20:11:32 +00:00
Author
Collaborator
Copy link

Перепроверка 27.08.2026 (после пересборки базы 25-26.08 и переезда продукта на Poincare). Тело тикета писалось 20-24.08 по старой инфраструктуре.

Посылка держится: таблиц и колонок чекпоинта нет, курсор last_id живёт в памяти прогона (services/scheduler.py:198,244 — heartbeat есть, персиста позиции нет), у *_full_load и city_sweep резюма нет вовсе.

Свежий замер ущерба: 27.08 деплой убил 4 sweep'а длиной до 343 минут; за 30 суток 14 cancelled из 2511.

**Перепроверка 27.08.2026** (после пересборки базы 25-26.08 и переезда продукта на Poincare). Тело тикета писалось 20-24.08 по старой инфраструктуре. Посылка держится: таблиц и колонок чекпоинта нет, курсор `last_id` живёт в памяти прогона (`services/scheduler.py:198,244` — heartbeat есть, персиста позиции нет), у `*_full_load` и `city_sweep` резюма нет вовсе. Свежий замер ущерба: 27.08 деплой убил 4 sweep'а длиной до 343 минут; за 30 суток 14 cancelled из 2511.
bot-backend commented 2026-08-27 20:19:46 +00:00
Author
Collaborator
Copy link

Поправка к моему комментарию выше — он неверен. Я написал «чекпоинтов нет, курсор живёт в памяти прогона». Механизм существует и работает; я искал слово checkpoint, а реализация называется done_buckets / _done_anchors, и смотрел прод-строки, набранные ДО деплоя.

Что есть на самом деле (проверено 27.08)

Чекпоинт живёт в scrape_runs.counters (jsonb) ключом done_buckets, пишется мержем через runs.update_heartbeat (orchestration/runs.py:686,708) — новых записей в БД не добавляет. Решение «продолжить или начать заново» — _resume_decision / _pick_resume (orchestration/scheduler.py:607,672), статусы подхвата {banned, cancelled, failed} (:570), протухание = interval_days + 1 сутки → resume_reason='checkpoint_stale'.

Единица возобновления по источникам: бакет бисекции «комнатность × цена» у *_full_load, combo «сегмент/комнатность/цена» у yandex_city_sweep, якорь у avito_city_sweep / cian_city_sweep, корзина у domclick_city_sweep. resume_run_id принимают 7 точек входа в pipeline.py (1137, 2133, 2766, 3333, 3699, 3937, 4221).

Коммиты по этому тикету уже смержены: 05869517 и 68daac2a (26.08, якоря для avito/cian city sweep), ede5653a (27.08, корзины для domclick).

Почему прод показывал ноль. Образ с чекпоинтами задеплоен 27.08 в 19:12 UTC. Все прогоны с done_buckets = 0, на которые я ссылался, стартовали до этого. Первый же прогон после деплоя — yandex_city_sweep_serov, 19:57 UTC — чекпоинт пишет. Код подтверждён внутри работающего контейнера (_done_anchors встречается 6 раз в pipeline.py образа).

Что действительно осталось

  1. avito_newbuilding_sweep не умеет возобновляться вовсе. run_avito_newbuilding_sweep (pipeline.py:1939) — единственный длинный свип без параметра resume_run_id. Цена: 27.08 прогон убит на 343-й минуте, собранное потеряно целиком. Единица напрашивается страничная (pages=20).
  2. Слишком крупная единица у cian_full_load. Один бакет живёт дольше 40 минут: run 4464 отменён на 41-й минуте с done_buckets = 0, run 4999 — 79 минут и тоже ноль. Нужна под-бакетная фиксация ("room:lo:hi#page") либо промежуточная запись недособранного бакета.

Ущерб, ради которого это доделывается (14 суток, heartbeat_at - started_at): avito_city_sweep_nizhniy_tagil 360 мин zombie, avito_city_sweep_kamensk_uralskiy 360 zombie, avito_newbuilding_sweep 343 cancelled, avito_city_sweep_pervouralsk 245 cancelled. За 30 суток потеряно 14 cancelled + 8 zombie, из них 7 — только 27.08.

Курсорные backfill-циклы (WHERE id > last_id, backend/app/services/scheduler.py:244,433) — другой паттерн, вынес отдельно.

Снимаю status/needs-analysis: разбор сделан.

**Поправка к моему комментарию выше — он неверен.** Я написал «чекпоинтов нет, курсор живёт в памяти прогона». Механизм существует и работает; я искал слово `checkpoint`, а реализация называется `done_buckets` / `_done_anchors`, и смотрел прод-строки, набранные ДО деплоя. ## Что есть на самом деле (проверено 27.08) Чекпоинт живёт в `scrape_runs.counters` (jsonb) ключом `done_buckets`, пишется мержем через `runs.update_heartbeat` (`orchestration/runs.py:686,708`) — новых записей в БД не добавляет. Решение «продолжить или начать заново» — `_resume_decision` / `_pick_resume` (`orchestration/scheduler.py:607,672`), статусы подхвата `{banned, cancelled, failed}` (`:570`), протухание = `interval_days + 1 сутки` → `resume_reason='checkpoint_stale'`. Единица возобновления по источникам: бакет бисекции «комнатность × цена» у `*_full_load`, combo «сегмент/комнатность/цена» у `yandex_city_sweep`, якорь у `avito_city_sweep` / `cian_city_sweep`, корзина у `domclick_city_sweep`. `resume_run_id` принимают **7** точек входа в `pipeline.py` (1137, 2133, 2766, 3333, 3699, 3937, 4221). Коммиты по этому тикету уже смержены: `05869517` и `68daac2a` (26.08, якоря для avito/cian city sweep), `ede5653a` (27.08, корзины для domclick). **Почему прод показывал ноль.** Образ с чекпоинтами задеплоен 27.08 в 19:12 UTC. Все прогоны с `done_buckets = 0`, на которые я ссылался, стартовали до этого. Первый же прогон после деплоя — `yandex_city_sweep_serov`, 19:57 UTC — чекпоинт пишет. Код подтверждён внутри работающего контейнера (`_done_anchors` встречается 6 раз в `pipeline.py` образа). ## Что действительно осталось 1. **`avito_newbuilding_sweep` не умеет возобновляться вовсе.** `run_avito_newbuilding_sweep` (`pipeline.py:1939`) — единственный длинный свип без параметра `resume_run_id`. Цена: 27.08 прогон убит на **343-й минуте**, собранное потеряно целиком. Единица напрашивается страничная (`pages=20`). 2. **Слишком крупная единица у `cian_full_load`.** Один бакет живёт дольше 40 минут: run 4464 отменён на 41-й минуте с `done_buckets = 0`, run 4999 — 79 минут и тоже ноль. Нужна под-бакетная фиксация (`"room:lo:hi#page"`) либо промежуточная запись недособранного бакета. Ущерб, ради которого это доделывается (14 суток, `heartbeat_at - started_at`): `avito_city_sweep_nizhniy_tagil` 360 мин zombie, `avito_city_sweep_kamensk_uralskiy` 360 zombie, `avito_newbuilding_sweep` 343 cancelled, `avito_city_sweep_pervouralsk` 245 cancelled. За 30 суток потеряно 14 cancelled + 8 zombie, из них 7 — только 27.08. Курсорные backfill-циклы (`WHERE id > last_id`, `backend/app/services/scheduler.py:244,433`) — другой паттерн, вынес отдельно. Снимаю `status/needs-analysis`: разбор сделан.
bot-backend removed the
status/needs-analysis
 label 2026-08-27 20:20:10 +00:00
bot-backend commented 2026-08-27 20:22:56 +00:00
Author
Collaborator
Copy link

Поправка к числам в моём комментарии выше. Я мерил длительность как finished_at - started_at. Для cancelled и zombie это неверно: finished_at проставляет финализатор или reap_zombies (orchestration/scheduler.py:397), иногда через часы после реальной смерти прогона. Правильная мера — heartbeat_at - started_at: heartbeat_at ставится при вставке строки (runs.py:583) и обновляется по ходу цикла, а не только на завершении единицы (в avito city sweep вызовов update_heartbeat девять, в newbuilding — два внутри страничного цикла).

Что получилось при правильном замере

source прогонов за 30 сут max, мин avg, мин чекпоинт
cian_full_load 14 449 168 есть
avito_full_load 9 197 32 есть
avito_full_load_exhaustive 4 172 98 есть
avito_detail_backfill 71 150 13 нет
house_imv_backfill 13 82 26 нет
cian_history_backfill 18 79 45 нет
cian_city_sweep 31 68 33 есть
yandex_city_sweep 30 68 37 есть
yandex_detail_backfill 29 60 40 нет
geocode_missing_listings 30 53 14 нет
avito_newbuilding_sweep 30 27 8 нет

Снимаю два своих утверждения:

  • «avito_newbuilding_sweep убит на 343-й минуте» — неверно. Тот прогон 27.08 прожил 0 минут (heartbeat ни разу не сдвинулся), а 343 — отметка финализатора. За 30 суток этот свип ни разу не жил дольше 27 минут при среднем 8. Он остаётся единственным свипом без resume_run_id, но это вопрос полноты покрытия, а не потерь: приоритет P1 он не заслуживает.
  • «zombie-прогоны 27.08 прожили 360 минут» — неверно, все прожили 0 минут. Семь потерь 27.08 — это не убитые деплоем длинные прогоны, а прогоны, которые в день переезда не смогли стартовать вовсе. Отдельный разбор, к чекпоинтам отношения не имеет.

Куда на самом деле сместился приоритет. Все пять источников без чекпоинтов — курсорные backfill-циклы, и среди них avito_detail_backfill с максимумом 150 минут и 71 прогоном за месяц. Это #3168, и по числам он теперь важнее остатка здесь.

Остаток #3074 после поправки: под-бакетная гранулярность cian_full_load (449 минут максимум, один бакет живёт дольше 40 минут — run 4464 отменён на 41-й минуте с done_buckets = 0) и resume_run_id для avito_newbuilding_sweep как завершение покрытия.

**Поправка к числам в моём комментарии выше.** Я мерил длительность как `finished_at - started_at`. Для `cancelled` и `zombie` это неверно: `finished_at` проставляет финализатор или `reap_zombies` (`orchestration/scheduler.py:397`), иногда через часы после реальной смерти прогона. Правильная мера — `heartbeat_at - started_at`: `heartbeat_at` ставится при вставке строки (`runs.py:583`) и обновляется по ходу цикла, а не только на завершении единицы (в avito city sweep вызовов `update_heartbeat` девять, в newbuilding — два внутри страничного цикла). ## Что получилось при правильном замере | source | прогонов за 30 сут | max, мин | avg, мин | чекпоинт | |---|---|---|---|---| | `cian_full_load` | 14 | **449** | 168 | есть | | `avito_full_load` | 9 | 197 | 32 | есть | | `avito_full_load_exhaustive` | 4 | 172 | 98 | есть | | `avito_detail_backfill` | 71 | **150** | 13 | **нет** | | `house_imv_backfill` | 13 | 82 | 26 | **нет** | | `cian_history_backfill` | 18 | 79 | 45 | **нет** | | `cian_city_sweep` | 31 | 68 | 33 | есть | | `yandex_city_sweep` | 30 | 68 | 37 | есть | | `yandex_detail_backfill` | 29 | 60 | 40 | **нет** | | `geocode_missing_listings` | 30 | 53 | 14 | **нет** | | `avito_newbuilding_sweep` | 30 | **27** | 8 | нет | **Снимаю два своих утверждения:** - «`avito_newbuilding_sweep` убит на 343-й минуте» — неверно. Тот прогон 27.08 прожил **0 минут** (heartbeat ни разу не сдвинулся), а 343 — отметка финализатора. За 30 суток этот свип ни разу не жил дольше **27 минут** при среднем 8. Он остаётся единственным свипом без `resume_run_id`, но это вопрос полноты покрытия, а не потерь: приоритет P1 он не заслуживает. - «zombie-прогоны 27.08 прожили 360 минут» — неверно, все прожили **0 минут**. Семь потерь 27.08 — это не убитые деплоем длинные прогоны, а прогоны, которые в день переезда не смогли стартовать вовсе. Отдельный разбор, к чекпоинтам отношения не имеет. **Куда на самом деле сместился приоритет.** Все пять источников без чекпоинтов — курсорные backfill-циклы, и среди них `avito_detail_backfill` с максимумом 150 минут и 71 прогоном за месяц. Это #3168, и по числам он теперь важнее остатка здесь. Остаток #3074 после поправки: под-бакетная гранулярность `cian_full_load` (449 минут максимум, один бакет живёт дольше 40 минут — run 4464 отменён на 41-й минуте с `done_buckets = 0`) и `resume_run_id` для `avito_newbuilding_sweep` как завершение покрытия.
lekss361 commented 2026-08-30 08:13:55 +00:00
Owner
Copy link

Ревизия открытых задач 2026-08-30. Проверено в коде на forgejo/main — сделано, закрываю.

Чекпоинты приземлены по всем свипам: tests/test_3074_avito_anchor_checkpoint.py, test_3074_avito_newbuilding_checkpoint.py, test_3074_cian_anchor_checkpoint.py, test_3074_yandex_sweep_checkpoint.py, test_3074_checkpoint_survives_claim.py.

Ревизия открытых задач 2026-08-30. Проверено в коде на forgejo/main — сделано, закрываю. Чекпоинты приземлены по всем свипам: tests/test_3074_avito_anchor_checkpoint.py, test_3074_avito_newbuilding_checkpoint.py, test_3074_cian_anchor_checkpoint.py, test_3074_yandex_sweep_checkpoint.py, test_3074_checkpoint_survives_claim.py.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
fix/3469-showcase-schedule
fix/3443-caddy-selfdowntime
fix/3463-db-statement-timeout
fix/3448-caddy-only-detection
fix/metrics-deploy-reloads-prometheus
feat/landing-showcase-band
fix/3452-corridor-advisory-zone
fix/alert-value-is-not-the-ratio
fix/3449-geocoder-cancel-orphan
fix/3451-tvf-deals-rooms
fix/msk-collector-net-retry
feat/msk-yandex-import
fix/3051-fetch-deals-rooms-dropped
feat/msk-collector-cian
fix/3256-asking-to-sold-buckets
fix/3083-estimate-throughput
fix/3274-part2b-gate
fix/3274-part2a-caddy-retry
fix/perimeter-smoke-retry-on-no-response
fix/3274-zero-downtime-frontend
fix/3274-part1-deploy-swap
fix/3412-cian-instance-relaunch
fix/3415-bucket-done-only-if-phases-ok
chore/backend-pool-wiring-tails
fix/3398-pool-ops-off-event-loop
fix/3402-followups-ban-kinds-curl
feat/3404-proxy-run-attribution
fix/cian-captcha-is-platform-refusal
refactor/3390-single-runs-module
fix/3398-estimator-valuations-proxy-pool
fix/3386-estimator-imv-proxy-pool
fix/3394-cian-sweep-houses-proxy-pool
fix/3393-interrupted-runs-outside-streaks
fix/drain-marks-inflight-app-tasks
fix/3384-no-proxy-at-batch-start
fix/3197-yandex-newbuilding-proxy-pool
fix/3376-price-history-decimal-slips
fix/backend-proxy-pool-flags
fix/3197-cian-history-backfill-proxy-pool
fix/3288-sidecar-ban-status-code
fix/3375-yandex-fullload-on-bucket-contract
fix/3380-deploy-metrics-alloy-recreate
fix/3354-alloy-query-secret-scrub
fix/3360-admin-prefix-anon-404
fix/3368-yandex-leaf-complete-flag
fix/3369-domclick-cancel-checkpoint
fix/3225-domklik-diff-percent
fix/smoke-history-path
fix/3288-breaker-block-kind
fix/3355-drain-mark-fullloads
fix/3191-yandex-detail-completeness
fix/3359-containment-cian-yandex
fix/3323-payment-init-fail-409
fix/3172-freshness-by-data
fix/3288-avito-ban-per-source
fix/3253-domclick-house-fields
fix/3312-defer-interval-minutes
fix/3324-rbac-401-oracle
fix/3274-deploy-window-error-page
fix/3343-auth-latency-flaky
fix/3315-exhaustive-containment-skip
fix/3338-backfill-save-false
fix/3339-thin-market-badge
fix/3154-glitchtip-secret-log-leak
fix/3333-drain-mark-all-sweeps
fix/3323-imv-thin-market-gate
fix/3324-mera-perimeter
fix/3323-coverage-copy-honesty
fix/3332-domclick-counter-identity
fix/3324-ptica-deploy-gate
fix/3316-role-single-source
fix/3319-citysweep-checkpoint
fix/3322-rosseti-stable-key
fix/3320-v2-honest-zeros
fix/3321-draft-fields-survive
fix/mera-mobile-nav-and-sticky
fix/audit-form-ux
fix/audit-coverage-500
fix/audit-dkp-price
fix/audit-accuracy-window
fix/audit-faq-contradiction
fix/perimeter-smoke-after-payments
feat/b2c-landing-honest-copy
feat/b2c-landing-live-numbers
feat/b2c-v3-becomes-root
feat/b2c-v3-port-v1-blocks
feat/b2c-report-redesign
feat/b2c-landing-v3-full
feat/3192b-yandex-phones
feat/3168-backfill-cursor-resume
fix/3118-domclick-no-proxy
fix/3170-yandex-combo-checkpoint
feat/3074-newbuilding-sweep-resume
fix/3163-infra-topic-default
fix/3156-tgbot-error-type
feat/3163-infra-topic-split
fix/3161-alertmanager-route-prefix
fix/3155-prometheus-no-alertmanager
feat/2997-drop-listings-geom-idx
fix/3122-boot-reap-observable
feat/3122-boot-reap
feat/3051-houses-region-code
feat/3074-cian-anchor-checkpoint
feat/3051-region-registry
fix/2656-anchor-ratio-freshness
fix/3114-scrub-credentials-in-logs
fix/3078-grafana-single-auth
fix/3081-honest-progress
fix/3063-pro-seller-derive
fix/3074-checkpoint-survives-claim
fix/3082-estimate-concurrency
fix/3044-enriched-total-seen
fix/telegram-pin-selectel-override
chore/compose-host-parameterised-resources
fix/revisit-floor-lateral-lookup
fix/avito-detail-fields
fix/3034-avito-fingerprint
fix/avito-offers-per-page
feat/3033-avito-secondary-filter
fix/2203-restore-drill-readiness
feat/2203-backup-staleness-and-forgejo
fix/2990-clean-start-initdb
fix/2924-yandex-jk-resolve-tried-at
fix/2992-upsert-distinct-gate
fix/2998-rosreestr-q2-partitions
feat/2936-null-penalty-flag
fix/2996-mislocated-houses-watchdog
fix/1781-secondary-only-param
fix/2934-risks-coverage
fix/2464-three-small
fix/2464-two-docstrings
fix/2464-zouit-label
fix/2464-building-pct-guard
fix/2464-download-binary-retry
fix/2986-permits-key
fix/2464-tep-docstring
fix/2464-act-date-backfill
fix/2464-area-bin-null
fix/2464-act-date-citation
fix/2464-detect-kind
fix/2464-status-negation
fix/2464-objective-zombie-sweep
fix/2464-inert-retry-config
fix/2464-default-profile-unique
fix/2464-zombie-any-running
fix/2464-catalog-skipped-counter
fix/2464-heat-loader-tx
fix/2464-objective-run-stuck
fix/2464-catalog-waf-breaker
fix/2464-lock-key-order
fix/2464-backfill-waf-abort
fix/2464-docs-vs-code
fix/2464-land-reservation-dedup
fix/2464-manual-list-validation
fix/2464-capacity-savepoints
fix/2464-leads-window-naming
fix/2464-zouit-count-label
fix/2464-catalog-batch-commits
fix/2464-html-zoning-fallback
fix/2950-lock-wait-observable
fix/2956-freshness-counts-failed-harvest
fix/2950-host-lock
fix/2953-nominatim-throttle
fix/2950-deploy-docker-lock
fix/2464-ird-lookups-savepoint
fix/2464-parcels-savepoint-pair
fix/2674-deal-floor-display
docs/2854-stale-justifications
chore/2857-drop-placeholder-columns
fix/2855-probe-protected-path
fix/2674-has-panorama
fix/house-imv-anchor-era
fix/2674-quality-cadastre-column
fix/sber-freshness-guard
fix/dkp-corridor-as-of
fix/scheduler-resume-checkpoint
fix/quarter-target-from-neighbour
fix/2687-domclick-ban-kind-platform
fix/2814-address-backfill
fix/2677-house-anchor-renovation
feat/tradein-paid-retention
chore/ci-config-cleanup
feat/mera-b2c-privacy
feat/tradein-payments-schema
chore/2674-dead-code-sweep
fix/2674-matching-tiers-honesty
fix/2674-avito-full-load-coverage
fix/2674-admin-metrics-honesty
fix/2674-writers-honor-schema
fix/2674-alerts-actually-fire
fix/2679-scraper-deploy-parity
fix/2674-house-imv-params
fix/2666-discount-plausibility-gate
feat/2435-cian-house-enrichment
fix/2657-domclick-block-not-done
feat/2571-login-throttle
fix/2660-display-freshness-segment
fix/2658-loud-skip-status
fix/2603-geocode-city-hint-tails
feat/2600-per-source-proxy-health
feat/tradein-v2-exposure-in-result-card
fix/tradein-avito-browser-proxy-pool
chore/tradein-cut-wasteful-scraping
fix/tradein-v2-deals-fallback-visible
fix/tradein-city-stamp-geo-guard
fix/tradein-cian-oblast-secondary
fix/tradein-implausible-build-year
fix/tradein-snapshot-query-perf
fix/tradein-asking-sold-city-scope
chore/tradein-purge-dead-mobileproxy
feat/tradein-asocks-rotation
fix/tradein-region-code-foreign-cities
fix/tradein-proxy-pool-self-healing
fix/tradein-backfill-listing-city-from-url
fix/tradein-geocode-queue-active-only
fix/tradein-geocode-city-hint
chore/tradein-remove-yandex-scripts
fix/tradein-listing-city-from-sweep
chore/tradein-remove-yandex-geocoder
chore/tradein-remove-n1
fix/tradein-geocoder-fail-closed
fix/tradein-ui-city-label-clip
feat/tradein-ui-city-hint
fix/tradein-coords-backfill-city-gate
fix/tradein-geocoder-city-default
fix/tradein-anchor-geo-scope
fix/tradein-avito-detail-oblast
feat/tradein-price-bands-refresh
feat/tradein-caddy-cutover
fix/tradein-team-nav-and-401
feat/tradein-team-dashboard
fix/tradein-team-list-order
feat/tradein-team-api
feat/tradein-login-ui
feat/tradein-auth-core
feat/tradein-auth-password-foundation
feat/tradein-auth-users-schema
fix/tradein-rbac-test-user2-expired
fix/tradein-auth-revoke-user2
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels   
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

No labels
Fable 5 ревью
GG-форсайт
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
feedback/max
generative
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
ИРД
вторичка
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#3074
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?