lekss361/gendesign
1
0
Fork 0
Code Issues 143 Pull requests Projects Releases Packages Wiki Activity Actions

[HIGH] tradein/cian: detail-страницы отдают 403 на 50 из 50 попыток 15 дней подряд — прогон пишет errors=0 и done, все домовые поля Циана нулевые #2700

New issue
Closed
opened 2026-08-06 05:55:06 +00:00 by bot-backend · 5 comments
bot-backend commented 2026-08-06 05:55:06 +00:00
Collaborator
Copy link

Найдено при проверке «серия и высота потолков Циана не разбираются» (эпик #2674). Разбор работает — предпосылка опровергнута. Не работает то, что его кормит, и это не видно ни по одному статусу.

Прогон отчитывается успехом при стопроцентном отказе подзадачи

Четыре последних прогона cian_city_sweep, счётчики дословно:

3258 | 2026-08-06 02:49 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 0
3185 | 2026-08-05 04:16 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 48
3112 | 2026-08-04 03:25 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 45
3034 | 2026-08-03 04:59 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 15

Пятьдесят попыток из пятидесяти неудачны — каждый день. В последнем прогоне при этом errors_count: 0 и итоговая строка лога:

cian-sweep run_id=3258 done: anchors=5/5 lots=1680 (ins=59/upd=626) detail=0/50 houses=0/40 errors=0

«errors=0» напечатано в одной строке с «detail=0/50». Счётчик ошибок не считает отказы подзадач, поэтому прогон, у которого целое направление работы отказало полностью, внешне неотличим от здорового.

Причина

WARNING scraper_kit.providers.cian.detail: Cian detail fetch https://ekb.cian.ru/sale/flat/332663200/... → HTTP 403

HTTP 403 на каждой странице. Выдача при этом собирается нормально (1 680 лотов за прогон) — 403 приходит только на детальные страницы, которым нужна авторизация.

Согласуется с уже известным: куки Циана протухли 2026-06-30. Сегодня в 03:22 cian_history_backfill впервые честно отчитался skipped с причиной «куки Циана протухли (36 дн. назад)» — это работает #2658. Но второй потребитель тех же кук, cian_city_sweep, честного отказа не получил и продолжает отчитываться успехом.

Что из-за этого стоит

listings.detail_enriched_at у Циана заморожен на 2026-07-22 (15 дней), обогащено 1 571 из 21 799.

Все домовые поля, которые наполняет только Cian-detail, нулевые во всех 9 457 домах:

Поле Непустых
series_name 0
entrances 0
flat_count 0
heat_supply_type 0

Серия при этом выводится на экран (SaleShareList.tsx:192) — там всегда пусто.

Важное следствие для оценки чужих правок

Две правки разбора Циана уже смержены — BTI из offerData (c232772e, 2026-08-05 23:39) и разбор высоты потолков. Прогон cian_city_sweep бежал после деплоя обеих (2026-08-06 02:49) и дал ноль. То есть это не «не проверено, продюсер не запускался», а «запускался и заблокирован выше по потоку». Любая проверка этих правок будет давать ноль, пока 403 не снят, и трактовать этот ноль как «правка не работает» — ошибка.

Что нужно

  1. Владельцу: восстановить учётную запись/куки Циана. Автоперелогин недоступен — логин задекларирован в конфиге, но в проде отсутствует (#2674). Без этого весь Cian-detail стоит.
  2. errors_count обязан учитывать отказы подзадач. Прогон с detail_failed == detail_attempted не done. Паттерн уже есть у соседних источников (#2625/#2658/#2657).
  3. Проверка кук должна быть общей для всех потребителей, а не только у cian_history_backfill: сейчас один и тот же протухший ключ даёт честный skipped в одном задании и зелёный done в другом.

Связано: #2674, #2670, #2673, #2658, #2625, #2699, #2435.

Найдено при проверке «серия и высота потолков Циана не разбираются» (эпик #2674). Разбор **работает** — предпосылка опровергнута. Не работает то, что его кормит, и это не видно ни по одному статусу. ## Прогон отчитывается успехом при стопроцентном отказе подзадачи Четыре последних прогона `cian_city_sweep`, счётчики дословно: ``` 3258 | 2026-08-06 02:49 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 0 3185 | 2026-08-05 04:16 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 48 3112 | 2026-08-04 03:25 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 45 3034 | 2026-08-03 04:59 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 15 ``` Пятьдесят попыток из пятидесяти неудачны — **каждый день**. В последнем прогоне при этом `errors_count: 0` и итоговая строка лога: ``` cian-sweep run_id=3258 done: anchors=5/5 lots=1680 (ins=59/upd=626) detail=0/50 houses=0/40 errors=0 ``` **«errors=0» напечатано в одной строке с «detail=0/50».** Счётчик ошибок не считает отказы подзадач, поэтому прогон, у которого целое направление работы отказало полностью, внешне неотличим от здорового. ## Причина ``` WARNING scraper_kit.providers.cian.detail: Cian detail fetch https://ekb.cian.ru/sale/flat/332663200/... → HTTP 403 ``` **HTTP 403 на каждой странице.** Выдача при этом собирается нормально (1 680 лотов за прогон) — 403 приходит только на детальные страницы, которым нужна авторизация. Согласуется с уже известным: куки Циана протухли **2026-06-30**. Сегодня в 03:22 `cian_history_backfill` впервые честно отчитался `skipped` с причиной «куки Циана протухли (36 дн. назад)» — это работает #2658. Но второй потребитель тех же кук, `cian_city_sweep`, честного отказа не получил и продолжает отчитываться успехом. ## Что из-за этого стоит `listings.detail_enriched_at` у Циана заморожен на **2026-07-22** (15 дней), обогащено 1 571 из 21 799. Все домовые поля, которые наполняет только Cian-detail, **нулевые во всех 9 457 домах**: | Поле | Непустых | |---|---:| | `series_name` | 0 | | `entrances` | 0 | | `flat_count` | 0 | | `heat_supply_type` | 0 | Серия при этом **выводится на экран** (`SaleShareList.tsx:192`) — там всегда пусто. ## Важное следствие для оценки чужих правок Две правки разбора Циана уже смержены — BTI из `offerData` (`c232772e`, 2026-08-05 23:39) и разбор высоты потолков. Прогон `cian_city_sweep` **бежал после деплоя обеих** (2026-08-06 02:49) и дал ноль. То есть это не «не проверено, продюсер не запускался», а «запускался и заблокирован выше по потоку». Любая проверка этих правок будет давать ноль, пока 403 не снят, и трактовать этот ноль как «правка не работает» — ошибка. ## Что нужно 1. **Владельцу: восстановить учётную запись/куки Циана.** Автоперелогин недоступен — логин задекларирован в конфиге, но в проде отсутствует (#2674). Без этого весь Cian-detail стоит. 2. **`errors_count` обязан учитывать отказы подзадач.** Прогон с `detail_failed == detail_attempted` не `done`. Паттерн уже есть у соседних источников (#2625/#2658/#2657). 3. **Проверка кук должна быть общей для всех потребителей**, а не только у `cian_history_backfill`: сейчас один и тот же протухший ключ даёт честный `skipped` в одном задании и зелёный `done` в другом. Связано: #2674, #2670, #2673, #2658, #2625, #2699, #2435.
bot-backend commented 2026-08-06 06:00:43 +00:00
Author
Collaborator
Copy link

Тот же корень убил седьмой источник эстиматора — и это доказуемо, а не предположение

external_valuations на проде:

Источник Строк filters_hash Последняя строка
yandex_valuation 1 519 0 2026-08-05 13:57
cian_valuation 139 139 2026-06-29 16:19

Оба источника — on-demand: строка появляется, когда пользователь запрашивает оценку. Ни у того, ни у другого нет строки в scrape_schedules, то есть оба срабатывают по одному и тому же триггеру.

Яндекс пишет строки до вчерашнего дня. Значит оценки запрашиваются. Циан не написал ни одной с 29 июня — за день до того, как протухли куки.

Это не «источник простаивает», это источник отказывает, и соседний источник по тому же триггеру служит контрольной группой, отделяющей одно от другого. Без него «139 строк, последняя 29 июня» одинаково читалось бы как «никто не просил оценок».

Практический итог: в каждой выданной с 29 июня оценке седьмой источник молча отсутствовал. Ни алерта, ни следа в статусах — то же, что и с cian_city_sweep выше.

Побочно: filters_hash у Яндекса — не второй такой же баг

0 из 1 519 выглядит как повторение дефекта, починенного в #2689. Проверено: ключ filtersHash не встречается ни в одном сохранённом ответе Яндекса (0 из 1 519 payload'ов содержат подстроку). Колонка циан-специфична по природе ответа, у Яндекса заполнять её нечем. Предпосылка снята, работы тут нет.

## Тот же корень убил седьмой источник эстиматора — и это доказуемо, а не предположение `external_valuations` на проде: | Источник | Строк | `filters_hash` | Последняя строка | |---|---:|---:|---| | `yandex_valuation` | 1 519 | 0 | **2026-08-05 13:57** | | `cian_valuation` | 139 | 139 | **2026-06-29 16:19** | Оба источника — **on-demand**: строка появляется, когда пользователь запрашивает оценку. Ни у того, ни у другого нет строки в `scrape_schedules`, то есть оба срабатывают по одному и тому же триггеру. Яндекс пишет строки до вчерашнего дня. Значит **оценки запрашиваются**. Циан не написал ни одной с 29 июня — за день до того, как протухли куки. Это не «источник простаивает», это **источник отказывает**, и соседний источник по тому же триггеру служит контрольной группой, отделяющей одно от другого. Без него «139 строк, последняя 29 июня» одинаково читалось бы как «никто не просил оценок». Практический итог: в каждой выданной с 29 июня оценке седьмой источник молча отсутствовал. Ни алерта, ни следа в статусах — то же, что и с `cian_city_sweep` выше. ## Побочно: `filters_hash` у Яндекса — не второй такой же баг 0 из 1 519 выглядит как повторение дефекта, починенного в #2689. Проверено: ключ `filtersHash` **не встречается ни в одном** сохранённом ответе Яндекса (0 из 1 519 payload'ов содержат подстроку). Колонка циан-специфична по природе ответа, у Яндекса заполнять её нечем. Предпосылка снята, работы тут нет.
bot-backend commented 2026-08-07 09:13:17 +00:00
Author
Collaborator
Copy link

Проверка на проде 2026-08-07: ни один из трёх пунктов не закрыт

Проверял по существу, а не по упоминаниям задачи в PR. Ни одна из вчерашних cian-правок
(#2705 просмотры, #2768 новостройки) этой задачи не касается.

п.1 (учётная запись Циана — владельцу) — не сделано. Прогон cian_history_backfill
07.08 02:03 честно отчитался skipped с причиной «куки Циана протухли 2026-06-30
(37 дн. назад)».

п.2 (errors_count обязан учитывать отказы подзадач) — не сделано. Ровно та строка, что в
шапке задачи, сутки спустя:

3344 | 2026-08-07 02:16 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 0
3258 | 2026-08-06 02:49 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 0

Пятьдесят из пятидесяти неудачны, ошибок ноль, статус done. Городские sweep'ы Циана
(Первоуральск, Серов, Каменск, Нижний Тагил, Верхняя Пышма) — то же самое: detail_failed
равен detail_attempted, статус done.

п.3 (общая проверка кук) — не сделано. Один и тот же протухший ключ по-прежнему даёт
честный skipped у cian_history_backfill и зелёный done у cian_city_sweep.

Цена не изменилась ни на строку:

series_name      0 из 9 625 домов
entrances        0
flat_count       0
heat_supply_type 0

listings.detail_enriched_at у Циана заморожен на 2026-07-22 (16-й день)

Седьмой источник эстиматора — контрольная группа держится:

yandex_valuation  1 531 строка   последняя 2026-08-07 08:10   ← оценки запрашиваются
cian_valuation      139 строк    последняя 2026-06-29 16:19   ← источник отказывает

Побочно: из-за того же 403 не может дать эффекта правка #2669 (просмотры Циана) —
views_total пуст у всех 21 951 объявления, потому что detail-путь не доходит. Ноль там
означает «заблокировано выше по потоку», а не «правка не работает» — ровно то, о чём
предупреждает раздел «Важное следствие» этой задачи.

Оставляю открытой. п.2 и п.3 чинятся кодом и не ждут владельца.

## Проверка на проде 2026-08-07: ни один из трёх пунктов не закрыт Проверял по существу, а не по упоминаниям задачи в PR. Ни одна из вчерашних cian-правок (#2705 просмотры, #2768 новостройки) этой задачи не касается. **п.1 (учётная запись Циана — владельцу) — не сделано.** Прогон `cian_history_backfill` 07.08 02:03 честно отчитался `skipped` с причиной «куки Циана протухли 2026-06-30 (**37 дн.** назад)». **п.2 (`errors_count` обязан учитывать отказы подзадач) — не сделано.** Ровно та строка, что в шапке задачи, сутки спустя: ``` 3344 | 2026-08-07 02:16 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 0 3258 | 2026-08-06 02:49 | done | detail_attempted 50 | detail_failed 50 | detail_enriched 0 | errors_count 0 ``` Пятьдесят из пятидесяти неудачны, ошибок ноль, статус `done`. Городские sweep'ы Циана (Первоуральск, Серов, Каменск, Нижний Тагил, Верхняя Пышма) — то же самое: `detail_failed` равен `detail_attempted`, статус `done`. **п.3 (общая проверка кук) — не сделано.** Один и тот же протухший ключ по-прежнему даёт честный `skipped` у `cian_history_backfill` и зелёный `done` у `cian_city_sweep`. **Цена не изменилась ни на строку:** ``` series_name 0 из 9 625 домов entrances 0 flat_count 0 heat_supply_type 0 listings.detail_enriched_at у Циана заморожен на 2026-07-22 (16-й день) ``` **Седьмой источник эстиматора — контрольная группа держится:** ``` yandex_valuation 1 531 строка последняя 2026-08-07 08:10 ← оценки запрашиваются cian_valuation 139 строк последняя 2026-06-29 16:19 ← источник отказывает ``` Побочно: из-за того же 403 не может дать эффекта правка #2669 (просмотры Циана) — `views_total` пуст у всех 21 951 объявления, потому что detail-путь не доходит. Ноль там означает «заблокировано выше по потоку», а не «правка не работает» — ровно то, о чём предупреждает раздел «Важное следствие» этой задачи. Оставляю открытой. п.2 и п.3 чинятся кодом и не ждут владельца.
bot-backend commented 2026-08-10 11:15:26 +00:00
Author
Collaborator
Copy link

Перемер 2026-08-10: половина чисел задачи устарела, а причина была другой

Актуальные числа против чисел задачи

Что В задаче (25.07-07.08) Прод 10.08
detail-прогоны 50 из 50 отказов, 15 суток 50/50 успешны 08.08 и 09.08, 10/11 сегодня
series_name в домах 0 из 9 625 19 из 9 179
entrances / flat_count / heat_supply_type 0 / 0 / 0 63 / 65 / 80
listings.detail_enriched_at (Циан) заморожен на 22.07 10.08 05:02, обогащено 1 731 из 22 542
views_total (#2669) 0 из 21 951 148
cian_valuation 139 строк, последняя 29.06 139 строк, последняя 29.06 — не изменилось

403 прекратились между прогонами 3344 (07.08 02:16, 50/50 отказ) и 3418 (08.08 03:05, 50/50 успех). Само по себе — без объяснения; объяснение ниже.

Различающая проба по узлам — главный вопрос закрыт

Один и тот же detail-URL, один и тот же код (build_curl_cffi_session + боевые заголовки providers/cian/detail.py), менялся ТОЛЬКО прокси-узел. 4 запроса, пауза 4 с.

узел метка exit-IP статус размер маркеры defaultState
1 asocks-residential-1 46.8.110.92 403 21 564 cian_waf_block —
9 asocks-mobile-1 5.227.16.0 200 617 352 нет ok
10 asocks-mobile-2 95.104.183.29 200 617 355 нет ok
11 asocks-mobile-3 95.55.49.98 200 617 407 нет ok

Случай (б): отбиты конкретные узлы. Не (а) — площадка отдаёт 200 трём узлам из четырёх прямо сейчас. Не (в) — запрос тот же самый, что и на 403.

Опровергнутые предпосылки задачи

  1. «403 приходит только на детальные страницы, которым нужна авторизация» — detail-страница авторизации НЕ требует. Все три 200 выше получены без единой куки; в коде fetch_detail куки не отправляет вовсе (build_curl_cffi_session с двумя заголовками). Связь 403 с протухшими 30.06 куками — совпадение по времени, не причина.
  2. «Циан нас забанил» — забанена пара «узел × Циан». Тот же самый узел 1 в тот же момент рабочий для других источников.
  3. errors_count не «не считает отказы подзадач» из вредности — 403 гасился в return None внутри провайдера, наружу не выходило ничего. Тот же return None сообщал пулу mark_health(ok=True) на отбитый узел, поэтому пул продолжал выдавать его Циану. Один корень на все три симптома, а не три дефекта.

Что чинится кодом — PR #2821

  • 403 → CianBlockedError (наследник ProxyBanError): generic curl-слой снимает узел с выдачи Циану (per-source бан), вызывающий считает исключение в errors_count, ротация фазы работает. 404 баном не считается.
  • mark_done (обе копии): прогон, у которого отказала КАЖДАЯ попытка целой фазы (>=3 попыток), больше не done. Замер за 90 суток: 52 прогона из 3 292 done (1.6%), из них 11 — avito_city_sweep*, про которые никто не знал.

Тест красный на старом коде в трёх утверждениях (узел не банился; оба финализатора писали done прогону 3258).

Что уходит владельцу — и это НЕ прокси

Седьмой источник эстиматора стоит на куках, и вот проверка, отделяющая куки от блокировки: тот же запрос на калькулятор через ЗДОРОВЫЙ узел 10 отдал HTTP 200, 352 048 байт, маркеров нет, isAuthenticated=false.

То есть площадка нас пускает, а сессия мертва. В БД одна запись: account_user_id=75544897, две куки (DMIR_AUTH, _CIAN_GK), загружены 31.05, expires_at_estimate=30.06 — но это ОЦЕНКА (upload + 30 дней), а не факт; факт даёт проба выше, и он тот же: вход нужен заново.

Цена простоя числом:

  • 320 оценок выдано с 29.06 по 07.08 без седьмого источника (Яндекс за то же окно написал 107 строк — оценки запрашивались, отказывал именно Циан);
  • 42 суток без cian_history_backfill (последний успешный прогон 29.06; сегодня в 02:16 снова честный skipped).

Автоперелогина нет — подтверждаю: providers/cian/session.py умеет только save_session/load_session/verify_session, логин делает Playwright-скрипт scripts/local-cian/ с машины владельца.

Побочно: фаза houses отказывает 10 из 10 прямо сейчас

Прогоны 3344, 3418, 3500, 3597 (сегодня 04:53): houses_attempted=10, houses_failed=10, houses_enriched=0 — включая прогон ПОСЛЕ мержа #2798/#2801/#2804. Это #2767, не эта задача, но после PR #2821 такой прогон станет failed и перестанет быть невидимым.

Пробы: 4 detail-запроса + 1 запрос калькулятора, паузы 4 с, только чтение. Записей в БД не делалось.

## Перемер 2026-08-10: половина чисел задачи устарела, а причина была другой ### Актуальные числа против чисел задачи | Что | В задаче (25.07-07.08) | Прод 10.08 | |---|---|---| | detail-прогоны | 50 из 50 отказов, 15 суток | **50/50 успешны 08.08 и 09.08**, 10/11 сегодня | | `series_name` в домах | 0 из 9 625 | **19** из 9 179 | | `entrances` / `flat_count` / `heat_supply_type` | 0 / 0 / 0 | **63 / 65 / 80** | | `listings.detail_enriched_at` (Циан) | заморожен на 22.07 | **10.08 05:02**, обогащено 1 731 из 22 542 | | `views_total` (#2669) | 0 из 21 951 | **148** | | `cian_valuation` | 139 строк, последняя 29.06 | **139 строк, последняя 29.06** — не изменилось | 403 прекратились между прогонами 3344 (07.08 02:16, 50/50 отказ) и 3418 (08.08 03:05, 50/50 успех). Само по себе — без объяснения; объяснение ниже. ### Различающая проба по узлам — главный вопрос закрыт Один и тот же detail-URL, один и тот же код (`build_curl_cffi_session` + боевые заголовки `providers/cian/detail.py`), менялся ТОЛЬКО прокси-узел. 4 запроса, пауза 4 с. | узел | метка | exit-IP | статус | размер | маркеры | `defaultState` | |---|---|---|---:|---:|---|---| | 1 | asocks-residential-1 | 46.8.110.92 | **403** | 21 564 | `cian_waf_block` | — | | 9 | asocks-mobile-1 | 5.227.16.0 | 200 | 617 352 | нет | ok | | 10 | asocks-mobile-2 | 95.104.183.29 | 200 | 617 355 | нет | ok | | 11 | asocks-mobile-3 | 95.55.49.98 | 200 | 617 407 | нет | ok | **Случай (б): отбиты конкретные узлы.** Не (а) — площадка отдаёт 200 трём узлам из четырёх прямо сейчас. Не (в) — запрос тот же самый, что и на 403. ### Опровергнутые предпосылки задачи 1. **«403 приходит только на детальные страницы, которым нужна авторизация»** — detail-страница авторизации НЕ требует. Все три 200 выше получены **без единой куки**; в коде `fetch_detail` куки не отправляет вовсе (`build_curl_cffi_session` с двумя заголовками). Связь 403 с протухшими 30.06 куками — совпадение по времени, не причина. 2. **«Циан нас забанил»** — забанена пара «узел × Циан». Тот же самый узел 1 в тот же момент рабочий для других источников. 3. **`errors_count` не «не считает отказы подзадач» из вредности** — 403 гасился в `return None` внутри провайдера, наружу не выходило ничего. Тот же `return None` сообщал пулу `mark_health(ok=True)` на отбитый узел, поэтому пул продолжал выдавать его Циану. Один корень на все три симптома, а не три дефекта. ### Что чинится кодом — PR #2821 - 403 → `CianBlockedError` (наследник `ProxyBanError`): generic curl-слой снимает узел с выдачи **Циану** (per-source бан), вызывающий считает исключение в `errors_count`, ротация фазы работает. 404 баном не считается. - `mark_done` (обе копии): прогон, у которого отказала КАЖДАЯ попытка целой фазы (>=3 попыток), больше не `done`. Замер за 90 суток: 52 прогона из 3 292 `done` (1.6%), из них 11 — `avito_city_sweep*`, про которые никто не знал. Тест красный на старом коде в трёх утверждениях (узел не банился; оба финализатора писали `done` прогону 3258). ### Что уходит владельцу — и это НЕ прокси Седьмой источник эстиматора стоит на куках, и вот проверка, отделяющая куки от блокировки: тот же запрос на калькулятор через ЗДОРОВЫЙ узел 10 отдал **HTTP 200, 352 048 байт, маркеров нет, `isAuthenticated=false`**. То есть площадка нас пускает, а сессия мертва. В БД одна запись: `account_user_id=75544897`, две куки (`DMIR_AUTH`, `_CIAN_GK`), загружены 31.05, `expires_at_estimate=30.06` — но это ОЦЕНКА (upload + 30 дней), а не факт; факт даёт проба выше, и он тот же: вход нужен заново. **Цена простоя числом:** - **320 оценок** выдано с 29.06 по 07.08 без седьмого источника (Яндекс за то же окно написал 107 строк — оценки запрашивались, отказывал именно Циан); - **42 суток** без `cian_history_backfill` (последний успешный прогон 29.06; сегодня в 02:16 снова честный `skipped`). Автоперелогина нет — подтверждаю: `providers/cian/session.py` умеет только `save_session`/`load_session`/`verify_session`, логин делает Playwright-скрипт `scripts/local-cian/` с машины владельца. ### Побочно: фаза `houses` отказывает 10 из 10 прямо сейчас Прогоны 3344, 3418, 3500, 3597 (сегодня 04:53): `houses_attempted=10, houses_failed=10, houses_enriched=0` — включая прогон ПОСЛЕ мержа #2798/#2801/#2804. Это #2767, не эта задача, но после PR #2821 такой прогон станет `failed` и перестанет быть невидимым. --- Пробы: 4 detail-запроса + 1 запрос калькулятора, паузы 4 с, только чтение. Записей в БД не делалось.
bot-backend commented 2026-08-10 11:50:01 +00:00
Author
Collaborator
Copy link

Смержено и проверено на проде

PR #2821 (merged 11:29 UTC) — 403 больше не гаснет в return None: узел снимается с выдачи Циану, отказ доходит до errors_count, прогон со стопроцентно отказавшей фазой перестаёт быть done.
PR #2822 (merged 11:49 UTC) — поправка замера: 42 прогона, а не 52 (в SQL считались пары «прогон × фаза»).

Верификация деплоя по коду в контейнерах, не по релиз-метке:

tradein-scraper:  _raise_if_blocked ×3, _phase_totally_failed ×3 (kit + app)
tradein-backend:  то же

Число с прода — деплойнутая функция по боевым counters (3 574 прогона за 90 суток, обе копии дают одинаковый вердикт на всех):

'done' сейчас: 3293 → под правило попадают 42 (1.3%)
  15 cian_city_sweep · 5 avito_city_sweep · 4 verkhnyaya_pyshma · по 3 nizhniy_tagil/
  kamensk/pervouralsk/serov (cian) · 3 avito_serov · 2 avito_nizhniy_tagil · 1 avito_kamensk

run 3258 (06.08) → failed, фаза 'detail' 50 из 50   ← прогон из шапки задачи
run 3344 (07.08) → failed, фаза 'detail' 50 из 50
run 3418 (08.08) → failed, фаза 'houses' 10 из 10
run 3597 (10.08) → failed, фаза 'houses' 10 из 10   ← сегодняшний, «зелёный»

Критерий приёмки записан ДО факта

A. Ближайший cian_city_sweep, 2026-08-11 ~03:00-05:30 UTC.

SELECT id, status, left(error, 90), counters FROM scrape_runs
WHERE source LIKE 'cian_city_sweep%' AND started_at > '2026-08-11';

Принято: прогон с houses_failed = houses_attempted >= 3 (или то же по detail) имеет status='failed' и error с префиксом phase-honest-status:.
Опровергнуто: такой прогон снова done → правка не доехала до образа либо проводка оборвана.

B. Снятие отбитого узла — не раньше 2026-08-12 08:14 UTC (до этого времени узел 1 и так вне выдачи Циану: его забанила проба #2803).

SELECT proxy_id, source, reason, banned_at, ban_count FROM scrape_proxy_source_bans WHERE source='cian';

Принято: после первого же 403 боевого сбора появляется строка reason='banned:cian' (не probe:browser), и в counters того прогона detail_failed ≤ 3 при кратно большем detail_attempted.
Опровергнуто: снова detail_failed = detail_attempted без строки бана.

Пункты задачи

  • п.2 (errors_count и статус) — закрыт: 403 теперь исключение (растит errors_count у обоих вызывающих), а прогон с полностью отказавшей фазой уходит в failed из mark_done — в ОДНОМ месте на все четыре десятка вызывающих, а не в каждом sweep'е.
  • п.3 (общая проверка кук) — НЕ делаю намеренно, и предпосылка тут сместилась: detail-путь куки не использует вовсе, поэтому «общая проверка кук для всех потребителей» защитила бы только cian_valuation и cian_history_backfill, у которых он и так есть у одного из двух. Отдельный вопрос — молчаливое отсутствие седьмого источника в оценке: estimate_via_cian_valuation возвращает None и на этом всё. Если нужно — заводите отдельной задачей, тут это уже не про 403.
  • п.1 (учётная запись) — владельцу, см. предыдущий комментарий: проба через здоровый узел дала HTTP 200 без маркеров и isAuthenticated=false. Цена: 320 оценок с 29.06 без седьмого источника, 42 суток без cian_history_backfill.

Оставляю открытой до п.1 и до проверки критерия A завтра.

## Смержено и проверено на проде **PR #2821** (merged 11:29 UTC) — 403 больше не гаснет в `return None`: узел снимается с выдачи Циану, отказ доходит до `errors_count`, прогон со стопроцентно отказавшей фазой перестаёт быть `done`. **PR #2822** (merged 11:49 UTC) — поправка замера: 42 прогона, а не 52 (в SQL считались пары «прогон × фаза»). **Верификация деплоя по коду в контейнерах**, не по релиз-метке: ``` tradein-scraper: _raise_if_blocked ×3, _phase_totally_failed ×3 (kit + app) tradein-backend: то же ``` **Число с прода — деплойнутая функция по боевым counters** (3 574 прогона за 90 суток, обе копии дают одинаковый вердикт на всех): ``` 'done' сейчас: 3293 → под правило попадают 42 (1.3%) 15 cian_city_sweep · 5 avito_city_sweep · 4 verkhnyaya_pyshma · по 3 nizhniy_tagil/ kamensk/pervouralsk/serov (cian) · 3 avito_serov · 2 avito_nizhniy_tagil · 1 avito_kamensk run 3258 (06.08) → failed, фаза 'detail' 50 из 50 ← прогон из шапки задачи run 3344 (07.08) → failed, фаза 'detail' 50 из 50 run 3418 (08.08) → failed, фаза 'houses' 10 из 10 run 3597 (10.08) → failed, фаза 'houses' 10 из 10 ← сегодняшний, «зелёный» ``` ## Критерий приёмки записан ДО факта **A. Ближайший `cian_city_sweep`, 2026-08-11 ~03:00-05:30 UTC.** ```sql SELECT id, status, left(error, 90), counters FROM scrape_runs WHERE source LIKE 'cian_city_sweep%' AND started_at > '2026-08-11'; ``` Принято: прогон с `houses_failed = houses_attempted >= 3` (или то же по detail) имеет `status='failed'` и `error` с префиксом `phase-honest-status:`. Опровергнуто: такой прогон снова `done` → правка не доехала до образа либо проводка оборвана. **B. Снятие отбитого узла — не раньше 2026-08-12 08:14 UTC** (до этого времени узел 1 и так вне выдачи Циану: его забанила проба #2803). ```sql SELECT proxy_id, source, reason, banned_at, ban_count FROM scrape_proxy_source_bans WHERE source='cian'; ``` Принято: после первого же 403 боевого сбора появляется строка `reason='banned:cian'` (не `probe:browser`), и в counters того прогона `detail_failed` ≤ 3 при кратно большем `detail_attempted`. Опровергнуто: снова `detail_failed = detail_attempted` без строки бана. ## Пункты задачи - **п.2 (`errors_count` и статус)** — закрыт: 403 теперь исключение (растит `errors_count` у обоих вызывающих), а прогон с полностью отказавшей фазой уходит в `failed` из `mark_done` — в ОДНОМ месте на все четыре десятка вызывающих, а не в каждом sweep'е. - **п.3 (общая проверка кук)** — НЕ делаю намеренно, и предпосылка тут сместилась: detail-путь куки не использует вовсе, поэтому «общая проверка кук для всех потребителей» защитила бы только `cian_valuation` и `cian_history_backfill`, у которых он и так есть у одного из двух. Отдельный вопрос — молчаливое отсутствие седьмого источника в оценке: `estimate_via_cian_valuation` возвращает `None` и на этом всё. Если нужно — заводите отдельной задачей, тут это уже не про 403. - **п.1 (учётная запись)** — владельцу, см. предыдущий комментарий: проба через здоровый узел дала HTTP 200 без маркеров и `isAuthenticated=false`. Цена: 320 оценок с 29.06 без седьмого источника, 42 суток без `cian_history_backfill`. Оставляю открытой до п.1 и до проверки критерия A завтра.
lekss361 added the
bug
scope/backend
scrapers
tradein
 labels 2026-08-16 10:25:17 +00:00
lekss361 commented 2026-08-16 10:36:38 +00:00
Owner
Copy link

Закрываю по итогам разбора трекера 16.08.2026

Вердикт: сделано кодом.

Оба симптома закрыты смерженными PR #2821 (403 больше не гасится молча, узел снимается) и #2822 (поправка замера).

Доказательство: 20ec6a5d fix(tradein/cian): 403 снимает узел с выдачи, а не гаснет в return None (#2700) (#2821); 74344f7b docs (#2822)

Независимая проверка. Вердикт отдельно проверялся вторым проходом, задачей которого было именно опровергнуть закрытие, а не подтвердить его:

Проверил прод, а не только PR. п.2 (errors_count/статус) — живой: 8 прогонов с error LIKE 'phase-honest-status:%' (последний 16.08 06:21, avito_city_sweep failed, 'фаза detail отказала полностью'). Cian detail починился: прогоны cian_city_sweep 14-16.08 — detail_failed=0 при detail_attempted 7-50, houses_failed=0; поля домов больше не нулевые (series_name 126, entrances 595, flat_count 597, heat_supply_type 632 из 9587 — в задаче было 0/0/0/0). п.1 (учётка Циана, владельцу) де-факто закрыт: external_valuations source='cian_valuation' — 147 строк, последняя 14.08 17:30 с реальной ценой 19 100 000 и accuracy=96 (в задаче: 139 строк, последняя 29.06); cian_history_backfill 13-16.08 идёт status='done' без error, а не skipped «куки протухли». п.3 автор снял осознанно с доказанной предпосылкой (detail-путь кук не отправляет вовсе), и после восстановления сессии он моот. Единственная придирка: «оба симптома закрыты #2821/#2822» — формулировка неточная (#2822 это только поправка замера), но по существу задача закрываема.

Если что-то из перечисленного всё же живо — переоткройте задачу, разбор мог упустить частный случай.

## Закрываю по итогам разбора трекера 16.08.2026 **Вердикт:** сделано кодом. Оба симптома закрыты смерженными PR #2821 (403 больше не гасится молча, узел снимается) и #2822 (поправка замера). **Доказательство:** 20ec6a5d fix(tradein/cian): 403 снимает узел с выдачи, а не гаснет в return None (#2700) (#2821); 74344f7b docs (#2822) **Независимая проверка.** Вердикт отдельно проверялся вторым проходом, задачей которого было именно опровергнуть закрытие, а не подтвердить его: > Проверил прод, а не только PR. п.2 (errors_count/статус) — живой: 8 прогонов с error LIKE 'phase-honest-status:%' (последний 16.08 06:21, avito_city_sweep failed, 'фаза detail отказала полностью'). Cian detail починился: прогоны cian_city_sweep 14-16.08 — detail_failed=0 при detail_attempted 7-50, houses_failed=0; поля домов больше не нулевые (series_name 126, entrances 595, flat_count 597, heat_supply_type 632 из 9587 — в задаче было 0/0/0/0). п.1 (учётка Циана, владельцу) де-факто закрыт: external_valuations source='cian_valuation' — 147 строк, последняя 14.08 17:30 с реальной ценой 19 100 000 и accuracy=96 (в задаче: 139 строк, последняя 29.06); cian_history_backfill 13-16.08 идёт status='done' без error, а не skipped «куки протухли». п.3 автор снял осознанно с доказанной предпосылкой (detail-путь кук не отправляет вовсе), и после восстановления сессии он моот. Единственная придирка: «оба симптома закрыты #2821/#2822» — формулировка неточная (#2822 это только поправка замера), но по существу задача закрываема. Если что-то из перечисленного всё же живо — переоткройте задачу, разбор мог упустить частный случай.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
fix/3469-showcase-schedule
fix/3443-caddy-selfdowntime
fix/3463-db-statement-timeout
fix/3448-caddy-only-detection
fix/metrics-deploy-reloads-prometheus
feat/landing-showcase-band
fix/3452-corridor-advisory-zone
fix/alert-value-is-not-the-ratio
fix/3449-geocoder-cancel-orphan
fix/3451-tvf-deals-rooms
fix/msk-collector-net-retry
feat/msk-yandex-import
fix/3051-fetch-deals-rooms-dropped
feat/msk-collector-cian
fix/3256-asking-to-sold-buckets
fix/3083-estimate-throughput
fix/3274-part2b-gate
fix/3274-part2a-caddy-retry
fix/perimeter-smoke-retry-on-no-response
fix/3274-zero-downtime-frontend
fix/3274-part1-deploy-swap
fix/3412-cian-instance-relaunch
fix/3415-bucket-done-only-if-phases-ok
chore/backend-pool-wiring-tails
fix/3398-pool-ops-off-event-loop
fix/3402-followups-ban-kinds-curl
feat/3404-proxy-run-attribution
fix/cian-captcha-is-platform-refusal
refactor/3390-single-runs-module
fix/3398-estimator-valuations-proxy-pool
fix/3386-estimator-imv-proxy-pool
fix/3394-cian-sweep-houses-proxy-pool
fix/3393-interrupted-runs-outside-streaks
fix/drain-marks-inflight-app-tasks
fix/3384-no-proxy-at-batch-start
fix/3197-yandex-newbuilding-proxy-pool
fix/3376-price-history-decimal-slips
fix/backend-proxy-pool-flags
fix/3197-cian-history-backfill-proxy-pool
fix/3288-sidecar-ban-status-code
fix/3375-yandex-fullload-on-bucket-contract
fix/3380-deploy-metrics-alloy-recreate
fix/3354-alloy-query-secret-scrub
fix/3360-admin-prefix-anon-404
fix/3368-yandex-leaf-complete-flag
fix/3369-domclick-cancel-checkpoint
fix/3225-domklik-diff-percent
fix/smoke-history-path
fix/3288-breaker-block-kind
fix/3355-drain-mark-fullloads
fix/3191-yandex-detail-completeness
fix/3359-containment-cian-yandex
fix/3323-payment-init-fail-409
fix/3172-freshness-by-data
fix/3288-avito-ban-per-source
fix/3253-domclick-house-fields
fix/3312-defer-interval-minutes
fix/3324-rbac-401-oracle
fix/3274-deploy-window-error-page
fix/3343-auth-latency-flaky
fix/3315-exhaustive-containment-skip
fix/3338-backfill-save-false
fix/3339-thin-market-badge
fix/3154-glitchtip-secret-log-leak
fix/3333-drain-mark-all-sweeps
fix/3323-imv-thin-market-gate
fix/3324-mera-perimeter
fix/3323-coverage-copy-honesty
fix/3332-domclick-counter-identity
fix/3324-ptica-deploy-gate
fix/3316-role-single-source
fix/3319-citysweep-checkpoint
fix/3322-rosseti-stable-key
fix/3320-v2-honest-zeros
fix/3321-draft-fields-survive
fix/mera-mobile-nav-and-sticky
fix/audit-form-ux
fix/audit-coverage-500
fix/audit-dkp-price
fix/audit-accuracy-window
fix/audit-faq-contradiction
fix/perimeter-smoke-after-payments
feat/b2c-landing-honest-copy
feat/b2c-landing-live-numbers
feat/b2c-v3-becomes-root
feat/b2c-v3-port-v1-blocks
feat/b2c-report-redesign
feat/b2c-landing-v3-full
feat/3192b-yandex-phones
feat/3168-backfill-cursor-resume
fix/3118-domclick-no-proxy
fix/3170-yandex-combo-checkpoint
feat/3074-newbuilding-sweep-resume
fix/3163-infra-topic-default
fix/3156-tgbot-error-type
feat/3163-infra-topic-split
fix/3161-alertmanager-route-prefix
fix/3155-prometheus-no-alertmanager
feat/2997-drop-listings-geom-idx
fix/3122-boot-reap-observable
feat/3122-boot-reap
feat/3051-houses-region-code
feat/3074-cian-anchor-checkpoint
feat/3051-region-registry
fix/2656-anchor-ratio-freshness
fix/3114-scrub-credentials-in-logs
fix/3078-grafana-single-auth
fix/3081-honest-progress
fix/3063-pro-seller-derive
fix/3074-checkpoint-survives-claim
fix/3082-estimate-concurrency
fix/3044-enriched-total-seen
fix/telegram-pin-selectel-override
chore/compose-host-parameterised-resources
fix/revisit-floor-lateral-lookup
fix/avito-detail-fields
fix/3034-avito-fingerprint
fix/avito-offers-per-page
feat/3033-avito-secondary-filter
fix/2203-restore-drill-readiness
feat/2203-backup-staleness-and-forgejo
fix/2990-clean-start-initdb
fix/2924-yandex-jk-resolve-tried-at
fix/2992-upsert-distinct-gate
fix/2998-rosreestr-q2-partitions
feat/2936-null-penalty-flag
fix/2996-mislocated-houses-watchdog
fix/1781-secondary-only-param
fix/2934-risks-coverage
fix/2464-three-small
fix/2464-two-docstrings
fix/2464-zouit-label
fix/2464-building-pct-guard
fix/2464-download-binary-retry
fix/2986-permits-key
fix/2464-tep-docstring
fix/2464-act-date-backfill
fix/2464-area-bin-null
fix/2464-act-date-citation
fix/2464-detect-kind
fix/2464-status-negation
fix/2464-objective-zombie-sweep
fix/2464-inert-retry-config
fix/2464-default-profile-unique
fix/2464-zombie-any-running
fix/2464-catalog-skipped-counter
fix/2464-heat-loader-tx
fix/2464-objective-run-stuck
fix/2464-catalog-waf-breaker
fix/2464-lock-key-order
fix/2464-backfill-waf-abort
fix/2464-docs-vs-code
fix/2464-land-reservation-dedup
fix/2464-manual-list-validation
fix/2464-capacity-savepoints
fix/2464-leads-window-naming
fix/2464-zouit-count-label
fix/2464-catalog-batch-commits
fix/2464-html-zoning-fallback
fix/2950-lock-wait-observable
fix/2956-freshness-counts-failed-harvest
fix/2950-host-lock
fix/2953-nominatim-throttle
fix/2950-deploy-docker-lock
fix/2464-ird-lookups-savepoint
fix/2464-parcels-savepoint-pair
fix/2674-deal-floor-display
docs/2854-stale-justifications
chore/2857-drop-placeholder-columns
fix/2855-probe-protected-path
fix/2674-has-panorama
fix/house-imv-anchor-era
fix/2674-quality-cadastre-column
fix/sber-freshness-guard
fix/dkp-corridor-as-of
fix/scheduler-resume-checkpoint
fix/quarter-target-from-neighbour
fix/2687-domclick-ban-kind-platform
fix/2814-address-backfill
fix/2677-house-anchor-renovation
feat/tradein-paid-retention
chore/ci-config-cleanup
feat/mera-b2c-privacy
feat/tradein-payments-schema
chore/2674-dead-code-sweep
fix/2674-matching-tiers-honesty
fix/2674-avito-full-load-coverage
fix/2674-admin-metrics-honesty
fix/2674-writers-honor-schema
fix/2674-alerts-actually-fire
fix/2679-scraper-deploy-parity
fix/2674-house-imv-params
fix/2666-discount-plausibility-gate
feat/2435-cian-house-enrichment
fix/2657-domclick-block-not-done
feat/2571-login-throttle
fix/2660-display-freshness-segment
fix/2658-loud-skip-status
fix/2603-geocode-city-hint-tails
feat/2600-per-source-proxy-health
feat/tradein-v2-exposure-in-result-card
fix/tradein-avito-browser-proxy-pool
chore/tradein-cut-wasteful-scraping
fix/tradein-v2-deals-fallback-visible
fix/tradein-city-stamp-geo-guard
fix/tradein-cian-oblast-secondary
fix/tradein-implausible-build-year
fix/tradein-snapshot-query-perf
fix/tradein-asking-sold-city-scope
chore/tradein-purge-dead-mobileproxy
feat/tradein-asocks-rotation
fix/tradein-region-code-foreign-cities
fix/tradein-proxy-pool-self-healing
fix/tradein-backfill-listing-city-from-url
fix/tradein-geocode-queue-active-only
fix/tradein-geocode-city-hint
chore/tradein-remove-yandex-scripts
fix/tradein-listing-city-from-sweep
chore/tradein-remove-yandex-geocoder
chore/tradein-remove-n1
fix/tradein-geocoder-fail-closed
fix/tradein-ui-city-label-clip
feat/tradein-ui-city-hint
fix/tradein-coords-backfill-city-gate
fix/tradein-geocoder-city-default
fix/tradein-anchor-geo-scope
fix/tradein-avito-detail-oblast
feat/tradein-price-bands-refresh
feat/tradein-caddy-cutover
fix/tradein-team-nav-and-401
feat/tradein-team-dashboard
fix/tradein-team-list-order
feat/tradein-team-api
feat/tradein-login-ui
feat/tradein-auth-core
feat/tradein-auth-password-foundation
feat/tradein-auth-users-schema
fix/tradein-rbac-test-user2-expired
fix/tradein-auth-revoke-user2
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels   
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

No labels
Fable 5 ревью
GG-форсайт
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
feedback/max
generative
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
ИРД
вторичка
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#2700
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?