lekss361/gendesign
1
0
Fork 0
Code Issues 143 Pull requests Projects Releases Packages Wiki Activity Actions

[tradein] cian-первичка не освежается: 9205 заморожены с 31.05, 93% без house_id_fk, фантомы не гаснут (Савкова 29) #1781

New issue
Closed
opened 2026-06-19 11:14:06 +00:00 by bot-backend · 6 comments
bot-backend commented 2026-06-19 11:14:06 +00:00
Collaborator
Copy link

Жалоба (live): оценка Trade-In по «ул. Евгения Савкова 29» (ЕКБ, ЖК Суходольский квартал) не подтягивает все cian-объявления того же дома. Проверка вживую (cian, 2026-06-19): на циане по дому 29 (house id 10386120) 5 объявлений, у нас в БД 7 (все last_seen=2026-05-31), пересекаются только 2. БД одновременно устарела, переоценивает дом (фантомы) и не добирает 3 свежих.

Корни (подтверждены кодом + прод-запросами)

1. #938 заморозил cian-первичку с 31.05 [HIGH]. Ночной cian_full_load идёт secondary_only=True (hardcoded scrape_pipeline.py:2063) и выбрасывает listing_segment='novostroyki' на парсе (cian.py:712-715). С момента #938 (коммит 567549c, 2026-05-31 21:35 UTC) регулярный свип новостройки не пере-сохраняет. Итог: 9205 из 9925 активных cian-novostroyki города заморожены на last_seen=2026-05-31.

2. cian_city_sweep — единственный путь загрузки cian-первички — покрывает мало [HIGH]. Жив (last_run 2026-06-19 03:31, next 06-20 04:34, окно 2-5 UTC), но anchor+radius (radius_m=1500, pages_per_anchor=3) освежает ~145 новостроек/ночь на весь город. Дом 29/29А вне досягаемости якорей — освежилась только Савкова 35 (id 331185305), 29/29А нет. Зона Лёхи (cian-парсер/анти-бан/якоря).

3. house_id_fk=NULL у 9235/9925 (93%) [HIGH]. Не промах матчинга — все 9235 сматчены (резолвятся через house_sources по (ext_source, ext_id) 100%: 9235/9235). Просто зеркало FK в realtime появилось только 17.06 (коммит e63b21e, base.py:600-616), а майские строки переписались после одноразового бэкфилла, и рекуррентный бэкфилл их пропускает (NOT EXISTS). NULL FK ломает детерминированный Tier S-canonical «тот же дом» (estimator.py:3375-3423).

4. deactivate_stale_cian чистит только вторичку [MEDIUM]. params {segments:['vtorichka'],ttl_days:30} → протухшие новостройки никогда не гаснут → фантомы (5 из 7 по дому 29 уже ушли с циана) висят is_active=true вечно и кормят оценщик.

5. NULL geom — ложный след [LOW]. У всех активных novostroyki есть координаты (null_geom=0), они на карте и в радиусном пути. geocode_missing нерелевантен.

План фикса (с зонами ответственности)

  • [me-safe → PR] Идемпотентный бэкфилл house_id_fk из house_sources по точному source-id (без адресного fuzzy, 9235/9235 резолвятся) → восстанавливает каноническую группировку «тот же дом» по всему городу. Применяется на деплое.
  • [Лёха · cian-зона] Расширить охват cian_city_sweep (якоря/радиус/pages) или выделенный newbuilding-свип, чтобы дом 29/29А и заморо­женная когорта 9205 переобновлялись. Плюс обновить cian-session-cookies (протухли с 31.05) — без них свип не фетчит.
  • [Лёха · prod-exec] Запустить бэкфилл/прогон на проде (у Клода read-only psql), точечно ре-скрейпить Широкую Речку.
  • [рекомендация, сиквенс ПОСЛЕ охвата] Добавить novostroyki в deactivate_stale_cian (ttl_days≈30) — чтобы фантомы гасли, но только после расширения охвата, иначе массово деактивирует 9205.

Связано: #1774 (PR #1776) — estimator Tier A теперь принимает same-building novostroyki; этот тикет — про то, что скрейпер не держит cian-первичку свежей (бутылочное горло). #1772 (data-block), #1773 (avito de-glue PR #1775).

Диагностика: multi-agent workflow (код-пути + прод-данные + матчинг/гео + live-cian).

**Жалоба (live):** оценка Trade-In по «ул. Евгения Савкова 29» (ЕКБ, ЖК Суходольский квартал) не подтягивает все cian-объявления того же дома. Проверка вживую (cian, 2026-06-19): на циане по дому 29 (house id 10386120) **5 объявлений**, у нас в БД **7** (все `last_seen=2026-05-31`), пересекаются **только 2**. БД одновременно устарела, переоценивает дом (фантомы) и не добирает 3 свежих. ## Корни (подтверждены кодом + прод-запросами) **1. #938 заморозил cian-первичку с 31.05 [HIGH].** Ночной `cian_full_load` идёт `secondary_only=True` (hardcoded `scrape_pipeline.py:2063`) и выбрасывает `listing_segment='novostroyki'` на парсе (`cian.py:712-715`). С момента #938 (коммит 567549c, 2026-05-31 21:35 UTC) регулярный свип новостройки **не пере-сохраняет**. Итог: **9205 из 9925** активных cian-novostroyki города заморожены на `last_seen=2026-05-31`. **2. `cian_city_sweep` — единственный путь загрузки cian-первички — покрывает мало [HIGH].** Жив (last_run 2026-06-19 03:31, next 06-20 04:34, окно 2-5 UTC), но anchor+radius (radius_m=1500, pages_per_anchor=3) освежает ~145 новостроек/ночь на весь город. Дом 29/29А вне досягаемости якорей — освежилась только Савкова 35 (id 331185305), 29/29А нет. **Зона Лёхи (cian-парсер/анти-бан/якоря).** **3. `house_id_fk=NULL` у 9235/9925 (93%) [HIGH].** Не промах матчинга — все 9235 сматчены (резолвятся через `house_sources` по `(ext_source, ext_id)` 100%: 9235/9235). Просто **зеркало FK** в realtime появилось только 17.06 (коммит e63b21e, `base.py:600-616`), а майские строки переписались после одноразового бэкфилла, и рекуррентный бэкфилл их пропускает (NOT EXISTS). NULL FK ломает детерминированный Tier S-canonical «тот же дом» (`estimator.py:3375-3423`). **4. `deactivate_stale_cian` чистит только вторичку [MEDIUM].** params `{segments:['vtorichka'],ttl_days:30}` → протухшие новостройки никогда не гаснут → фантомы (5 из 7 по дому 29 уже ушли с циана) висят `is_active=true` вечно и кормят оценщик. **5. NULL geom — ложный след [LOW].** У всех активных novostroyki есть координаты (`null_geom=0`), они на карте и в радиусном пути. `geocode_missing` нерелевантен. ## План фикса (с зонами ответственности) - **[me-safe → PR]** Идемпотентный бэкфилл `house_id_fk` из `house_sources` по точному source-id (без адресного fuzzy, 9235/9235 резолвятся) → восстанавливает каноническую группировку «тот же дом» по всему городу. Применяется на деплое. - **[Лёха · cian-зона]** Расширить охват `cian_city_sweep` (якоря/радиус/pages) или выделенный newbuilding-свип, чтобы дом 29/29А и заморо­женная когорта 9205 переобновлялись. Плюс обновить cian-session-cookies (протухли с 31.05) — без них свип не фетчит. - **[Лёха · prod-exec]** Запустить бэкфилл/прогон на проде (у Клода read-only psql), точечно ре-скрейпить Широкую Речку. - **[рекомендация, сиквенс ПОСЛЕ охвата]** Добавить `novostroyki` в `deactivate_stale_cian` (ttl_days≈30) — чтобы фантомы гасли, но только после расширения охвата, иначе массово деактивирует 9205. **Связано:** #1774 (PR #1776) — estimator Tier A теперь принимает same-building novostroyki; этот тикет — про то, что скрейпер не держит cian-первичку свежей (бутылочное горло). #1772 (data-block), #1773 (avito de-glue PR #1775). _Диагностика: multi-agent workflow (код-пути + прод-данные + матчинг/гео + live-cian)._
bot-backend commented 2026-06-23 06:48:33 +00:00
Author
Collaborator
Copy link

Verify (2026-06-23, из audit #1871): разморозка cian-первички подтверждена — newbuilding_listings MAX(source_last_scraped_at) = 2026-06-22 20:54, 491 строк освежено за 7 дней (total 9653). Корень #1/#2 (freeze + sweep) — снят, свип живой.

⚠️ НЕ закрываю автоматически: остальные корни тикета вне этой проверки и частично в зоне Лёхи (расширение охвата cian_city_sweep / cookies; phantom-deactivation novostroyki). Плюс схема таблицы изменилась с момента заведения (house_id_fk теперь не в newbuilding_listings) — стоит ревизовать актуальность пунктов #3/#4 перед закрытием. Оставляю решение о close за владельцем.

**Verify (2026-06-23, из audit #1871):** разморозка cian-первички подтверждена — `newbuilding_listings` MAX(`source_last_scraped_at`) = **2026-06-22 20:54**, 491 строк освежено за 7 дней (total 9653). Корень #1/#2 (freeze + sweep) — снят, свип живой. ⚠️ НЕ закрываю автоматически: остальные корни тикета вне этой проверки и частично в зоне Лёхи (расширение охвата `cian_city_sweep` / cookies; phantom-deactivation novostroyki). Плюс схема таблицы изменилась с момента заведения (`house_id_fk` теперь не в `newbuilding_listings`) — стоит ревизовать актуальность пунктов #3/#4 перед закрытием. Оставляю решение о close за владельцем.
bot-backend commented 2026-06-26 15:53:59 +00:00
Author
Collaborator
Copy link

Статус 2026-06-26 (свежие прод-цифры — сильно сдвинулось с 06-19)

✅ Root #3 (house_id_fk) — РЕШЕНО (bot-safe часть). Миграция 130_backfill_listings_house_id_fk.sql задеплоена (в _schema_migrations) + realtime-зеркало base.py:636-645 (#e63b21e). NULL-fk по cian: 9235 → 485 (3% от 15951 активных). Из этих 485 — 0 имеют house_ext_id и 0 резолвятся детерминированным джойном (house_source+house_ext_id → house_sources). Т.е. бэкфилл выбрал всё что можно; остаток 485 — строки без house-ключа, их добьёт только ре-скрейп (зона Лёхи, см. ниже). Новой миграции не нужно. NULL-fk теперь мал по всем источникам (avito 4%, cian 3%, yandex 0.7%).

🟡 Root #1 (новостройки заморожены) — ЖИВ, зона Лёхи. cian novostroyki: 9598 / 10003 активных заморожены на last_seen ≤ 31.05 (vtorichka свежая: 482/5734 frozen). Причина та же — cian_full_load идёт secondary_only=True (#938, scrape_pipeline.py:2063) + cian.py:712-715 дропает novostroyki на парсе. Это намеренное отключение (#938) — просто снять флаг рискованно (анти-бан/нагрузка). Нужно: anti-ban-aware охват novostroyki (выделенный newbuilding-listing-свип или расширение cian_city_sweep) + обновить cian-session-cookies (протухли с 31.05). Зона Лёхи (cian-парсер/анти-бан/якоря).

🟡 Root #2 (cian_city_sweep охват) — Лёха. ~145 новостроек/ночь на весь город, дом 29/29А вне якорей.

🔴 Root #4 (фантомы не гаснут) — BLOCKED на охвате. deactivate_stale_cian чистит только вторичку. Добавлять novostroyki в деактивацию СЕЙЧАС НЕЛЬЗЯ — мгновенно деактивирует 9598 замороженных (они active+stale, но многие реальны, просто не ре-скрейпятся). Делать ТОЛЬКО после расширения охвата.

Итог

Bot-safe часть закрыта (house_id_fk). Остаток — целиком cian-зона Лёхи (охват novostroyki + cookies), после чего фантом-деактивация. Помечаю needs-human/p1.

## Статус 2026-06-26 (свежие прод-цифры — сильно сдвинулось с 06-19) **✅ Root #3 (house_id_fk) — РЕШЕНО (bot-safe часть).** Миграция `130_backfill_listings_house_id_fk.sql` задеплоена (в `_schema_migrations`) + realtime-зеркало `base.py:636-645` (#e63b21e). NULL-fk по cian: **9235 → 485** (3% от 15951 активных). Из этих 485 — **0 имеют `house_ext_id`** и **0 резолвятся** детерминированным джойном (`house_source+house_ext_id → house_sources`). Т.е. бэкфилл выбрал всё что можно; остаток 485 — строки без house-ключа, их добьёт только ре-скрейп (зона Лёхи, см. ниже). Новой миграции не нужно. NULL-fk теперь мал по всем источникам (avito 4%, cian 3%, yandex 0.7%). **🟡 Root #1 (новостройки заморожены) — ЖИВ, зона Лёхи.** cian novostroyki: **9598 / 10003 активных заморожены на last_seen ≤ 31.05** (vtorichka свежая: 482/5734 frozen). Причина та же — `cian_full_load` идёт `secondary_only=True` (#938, scrape_pipeline.py:2063) + cian.py:712-715 дропает novostroyki на парсе. Это **намеренное** отключение (#938) — просто снять флаг рискованно (анти-бан/нагрузка). Нужно: anti-ban-aware охват novostroyki (выделенный newbuilding-listing-свип или расширение cian_city_sweep) + обновить cian-session-cookies (протухли с 31.05). **Зона Лёхи (cian-парсер/анти-бан/якоря).** **🟡 Root #2 (cian_city_sweep охват) — Лёха.** ~145 новостроек/ночь на весь город, дом 29/29А вне якорей. **🔴 Root #4 (фантомы не гаснут) — BLOCKED на охвате.** `deactivate_stale_cian` чистит только вторичку. Добавлять novostroyki в деактивацию СЕЙЧАС НЕЛЬЗЯ — мгновенно деактивирует 9598 замороженных (они active+stale, но многие реальны, просто не ре-скрейпятся). Делать ТОЛЬКО после расширения охвата. ## Итог Bot-safe часть закрыта (house_id_fk). Остаток — целиком cian-зона Лёхи (охват novostroyki + cookies), после чего фантом-деактивация. Помечаю needs-human/p1.
bot-backend added the
bug
needs-human
priority/p1
scope/backend
scrapers
tradein
 labels 2026-06-26 15:53:59 +00:00
bot-backend commented 2026-06-27 00:10:03 +00:00
Author
Collaborator
Copy link

[me-safe] FK-бэкфилл задеплоен (migration 136) + актуализация цифр (2026-06-27)

PR #1936 смержен + задеплоен. Важно: исходная диагностика (06-19) устарела — пересчёт на проде:

Что было на самом деле сейчас (не 9235)

  • Активных NULL-FK осталось 1884 (не 9205 — когорта рассосалась: re-scrape после 17.06 ловил mirror, deactivate_stale почистил часть).
  • Из них 0 несут house_source/house_ext_id → re-run migration 130 был бы strict no-op (130 покрывала только (house_source, house_ext_id)).
  • Реальный путь резолва для этих строк — per-listing-identity: mirror (base.py:704-750) при отсутствии house-catalog id зовёт match_or_create_house(ext_source=source, ext_id=source_id) → Tier-1 house_sources(ext_source,ext_id) conf=1.0. Migration 130 этот ключ НЕ трогала.

Что сделала migration 136 (faithful replay Tier-1, не fuzzy)

UPDATE listings SET house_id_fk = hs.house_id FROM house_sources hs
WHERE house_id_fk IS NULL AND source_id IS NOT NULL
  AND hs.ext_source=source AND hs.ext_id=source_id AND hs.house_id IS NOT NULL;

Результат на проде (verified):

  • Активных NULL-FK 1884 → 1140 (залито 744 active).
  • Всего (с inactive) залито 4608 строк; linked house_id_fk = 65406.
  • Residual resolvable via (source,source_id) = 0 — всё, что резолвилось каноническим source-id, залито.
  • listings_search_mv пере-refreshнут (CONCURRENTLY) → estimator/search MV видит новые линки сразу.
  • code-reviewer + database-expert: ✅ APPROVE (идемпотентно, collision-safe, faithful mirror-replay, короткие row-locks).

Остаётся (зона Лёхи — НЕ SQL-бэкфилл)

  1. ~1140 active NULL-FK без canonical source-id матча → нужен re-scrape/re-match (mirror проставит FK при следующем скрейпе). SQL-путь для них невозможен (нет существующего house_sources-маппинга — нужен прогон матчера: address/geo/fingerprint).
  2. Корень тикета — freshness заморо­женной cian-первички (9205 на last_seen=2026-05-31): cian_full_load secondary_only=True + охват cian_city_sweep ~145 новостроек/ночь + протухшие cian-cookies. Расширить охват/якоря + обновить cookies. После расширения охвата — добавить novostroyki в deactivate_stale_cian (фантомы), но ТОЛЬКО после, иначе массово деактивирует.

Группировочный слой (house_id_fk) починен везде, где это возможно детерминированно. Остаток — чисто скрейперный (свежесть + охват). Оставляю open под scraper-часть.

## [me-safe] FK-бэкфилл задеплоен (migration 136) + актуализация цифр (2026-06-27) PR #1936 смержен + задеплоен. **Важно: исходная диагностика (06-19) устарела** — пересчёт на проде: ### Что было на самом деле сейчас (не 9235) - Активных NULL-FK осталось **1884** (не 9205 — когорта рассосалась: re-scrape после 17.06 ловил mirror, deactivate_stale почистил часть). - Из них **0** несут `house_source/house_ext_id` → re-run migration 130 был бы **strict no-op** (130 покрывала только `(house_source, house_ext_id)`). - Реальный путь резолва для этих строк — **per-listing-identity**: mirror (`base.py:704-750`) при отсутствии house-catalog id зовёт `match_or_create_house(ext_source=source, ext_id=source_id)` → Tier-1 `house_sources(ext_source,ext_id)` conf=1.0. Migration 130 этот ключ НЕ трогала. ### Что сделала migration 136 (faithful replay Tier-1, не fuzzy) ```sql UPDATE listings SET house_id_fk = hs.house_id FROM house_sources hs WHERE house_id_fk IS NULL AND source_id IS NOT NULL AND hs.ext_source=source AND hs.ext_id=source_id AND hs.house_id IS NOT NULL; ``` **Результат на проде (verified):** - Активных NULL-FK **1884 → 1140** (залито 744 active). - Всего (с inactive) залито **4608** строк; linked house_id_fk = **65406**. - **Residual resolvable via (source,source_id) = 0** — всё, что резолвилось каноническим source-id, залито. - `listings_search_mv` пере-refreshнут (CONCURRENTLY) → estimator/search MV видит новые линки сразу. - code-reviewer + database-expert: **✅ APPROVE** (идемпотентно, collision-safe, faithful mirror-replay, короткие row-locks). ### Остаётся (зона Лёхи — НЕ SQL-бэкфилл) 1. **~1140 active NULL-FK без canonical source-id матча** → нужен re-scrape/re-match (mirror проставит FK при следующем скрейпе). SQL-путь для них невозможен (нет существующего house_sources-маппинга — нужен прогон матчера: address/geo/fingerprint). 2. **Корень тикета — freshness заморо­женной cian-первички** (9205 на `last_seen=2026-05-31`): `cian_full_load secondary_only=True` + охват `cian_city_sweep` ~145 новостроек/ночь + протухшие cian-cookies. Расширить охват/якоря + обновить cookies. После расширения охвата — добавить `novostroyki` в `deactivate_stale_cian` (фантомы), но ТОЛЬКО после, иначе массово деактивирует. Группировочный слой (house_id_fk) починен везде, где это возможно детерминированно. Остаток — чисто скрейперный (свежесть + охват). Оставляю open под scraper-часть.
lekss361 added the
data
 label 2026-08-16 10:24:54 +00:00
bot-backend commented 2026-08-20 19:56:01 +00:00
Author
Collaborator
Copy link

Замер 21.08.2026: корень №1 закрыт, корень №2 стоит на месте — и вот его цена в числах

Пришёл сюда с другой стороны — из #2994, где 26 203 «фантома» оказались не отказом деактиватора, а тенью несобираемого инвентаря. Разрез сошёлся ровно на этом issue.

Корень №1 (secondary_only=True) — исчез

Флага secondary_only в исходниках tradein-backend больше нет (остались только упоминания в тестах), cian_full_load в расписании идёт без него, interval_days: 3, последний прогон 17.08. То есть парсер новостройки больше не выбрасывает.

Корень №2 (cian_city_sweep покрывает мало) — стоит

Полный обход до новостроек не доходит. Видно по датам последнего подтверждения:

cian/vtorichka (покрыт)          cian/novostroyki (не покрыт)
  18.08  2336                      18.08   255
  15.08  1922                      20.08   123
  17.08   968                      13.08    60
  14.08   188                      12.08    62
  ...                              ...  ровный ручеёк 20-120/сутки

У vtorichka — залпы полного обхода. У novostroyki залпов нет ни одного: только тот ручеёк, что даёт anchor+radius cian_city_sweep. За 20 суток так подтвердилось ≈1 162 строки из 11 993 активных.

Цена в охвате

Доля активного инвентаря, которую свип подтверждает своим приходом:

источник / сегмент за неделю за месяц
cian / vtorichka 75.4 % 100.0 %
avito / novostroyki 57.0 % 100.0 %
yandex / vtorichka 61.0 % 90.0 %
cian / novostroyki 5.1 % 11.7 %

Медианный возраст активной cian-новостройки — 81 сутки, самая старая последний раз видена 23.05. Из 11 993 активных строк 10 585 старше 30 суток.

Для сравнения: avito обходит свои новостройки полностью за месяц, и просроченных строк там ноль.

Почему это не чинится со стороны деактивации

В #2994 предлагалось закрыть расхождение is_active реконсилятором и расширением скоупа деактивации на novostroyki. Замерил — нельзя: при охвате 11.7 % за месяц TTL=30 снял бы ≈88 % инвентаря просто потому, что свип туда не приходил. Это ровно механизм #2659. Докстрока deactivate_stale_avito.py:10-20 этот пробел уже описывает и ставит предусловие «сперва выяснить, поддерживает ли cian full-coverage sweep для novostroyki СЕЙЧАС» — ответ по замеру: не поддерживает.

То есть до тех пор, пока охват не вырастет, выбор стоит между «показывать мёртвое» и «убивать живое». Настоящая работа — здесь, в сборе, а не во флаге живости.

Ориентир приёмки

Месячный охват cian/novostroyki на уровне покрытых сегментов — 90 %+ (как у yandex/vtorichka). При нём расширение деактивации на этот сегмент станет безопасным, и предусловие из докстроки будет выполнено фактом, а не на глаз.

## Замер 21.08.2026: корень №1 закрыт, корень №2 стоит на месте — и вот его цена в числах Пришёл сюда с другой стороны — из #2994, где 26 203 «фантома» оказались не отказом деактиватора, а тенью несобираемого инвентаря. Разрез сошёлся ровно на этом issue. ### Корень №1 (`secondary_only=True`) — исчез Флага `secondary_only` в исходниках tradein-backend больше нет (остались только упоминания в тестах), `cian_full_load` в расписании идёт без него, `interval_days: 3`, последний прогон 17.08. То есть парсер новостройки больше не выбрасывает. ### Корень №2 (`cian_city_sweep` покрывает мало) — стоит Полный обход до новостроек **не доходит**. Видно по датам последнего подтверждения: ``` cian/vtorichka (покрыт) cian/novostroyki (не покрыт) 18.08 2336 18.08 255 15.08 1922 20.08 123 17.08 968 13.08 60 14.08 188 12.08 62 ... ... ровный ручеёк 20-120/сутки ``` У vtorichka — **залпы** полного обхода. У novostroyki залпов нет ни одного: только тот ручеёк, что даёт anchor+radius `cian_city_sweep`. За 20 суток так подтвердилось ≈1 162 строки из 11 993 активных. ### Цена в охвате Доля активного инвентаря, которую свип подтверждает своим приходом: | источник / сегмент | за неделю | **за месяц** | |---|---|---| | cian / vtorichka | 75.4 % | **100.0 %** | | avito / novostroyki | 57.0 % | **100.0 %** | | yandex / vtorichka | 61.0 % | **90.0 %** | | **cian / novostroyki** | **5.1 %** | **11.7 %** | Медианный возраст активной cian-новостройки — **81 сутки**, самая старая последний раз видена 23.05. Из 11 993 активных строк 10 585 старше 30 суток. Для сравнения: avito обходит свои новостройки полностью за месяц, и просроченных строк там **ноль**. ### Почему это не чинится со стороны деактивации В #2994 предлагалось закрыть расхождение `is_active` реконсилятором и расширением скоупа деактивации на novostroyki. Замерил — нельзя: при охвате 11.7 % за месяц TTL=30 снял бы ≈88 % инвентаря просто потому, что свип туда не приходил. Это ровно механизм #2659. Докстрока `deactivate_stale_avito.py:10-20` этот пробел уже описывает и ставит предусловие «сперва выяснить, поддерживает ли cian full-coverage sweep для novostroyki СЕЙЧАС» — ответ по замеру: **не поддерживает**. То есть до тех пор, пока охват не вырастет, выбор стоит между «показывать мёртвое» и «убивать живое». Настоящая работа — здесь, в сборе, а не во флаге живости. ### Ориентир приёмки Месячный охват cian/novostroyki на уровне покрытых сегментов — **90 %+** (как у yandex/vtorichka). При нём расширение деактивации на этот сегмент станет безопасным, и предусловие из докстроки будет выполнено фактом, а не на глаз.
bot-backend commented 2026-08-20 20:00:00 +00:00
Author
Collaborator
Copy link

Поправка к моему же комментарию выше: корень №1 НЕ закрыт

В предыдущем сообщении я написал, что флага secondary_only в исходниках больше нет. Это неверно. Мой grep смотрел только в tradein-mvp/backend/, а флаг переехал в пакет tradein-mvp/packages/scraper-kit/. Поведение не менялось вовсе — изменилось только место.

packages/scraper-kit/src/scraper_kit/orchestration/pipeline.py:3328
    secondary_only=True,          ← хардкод в run_cian_full_load, не параметр расписания

packages/scraper-kit/src/scraper_kit/providers/cian/serp.py:367
    secondary_only: bool = True,  ← дефолт

Прошу прощения за шум: вывод про охват от этого не меняется (11.7 % за месяц — замер по данным), но причина названа была неправильно.

Что при этом выяснилось — и это важнее

Новостройки не пропускаются при запросе. Они скачиваются, разбираются и выбрасываются последним шагом.

# cian/serp.py:667-673
collected_this_bucket = len(bucket_lots)
dropped_nb = 0
if secondary_only:
    filtered = [lot for lot in bucket_lots if lot.listing_segment != "novostroyki"]
    dropped_nb = collected_this_bucket - len(filtered)
    bucket_lots = filtered

Почему так, объяснено в докстроке: object_type=1 в SERP Cian ненадёжен (~5 % выдачи), поэтому фильтруют не запросом, а по authoritative listing_segment из offer.newbuilding.id — уже после парсинга.

Следствие: включение новостроек в полный обход стоит ноль дополнительных HTTP-запросов. Проверил, что это не догадка: проба бакета берёт totalOffers из Redux-состояния SERP, и дробление считается как pages_needed = ceil(totalOffers / offers_per_page). totalOffers включает обе категории — то есть страницы с новостройками уже скачиваются и уже оплачены и лимитом страниц, и антибан-бюджетом. Выбрасывается только результат разбора.

То есть это не проблема ёмкости сбора и не «Cian не отдаёт». Это однострочная политика.

Чего я НЕ смог измерить

Сколько именно строк выбрасывается за прогон. Счётчик dropped_nb логируется (cian: %s [...] dropped_nb=%d ...), но в scrape_runs.counters не сохраняется, а логи контейнеров за 17.08 (последний cian_full_load) уже не доступны — docker logs --since 120h не находит ни одной строки «cian:» ни в одном контейнере. Без прогона или без сохранения счётчика число назвать нельзя, и я его не называю.

Побочно: то, что dropped_nb считается и печатается, но не персистится, — сам по себе пробел наблюдаемости. Он бы дал ответ на этот вопрос из истории, без всяких проб.

Предлагаю минимальный обратимый шаг

Сделать secondary_only параметром расписания (scrape_schedules.default_params), сохранив нынешний дефолт True, и заодно сохранять dropped_nb в счётчики прогона. Тогда:

  • поведение прода не меняется ни на строку, пока никто не тронет параметр;
  • включение и откат становятся правкой одной ячейки в БД, а не деплоем;
  • первый же прогон с false даст точное число новых строк, а dropped_nb в счётчиках — цену вопроса задним числом.

Готовлю PR в таком виде, если возражений нет. Решение «включать ли» остаётся за владельцем — при охвате 11.7 % это ещё и предусловие для расширения деактивации на novostroyki (#2994).

## Поправка к моему же комментарию выше: корень №1 НЕ закрыт В предыдущем сообщении я написал, что флага `secondary_only` в исходниках больше нет. **Это неверно.** Мой grep смотрел только в `tradein-mvp/backend/`, а флаг переехал в пакет `tradein-mvp/packages/scraper-kit/`. Поведение не менялось вовсе — изменилось только место. ``` packages/scraper-kit/src/scraper_kit/orchestration/pipeline.py:3328 secondary_only=True, ← хардкод в run_cian_full_load, не параметр расписания packages/scraper-kit/src/scraper_kit/providers/cian/serp.py:367 secondary_only: bool = True, ← дефолт ``` Прошу прощения за шум: вывод про охват от этого не меняется (11.7 % за месяц — замер по данным), но причина названа была неправильно. ## Что при этом выяснилось — и это важнее Новостройки **не пропускаются при запросе. Они скачиваются, разбираются и выбрасываются последним шагом.** ```python # cian/serp.py:667-673 collected_this_bucket = len(bucket_lots) dropped_nb = 0 if secondary_only: filtered = [lot for lot in bucket_lots if lot.listing_segment != "novostroyki"] dropped_nb = collected_this_bucket - len(filtered) bucket_lots = filtered ``` Почему так, объяснено в докстроке: `object_type=1` в SERP Cian ненадёжен (~5 % выдачи), поэтому фильтруют не запросом, а по authoritative `listing_segment` из `offer.newbuilding.id` — уже после парсинга. **Следствие: включение новостроек в полный обход стоит ноль дополнительных HTTP-запросов.** Проверил, что это не догадка: проба бакета берёт `totalOffers` из Redux-состояния SERP, и дробление считается как `pages_needed = ceil(totalOffers / offers_per_page)`. `totalOffers` включает обе категории — то есть страницы с новостройками **уже скачиваются и уже оплачены** и лимитом страниц, и антибан-бюджетом. Выбрасывается только результат разбора. То есть это не проблема ёмкости сбора и не «Cian не отдаёт». Это однострочная политика. ## Чего я НЕ смог измерить Сколько именно строк выбрасывается за прогон. Счётчик `dropped_nb` **логируется** (`cian: %s [...] dropped_nb=%d ...`), но в `scrape_runs.counters` не сохраняется, а логи контейнеров за 17.08 (последний `cian_full_load`) уже не доступны — `docker logs --since 120h` не находит ни одной строки «cian:» ни в одном контейнере. Без прогона или без сохранения счётчика число назвать нельзя, и я его не называю. Побочно: то, что `dropped_nb` считается и печатается, но не персистится, — сам по себе пробел наблюдаемости. Он бы дал ответ на этот вопрос из истории, без всяких проб. ## Предлагаю минимальный обратимый шаг Сделать `secondary_only` параметром расписания (`scrape_schedules.default_params`), сохранив нынешний дефолт `True`, и заодно сохранять `dropped_nb` в счётчики прогона. Тогда: - поведение прода **не меняется** ни на строку, пока никто не тронет параметр; - включение и откат становятся правкой одной ячейки в БД, а не деплоем; - первый же прогон с `false` даст точное число новых строк, а `dropped_nb` в счётчиках — цену вопроса задним числом. Готовлю PR в таком виде, если возражений нет. Решение «включать ли» остаётся за владельцем — при охвате 11.7 % это ещё и предусловие для расширения деактивации на novostroyki (#2994).
lekss361 commented 2026-08-30 08:13:54 +00:00
Owner
Copy link

Ревизия открытых задач 2026-08-30. Проверено в коде на forgejo/main — сделано, закрываю.

secondary_only стал параметром расписания вместо хардкода в pipeline.py. tests/test_1781_secondary_only_param.py.

Ревизия открытых задач 2026-08-30. Проверено в коде на forgejo/main — сделано, закрываю. `secondary_only` стал параметром расписания вместо хардкода в pipeline.py. tests/test_1781_secondary_only_param.py.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
fix/3469-showcase-schedule
fix/3443-caddy-selfdowntime
fix/3463-db-statement-timeout
fix/3448-caddy-only-detection
fix/metrics-deploy-reloads-prometheus
feat/landing-showcase-band
fix/3452-corridor-advisory-zone
fix/alert-value-is-not-the-ratio
fix/3449-geocoder-cancel-orphan
fix/3451-tvf-deals-rooms
fix/msk-collector-net-retry
feat/msk-yandex-import
fix/3051-fetch-deals-rooms-dropped
feat/msk-collector-cian
fix/3256-asking-to-sold-buckets
fix/3083-estimate-throughput
fix/3274-part2b-gate
fix/3274-part2a-caddy-retry
fix/perimeter-smoke-retry-on-no-response
fix/3274-zero-downtime-frontend
fix/3274-part1-deploy-swap
fix/3412-cian-instance-relaunch
fix/3415-bucket-done-only-if-phases-ok
chore/backend-pool-wiring-tails
fix/3398-pool-ops-off-event-loop
fix/3402-followups-ban-kinds-curl
feat/3404-proxy-run-attribution
fix/cian-captcha-is-platform-refusal
refactor/3390-single-runs-module
fix/3398-estimator-valuations-proxy-pool
fix/3386-estimator-imv-proxy-pool
fix/3394-cian-sweep-houses-proxy-pool
fix/3393-interrupted-runs-outside-streaks
fix/drain-marks-inflight-app-tasks
fix/3384-no-proxy-at-batch-start
fix/3197-yandex-newbuilding-proxy-pool
fix/3376-price-history-decimal-slips
fix/backend-proxy-pool-flags
fix/3197-cian-history-backfill-proxy-pool
fix/3288-sidecar-ban-status-code
fix/3375-yandex-fullload-on-bucket-contract
fix/3380-deploy-metrics-alloy-recreate
fix/3354-alloy-query-secret-scrub
fix/3360-admin-prefix-anon-404
fix/3368-yandex-leaf-complete-flag
fix/3369-domclick-cancel-checkpoint
fix/3225-domklik-diff-percent
fix/smoke-history-path
fix/3288-breaker-block-kind
fix/3355-drain-mark-fullloads
fix/3191-yandex-detail-completeness
fix/3359-containment-cian-yandex
fix/3323-payment-init-fail-409
fix/3172-freshness-by-data
fix/3288-avito-ban-per-source
fix/3253-domclick-house-fields
fix/3312-defer-interval-minutes
fix/3324-rbac-401-oracle
fix/3274-deploy-window-error-page
fix/3343-auth-latency-flaky
fix/3315-exhaustive-containment-skip
fix/3338-backfill-save-false
fix/3339-thin-market-badge
fix/3154-glitchtip-secret-log-leak
fix/3333-drain-mark-all-sweeps
fix/3323-imv-thin-market-gate
fix/3324-mera-perimeter
fix/3323-coverage-copy-honesty
fix/3332-domclick-counter-identity
fix/3324-ptica-deploy-gate
fix/3316-role-single-source
fix/3319-citysweep-checkpoint
fix/3322-rosseti-stable-key
fix/3320-v2-honest-zeros
fix/3321-draft-fields-survive
fix/mera-mobile-nav-and-sticky
fix/audit-form-ux
fix/audit-coverage-500
fix/audit-dkp-price
fix/audit-accuracy-window
fix/audit-faq-contradiction
fix/perimeter-smoke-after-payments
feat/b2c-landing-honest-copy
feat/b2c-landing-live-numbers
feat/b2c-v3-becomes-root
feat/b2c-v3-port-v1-blocks
feat/b2c-report-redesign
feat/b2c-landing-v3-full
feat/3192b-yandex-phones
feat/3168-backfill-cursor-resume
fix/3118-domclick-no-proxy
fix/3170-yandex-combo-checkpoint
feat/3074-newbuilding-sweep-resume
fix/3163-infra-topic-default
fix/3156-tgbot-error-type
feat/3163-infra-topic-split
fix/3161-alertmanager-route-prefix
fix/3155-prometheus-no-alertmanager
feat/2997-drop-listings-geom-idx
fix/3122-boot-reap-observable
feat/3122-boot-reap
feat/3051-houses-region-code
feat/3074-cian-anchor-checkpoint
feat/3051-region-registry
fix/2656-anchor-ratio-freshness
fix/3114-scrub-credentials-in-logs
fix/3078-grafana-single-auth
fix/3081-honest-progress
fix/3063-pro-seller-derive
fix/3074-checkpoint-survives-claim
fix/3082-estimate-concurrency
fix/3044-enriched-total-seen
fix/telegram-pin-selectel-override
chore/compose-host-parameterised-resources
fix/revisit-floor-lateral-lookup
fix/avito-detail-fields
fix/3034-avito-fingerprint
fix/avito-offers-per-page
feat/3033-avito-secondary-filter
fix/2203-restore-drill-readiness
feat/2203-backup-staleness-and-forgejo
fix/2990-clean-start-initdb
fix/2924-yandex-jk-resolve-tried-at
fix/2992-upsert-distinct-gate
fix/2998-rosreestr-q2-partitions
feat/2936-null-penalty-flag
fix/2996-mislocated-houses-watchdog
fix/1781-secondary-only-param
fix/2934-risks-coverage
fix/2464-three-small
fix/2464-two-docstrings
fix/2464-zouit-label
fix/2464-building-pct-guard
fix/2464-download-binary-retry
fix/2986-permits-key
fix/2464-tep-docstring
fix/2464-act-date-backfill
fix/2464-area-bin-null
fix/2464-act-date-citation
fix/2464-detect-kind
fix/2464-status-negation
fix/2464-objective-zombie-sweep
fix/2464-inert-retry-config
fix/2464-default-profile-unique
fix/2464-zombie-any-running
fix/2464-catalog-skipped-counter
fix/2464-heat-loader-tx
fix/2464-objective-run-stuck
fix/2464-catalog-waf-breaker
fix/2464-lock-key-order
fix/2464-backfill-waf-abort
fix/2464-docs-vs-code
fix/2464-land-reservation-dedup
fix/2464-manual-list-validation
fix/2464-capacity-savepoints
fix/2464-leads-window-naming
fix/2464-zouit-count-label
fix/2464-catalog-batch-commits
fix/2464-html-zoning-fallback
fix/2950-lock-wait-observable
fix/2956-freshness-counts-failed-harvest
fix/2950-host-lock
fix/2953-nominatim-throttle
fix/2950-deploy-docker-lock
fix/2464-ird-lookups-savepoint
fix/2464-parcels-savepoint-pair
fix/2674-deal-floor-display
docs/2854-stale-justifications
chore/2857-drop-placeholder-columns
fix/2855-probe-protected-path
fix/2674-has-panorama
fix/house-imv-anchor-era
fix/2674-quality-cadastre-column
fix/sber-freshness-guard
fix/dkp-corridor-as-of
fix/scheduler-resume-checkpoint
fix/quarter-target-from-neighbour
fix/2687-domclick-ban-kind-platform
fix/2814-address-backfill
fix/2677-house-anchor-renovation
feat/tradein-paid-retention
chore/ci-config-cleanup
feat/mera-b2c-privacy
feat/tradein-payments-schema
chore/2674-dead-code-sweep
fix/2674-matching-tiers-honesty
fix/2674-avito-full-load-coverage
fix/2674-admin-metrics-honesty
fix/2674-writers-honor-schema
fix/2674-alerts-actually-fire
fix/2679-scraper-deploy-parity
fix/2674-house-imv-params
fix/2666-discount-plausibility-gate
feat/2435-cian-house-enrichment
fix/2657-domclick-block-not-done
feat/2571-login-throttle
fix/2660-display-freshness-segment
fix/2658-loud-skip-status
fix/2603-geocode-city-hint-tails
feat/2600-per-source-proxy-health
feat/tradein-v2-exposure-in-result-card
fix/tradein-avito-browser-proxy-pool
chore/tradein-cut-wasteful-scraping
fix/tradein-v2-deals-fallback-visible
fix/tradein-city-stamp-geo-guard
fix/tradein-cian-oblast-secondary
fix/tradein-implausible-build-year
fix/tradein-snapshot-query-perf
fix/tradein-asking-sold-city-scope
chore/tradein-purge-dead-mobileproxy
feat/tradein-asocks-rotation
fix/tradein-region-code-foreign-cities
fix/tradein-proxy-pool-self-healing
fix/tradein-backfill-listing-city-from-url
fix/tradein-geocode-queue-active-only
fix/tradein-geocode-city-hint
chore/tradein-remove-yandex-scripts
fix/tradein-listing-city-from-sweep
chore/tradein-remove-yandex-geocoder
chore/tradein-remove-n1
fix/tradein-geocoder-fail-closed
fix/tradein-ui-city-label-clip
feat/tradein-ui-city-hint
fix/tradein-coords-backfill-city-gate
fix/tradein-geocoder-city-default
fix/tradein-anchor-geo-scope
fix/tradein-avito-detail-oblast
feat/tradein-price-bands-refresh
feat/tradein-caddy-cutover
fix/tradein-team-nav-and-401
feat/tradein-team-dashboard
fix/tradein-team-list-order
feat/tradein-team-api
feat/tradein-login-ui
feat/tradein-auth-core
feat/tradein-auth-password-foundation
feat/tradein-auth-users-schema
fix/tradein-rbac-test-user2-expired
fix/tradein-auth-revoke-user2
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels   
Fable 5 ревью

Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)

  
GG-форсайт

Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.

  
admin

Admin UI / internal tools / pipeline tracker

  
analytics

Аналитика данных / matching

  
auth

Authentication / authorization / multi-tenancy

  
automation

Автоматизация / cron / scheduler

  
bug

Something isn't working

  
business

Коммерческая воронка / пилоты / pipeline / реестр ПО

  
chore

Operational housekeeping

  
ci

Forgejo Actions / build pipeline

  
compliance

152-ФЗ / реестр ПО / legal / TOS

  
data

Data sources, parsers, ETL

  
data-moat

Уникальные данные — sales tracker, CRM aggregation

  
docs

README / runbooks / onboarding

  
duplicate

This issue or pull request already exists

  
dx

Developer experience / build speed

  
enhancement

New feature or request

  
feedback/max

Feedback from Max (Senior partner)

  
generative

Generative Design — concept generation engine

  
needs-discussion

Pending team sync / decision

  
needs-human

Human review/decision required

  
observability

Monitoring / metrics / logs / Sentry / Uptime

  
pause-bots

Kill-switch — all autonomous bots pause

  
performance

Latency / throughput / DB query tuning

  
priority/p0

Critical / production-blocker

  
priority/p1

High priority

  
priority/p2

Normal priority

  
priority/p3

Низкий приоритет (follow-up, tech-debt)

  
scope/backend

Backend Python — FastAPI, Celery, scrapers

  
scope/db

DB migrations, indexes, SQL

  
scope/devops

docker-compose, Caddy, workflows

  
scope/frontend

Frontend — Next.js, React, TypeScript

  
scope/qa

Tests, smoke, Playwright

  
scrapers

Скрапперы (Avito/Cian/Yandex/Rosreestr)

  
security

Security audit / secrets / vulnerabilities

  
site-finder

Site Finder scoring quality & data layer

  
stage/1

Stage 1: Generative MVP (нед 2-7)

  
stage/2

Stage 2: Site Finder MVP (нед 8-12)

  
status/blocked

Blocked — needs human intervention

  
status/done

Closed, completed

  
status/needs-analysis

Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)

  
status/needs-fix

Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)

  
status/qa

PR merged, awaiting smoke test

  
status/ready

Ready for pickup by worker bot

  
status/review

PR open, awaiting code review

  
status/wip

Work in progress (worker claimed)

  
tech-debt

Технический долг

  
tradein

Trade-In MVP проект

  
ux

User experience / responsive / conversion

  
week ревью 1

Week review 1 — находки multi-agent аудита проекта (2026-06-14)

  
wontfix

This will not be worked on

  
ИРД

Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы

  
вторичка

Trade-In Estimator — проект оценки вторичного жилья

No labels
Fable 5 ревью
GG-форсайт
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
feedback/max
generative
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
ИРД
вторичка
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: lekss361/gendesign#1781
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?