3 commits

Author	SHA1	Message	Date
bot-backend	03d7884a80	fix(tradein/houses): персистить house_class из avito «Класс жилья» и yandex parse (#2003) ... houses.house_class (comfort/business/premium/economy) заполнен у 0% из 6958 домов. Два независимых бага: Bug 2 (quick win): avito EXPAND_PARAMS_MAP не извлекал «Класс жилья» (developmentPage/новостройки) в колонку — добавлена нормализация RU→канон + COALESCE-write в _persist_house (avito = топ-приоритетный источник, перезаписывает при наличии значения, None не затирает существующее). Зеркальная правка в scraper-kit копии (parity-тест этого требует). Bug 1 (частично): resolve_house_field/HOUSE_FIELD_PRIORITY (conflict_resolution.py) подтверждён dead code (0 прод-вызовов) — не трогал. Вместо этого починен yandex_newbuilding_sweep.py: парсил house_class, но нигде не персистил (терялось безвозвратно) — добавлен fill-only UPDATE (COALESCE(houses.house_class, :new) — yandex_realty_nb низший приоритет, не перетирает более приоритетный источник).	2026-07-04 03:46:47 +03:00
bot-backend	c9daf8e268	fix(tradein): yandex sweep — guard ext_id=NULL перед fetch_jk + cleanup httpx (#974 review M1/M3) ... M1: добавлен guard перед вызовом fetch_jk — если ext_id пустой/None при наличии jk_slug, логируем warning, incrementим failed_fetch и пропускаем (continue). Пустой jk_id формирует битый URL /{slug}-/ и коллизию на UNIQUE ext_id=''. M3: в admin.py /scrape/yandex-newbuilding заменён `async with YandexNewbuildingScraper()` на прямое `scraper = YandexNewbuildingScraper()` — fetch_jk использует внутренний BrowserFetcher, httpx-клиент BaseScraper открывался вхолостую. Тесты: добавлен test_sweep_slug_present_but_ext_id_null_skips_fetch.	2026-06-15 18:41:08 +03:00
bot-backend	feab585ad5	feat(tradein): yandex_newbuilding sweep-entrypoint + market-схема enrichment, seed dormant (#974) ... - SQL 105: CREATE SCHEMA market + market.yandex_jk_enrichment (ext_id UNIQUE, upsert-ready), houses.yandex_jk_slug, GRANT gendesign_reader на market-слой - SQL 106: seed scrape_schedules yandex_newbuilding_sweep (enabled=false dormant, окно 02-05 UTC) - yandex_newbuilding.py: fetch_jk → BrowserFetcher (camoufox), add resolve_yandex_jk_slug (SERP siteId query через BrowserFetcher, slug из _JK_SLUG_RE href) - tasks/yandex_newbuilding_sweep.py: enrich_yandex_newbuilding_sweep (resolve slug → fetch_jk → UPSERT market.yandex_jk_enrichment, SAVEPOINT per house, dry_run, resumable) - admin.py: POST /scrape/yandex-newbuilding-sweep + GET .../runs - scheduler.py: trigger_yandex_newbuilding_sweep_run + dispatch elif branch - tests: 8 task tests + 3 scheduler dispatch tests (20 pass)	2026-06-15 18:28:58 +03:00