184 commits

Author	SHA1	Message	Date
bot-backend	575c233e51	refactor(tradein/scrapers): удалить 6 осиротевших legacy scraper-модулей + тест-хирургия (#2397 Part E2) ... app.services.scrapers.{cian,cian_detail,yandex_realty,domclick,domclick_exceptions, avito_houses} имели 0 runtime-импортёров после E1 (scrape_pipeline.py удалён, #2405) — admin.py/cian_history_backfill.py уже на scraper_kit.providers.*. Удаление: - 6 модулей целиком (avito_houses.py, cian.py, cian_detail.py, domclick.py, domclick_exceptions.py, yandex_realty.py) - 3 осиротевших dev-sweep скрипта (local-sweep-ekb{,-cian,-yandex}.py) — эксклюзивно драйвили удалённые легаси-скраперы, kit-путь их заменяет Тесты (18 файлов DELETE — эксклюзивно тестировали удалённые модули или были чистым legacy-vs-kit parity, чей легаси-эталон исчез): test_cian_detail.py, test_cian_serp_scraper.py, tests/scrapers/test_cian_exhaustive.py, test_yandex_realty_serp.py, tests/scrapers/test_domclick.py, test_avito_houses_dedup.py, test_avito_houses_parse.py, test_houses_rating_filter_entries_1789.py, test_scraper_kit_domclick_golden_parity.py, tests/scrapers/test_admin_{avito,cian,yandex}_kit_parity.py. CONVERT (файл покрывает СМЕШАННЫЙ live+legacy набор — вырезаны только секции удалённых модулей, live-покрытие сохранено): - test_scraper_kit_cian_golden_parity.py — SERP/`_format_address`/detail (cian.py/cian_detail.py) убраны; extract_state (cian_state_parser, live)/ valuation (cian_valuation, live)/newbuilding (cian_newbuilding, live)/ no-app-imports guard — остались - test_scraper_kit_yandex_golden_parity.py — SERP `_entity_to_lot`/ `_parse_gate_json`/`_build_url` (yandex_realty) убраны; normalize_house_type (live)/newbuilding parse (yandex_newbuilding, live)/no-app-imports guard — остались - test_scraper_kit_bisection_parity.py — cian/domclick/yandex-ветки убраны; avito-ветка (live, единственная оставшаяся легаси-бисекция) — осталась полностью, включая full-seed-grid - test_scraper_kit_group_c_backfill_kit_parity.py — cian fetch_detail browser_fetcher parity-тест убран; avito/house_imv_backfill/ cian_history_backfill/ekb_geoportal тесты — остались - test_scraper_kit_pricehistory_session_parity.py — fetch_detail config-injection/proxy-wiring тесты (cian_detail) убраны; extract_state (cian_state_parser, live)/ScrapedLot (base, live) parity — остались - test_yandex_scrapers_delay_wiring.py — yandex_realty delay-тест убран (kit-эквивалент уже покрыт test_kit_serp_proxy_pool.py); yandex_newbuilding (live)/yandex_detail/yandex_valuation (kit) тесты — остались - test_scraper_proxy.py — yandex_realty BrowserFetcher-тест убран (redundant с test_kit_serp_proxy_pool.py::test_yandex_serp_no_pool_by_default) RETARGET на kit (символ живёт, только источник поменялся): - test_domclick_sweep.py — `_map_item` → scraper_kit.providers.domclick.serp - test_yandex_city_sweep.py — DEFAULT_PRICE_RANGES/ROOM_PATH → scraper_kit.providers.yandex.serp - test_pipeline_browser_routing.py — fetch_house_catalog → scraper_kit.providers.avito.houses (+ KitAvitoBlockedError для firewall-теста) - test_snapshot_writer.py — DetailEnrichment/save_detail_enrichment → scraper_kit.providers.cian.detail (byte-identical strangler-копия) - test_backfill_wave2.py — DetailEnrichment → scraper_kit.providers.cian.detail - tests/scrapers/test_avito_unix_date_tz_consistency.py — avito_houses → scraper_kit.providers.avito.houses (houses-ветка _unix_to_date/RUS_MONTHS consolidation-проверки) Stale-комментарии поправлены в cian_price_history.py, tests/scrapers/ test_domclick_detail.py (описывали ещё-живой domclick.py/domclick_exceptions.py). grep -rn scrapers\.\(cian\|cian_detail\|yandex_realty\|domclick\|domclick_exceptions\| avito_houses\) app/ scripts/ packages/ — только historical footnotes ("strangler-копия app.services.scrapers.X", past-tense "удалён/deleted"). Backend suite: 2811 passed, 6 skipped, 1 failed (known flake test_search_cache_hit #2208, не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 14:37:19 +03:00
lekss361	84716e61de	Merge pull request 'refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1)' (#2405) from chore/tradein-partE1-delete-scrape-pipeline into main	2026-07-04 11:09:39 +00:00
bot-backend	79a77200d7	refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1) ... app.services.scrape_pipeline (3734 строк) имел 0 runtime-импортёров — Part C убрал последнего вызывающего (admin.py, scheduler_main.py уже на scraper_kit.orchestration.pipeline). Удаление: - backend/app/services/scrape_pipeline.py — удалён целиком Тесты (18 файлов, импортировавших scrape_pipeline): DELETE (чистая legacy-оркестрация, kit-эквивалент покрыт в test_scraper_kit_pipeline_parity{,2}.py): - test_scrape_pipeline.py, test_scrape_pipeline_proxy_pool.py (proxy-pool DB-lease вытеснен RealProxyProvider DI-адаптером, покрытым test_scraper_adapters_contracts.py) - test_anchor_watchdog.py, test_ban_rotation_1790.py, test_provider_rotation_1848.py - test_scraper_resilience_1949_1950.py, test_sweep_drain.py CONVERT (parity-сравнение убрано, kit-only regression оставлен/усилен): - test_scraper_kit_pipeline_parity.py, test_scraper_kit_pipeline_parity2.py — _drive_old убран, _drive_new стал единственной веткой; ассёрты на конкретные значения counters сохранены (это теперь основное regression-покрытие kit orchestration) - test_sweep_imv_phase.py — 6 IMV-phase тестов (enrich_imv true/false/no-touched/ crash/failed-counter/cancel) переведены на run_avito_city_sweep (kit) с DI (config/matcher/enrichment); enrichment.process_houses_imv_batch — инжектируемый Protocol-метод вместо прямого импорта app.services.house_imv_backfill PARTIAL-EDIT (легаси sweep-behavior вырезан, admin/kit-DI/несвязанные тесты оставлены): - test_city_sweep.py — только retarget 4 импортов на scraper_kit.orchestration.pipeline - test_cian_city_sweep.py, test_yandex_city_sweep.py — sweep-behavior секции удалены, admin endpoint тесты (уже kit-DI) + anchor-timeout/watchdog формулы (retarget import) оставлены - test_domclick_sweep.py — sweep-wiring тесты удалены, Counters + _map_item оставлены - test_avito_newbuilding_sweep.py — sweep-wiring тест #5 удалён, retarget NewbuildingSweepCounters - test_pipeline_browser_routing.py — 3 run_avito_pipeline теста удалены, browser-routing на уровне fetch_detail/fetch_house_catalog/AvitoScraper не тронут - test_scraper_proxy.py, tests/scrapers/test_avito_anti_bot.py — _avito_proxies() переведён на kit (DI-параметр вместо settings-patch); pipeline-level тесты удалены Stale-комментарии (scrape_pipeline.py как текущая реальность) поправлены в admin.py, avito_detail_backfill.py, house_imv_backfill.py, yandex_price_history.py, scrapers/avito_detail.py + kit-пакете (orchestration/__init__.py, orchestration /pipeline.py, providers/avito/detail.py — strangler завершён, легаси удалён). grep -rn scrape_pipeline app/ scripts/ packages/ — только past-tense упоминания ("удалён в Part E1", "перед его удалением") + один historical footnote (contracts.py:138, provenance-заметка "собраны grep'ом по ... .py"). Backend suite: 3088 passed, 6 skipped (известный flake test_search_cache_hit #2208 — не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 13:56:06 +03:00
lekss361	2e345acb82	fix(tradein/scraper-kit): клампить diff_percent перед INSERT offer_price_history (#2404)	2026-07-04 10:44:26 +00:00
bot-backend	a9b87aa311	chore(tradein/scraper-kit): удалить 5 orphaned legacy-модулей (#2277 финальный шаг, частичный) ... Удалены (0 runtime importers в app/, scripts/, packages/; проверено grep'ом, включая intra-legacy импорты в оставшихся 21 legacy-модуле scrapers/): - backend/app/services/scrapers/avito_imv.py - backend/app/services/scrapers/domclick_detail.py - backend/app/services/scrapers/ekb_geoportal_client.py - backend/app/services/scrapers/yandex_detail.py - backend/app/services/scrapers/yandex_valuation.py Тесты — удалены (pure legacy-vs-kit parity, kit-only coverage уже есть в другом месте): - tests/scrapers/test_ekb_geoportal_client_kit_parity.py - tests/scrapers/test_domclick_detail_kit_parity.py Тесты — конвертированы в kit-only (импорт легаси заменён на scraper_kit.*, покрытие сохранено без потерь): - tests/scrapers/test_avito_imv_kit_parity.py (parity-тесты убраны, config-footgun regression на kit-стороне оставлен) - tests/scrapers/test_avito_imv_browser_transport.py - tests/scrapers/test_yandex_valuation_kit_migration.py (parity убрана, footgun- регрессия mandatory config/delay_provider оставлена) - tests/scrapers/test_domclick_detail.py (+ exceptions переведены на scraper_kit.domclick_exceptions, т.к. kit parse_detail_html поднимает их) - tests/test_avito_imv_parse.py - tests/test_ekb_geoportal_ingest.py (client-часть; ingest/geocoder-часть не трогали — не зависят от удалённого модуля) - tests/test_yandex_detail.py - tests/test_yandex_detail_structural.py - tests/test_yandex_valuation.py (YandexValuationScraper() → config=_KIT_CONFIG, kit конструктор требует обязательный config) - tests/test_yandex_valuation_save.py - tests/test_extval_house_id_write_path.py (только yandex_valuation-часть; cian_valuation остался нетронутым — живой легаси-модуль) - tests/test_yandex_history_area_filter.py Тесты — частично отредактированы (убраны только части про удалённые модули, живые легаси-модули/их parity не тронуты): - tests/scrapers/test_admin_domclick_ingest_kit_parity.py (base.py/ScrapedLot parity остался) - tests/scrapers/test_admin_yandex_kit_parity.py (yandex_realty parity остался) - tests/scrapers/test_admin_avito_kit_parity.py (avito.py/avito_houses.py parity остался; _parse_price parity убран) - tests/scrapers/test_avito_unix_date_tz_consistency.py (IMV-ветка переведена на kit avito.imv, легаси avito/avito_houses/avito_shared/avito_detail не тронуты) - tests/tasks/test_yandex_detail_backfill.py (subject — kit-задача, уже вызывает scraper_kit.providers.yandex.detail; save_detail_enrichment coverage-тесты внизу файла переведены на kit) - tests/test_scraper_kit_yandex_golden_parity.py (detail/valuation parity убраны; serp/newbuilding/house_type_normalizer/build_url для yandex_realty/ yandex_newbuilding не тронуты) - tests/test_scraper_proxy.py (YandexValuation proxy-тесты переведены на kit config= DI; test_avito_imv_own_session_receives_proxies удалён — дублирует test_avito_imv_kit_parity.py footgun-тесты) - tests/test_yandex_scrapers_delay_wiring.py (yandex_detail/yandex_valuation → kit delay_provider=; yandex_realty/yandex_newbuilding не тронуты) - tests/test_scraper_kit_group_c_backfill_kit_parity.py (docstring уточнение, без функциональных изменений) Полный backend-suite зелёный (3253 passed, 6 skipped) кроме известного pre-existing flake test_search_api.py::test_search_cache_hit (#2208, не регрессия этого PR). ruff check + ruff format — чисто на всех изменённых файлах.	2026-07-04 10:41:46 +03:00
lekss361	91c8365d91	fix(tradein/houses): персистить house_class из avito «Класс жилья» и yandex parse (#2003) (#2359)	2026-07-04 00:49:48 +00:00
lekss361	e7f97f1355	fix(tradein/avito): консолидировать house_type normalizer + актуализировать docstring (#2009) (#2340)	2026-07-03 22:47:05 +00:00
bot-backend	6f170504ba	fix(tradein/pii): удалить телефоны продавцов (NULL) + PII клиента (DROP) (#2217, #1969) ... - listings.phones: миграция 166 обнуляет данные; cian.py + scraper-kit serp.py (golden-parity зеркало) перестают читать offer.get("phones") на входе — write-path выключен у источника, колонка/поле в модели остаются. Мёртвая запись "phones" в LISTING_FIELD_PRIORITY убрана. - trade_in_estimates.client_name/client_phone: миграция 167 дропает колонки; синхронно убраны из TradeInEstimateInput, обоих INSERT в estimator.py (основной путь + _empty_estimate), frontend TradeInEstimateInput и CRM-блока EstimateForm (поля "Имя клиента"/"Телефон"). - sentry_scrub.py и management_companies.phones не тронуты — вне scope.	2026-07-03 23:00:42 +03:00
bot-backend	33e3503f97	fix(tradein/data): yandex url-дубли — дедуп-миграция + инвариант + корень (#2235)	2026-07-03 09:39:29 +03:00
lekss361	47f45fc3d2	fix(tradein/scrapers): bump scraped_at при ре-подтверждении живым + бэкфилл (#2206) (#2224)	2026-07-02 20:30:01 +00:00
bot-backend	0eb033d77d	fix(tradein/matching): P1 extended — never create a house from a numberless address (no cadastral)	2026-07-02 21:33:52 +03:00
lekss361	32d1818fd4	fix(scrapers/avito): unify _unix_to_date timezone across serp/houses/imv (#2129)	2026-07-02 14:03:11 +00:00
lekss361	69845ddcee	fix(tradein/avito-detail): живой прогрев сессии + батч-на-сессию — снимает 403 на curl-backfill (#1551)	2026-06-28 22:34:38 +00:00
bot-backend	a50af40ad6	fix(tradein/avito): reap dead 404 listings in detail backfill (don't trip block breaker) ... avito_detail_backfill (mode=browser) aborted prod run 458 with attempted=5 enriched=0 blocked=5: the lat-null pending queue is dominated by DEAD listings (404 — that's why they are stale coord-holes). In browser mode a dead listing's 404 page ("Ошибка 404. Страница не найдена") has no item-view, so _is_detail_soft_block returned True → AvitoBlockedError → backfill counted it as `blocked` and the consecutive-block breaker aborted the run before reaching live listings. - New AvitoListingGoneError (subclass of common AvitoError, NOT of AvitoBlockedError/AvitoRateLimitedError) so the backfill block-trap does not catch it. - New _is_detail_not_found() detector + browser-mode branch in fetch_detail, checked BEFORE firewall/soft-block (keyed on the 404 title so it does not swallow the generic soft-block deflect). Curl path unchanged (404 → 302/ non-200 → ValueError → failed, as before). - Backfill: new `gone` counter; dedicated except AvitoListingGoneError branch that is neutral to the consecutive-block breaker and marks the listing is_active=FALSE (SAVEPOINT) so it leaves the snapshot scope. Tests: unit for _is_detail_not_found (404 True; soft-block/item-view/empty False), browser-mode fetch_detail raising AvitoListingGoneError (not Blocked), and backfill gone-row marks inactive without aborting the breaker.	2026-06-28 14:05:31 +03:00
lekss361	ca4637e5c8	fix(tradein/avito): detect HTTP-200 soft-block → rotate + coords-priority backfill ordering (#1950, #1967) ... Soft-block (HTTP 200 generic витрина без item-view) теперь детектится как блок → существующая 403/firewall reconnect-машинерия → ротация exit-IP вместо silent failed (blocked=0, enriched→0 каскад). + snapshot ORDER BY (lat IS NULL) DESC для приоритизации coord-holes (#1967, in-scope 321). Tests: test_avito_detail_soft_block.py. Full tradein suite 2591 passed.	2026-06-28 08:06:12 +00:00
bot-backend	43b392b809	feat(tradein/domclick): local-runner + ingest tooling → main (split from parked Layer-B) ... Выделяет МЕРДЖАБЕЛЬНУЮ часть DomClick-тулинга из запаркованного PR #2005 (BLOCKED #2000 — прод Layer-B скрейпер через прокси режет QRATOR-403): - scripts/domclick_local_runner.py — ручной offline-сборщик с домашнего IP: SERP-enumerate (фронт, BFF-JSON режет QRATOR) + card __SSR_STATE__ + offer-card v3 (AVM price_prediction + sold_similar). --enum-cache (enumerate 1 раз → файл с sentinel → следующий запуск грузит кэш и пропускает enumerate), wait_for_selector (SERP-карточки догидрируются), resume по id. Self-contained. - scripts/ingest_domclick_jsonl.py — JSONL → trade-in БД (save_listings + house-match в SAVEPOINT + save_detail_enrichment, идемпотентно, --limit/--dry-run). - app/services/scrapers/domclick_detail.py + domclick_exceptions.py — card-SSR parse + save_detail_enrichment (нужны ингесту). Импортятся ТОЛЬКО ингестом (operator-run); прод-runtime их не дёргает (dormant в образе). - tests/scrapers/test_domclick_detail.py + обновлённый scripts/README.md. НЕ включает прод Layer-B (tasks/domclick_detail_backfill.py, scheduler-расписание, data/sql/139_*) — остаётся запаркован на PR #2005 до чистого прокси (#2000). БД-схема не меняется (detail-колонки уже в проде, миграции нет). Live-validated: раннер качает ЕКБ-вторичку прямо сейчас (600+ карт, 0 блоков), ингест залил их в прод-БД (house_matched, идемпотентно).	2026-06-28 10:26:52 +03:00
lekss361	c5227a164e	feat(tradein/cian): promote kitchen/mortgage/apartments + normalize house_type (#2008) ... cian house_type normalized via shared house_type_normalizer (monolithBrick->monolith_brick etc.) — fixes estimator soft-penalty false-mismatch (~1208 rows); backfill migration 141 + new columns is_apartments/is_rosreestr_checked. kitchen/mortgage/apartments promoted (dashboard/matching, not valuation — #2012). Refs #2008	2026-06-27 18:01:50 +00:00
lekss361	440bb2ca51	feat(tradein/yandex): normalize house_type + promote kitchen/ceiling to columns (#2007) ... house_type normalized via shared house_type_normalizer (canon = _IMV_HOUSE_TYPE_MAP) — fixes estimator soft-penalty false-mismatch on ~70% yandex analogs; backfill migration 140 (SCREAMING->canon + 'other'->NULL). kitchen/ceiling promoted to columns (dashboard/matching, not valuation — see #2012); ceiling capped 2.0-6.0m to avoid numeric(3,2) overflow. Refs #2007	2026-06-27 17:45:11 +00:00
lekss361	4a93a9297c	fix(tradein/avito): persist house_type + house_catalog_url in save_detail_enrichment (#2009) ... house_type (normalized) + house_catalog_url→house_url persisted in save_detail_enrichment; COALESCE existing-first for house_type, new-first for house_url. No migration (columns exist). Refs #2009	2026-06-27 17:30:34 +00:00
bot-backend	54a5d13c48	feat(tradein/domclick): enrich Layer A SERP parser — description, repair-inference, minhash, seller ... Capture extra bff-search fields in _map_item (verified live): - description → ScrapedLot.description + infer_repair_state_from_text → repair_state (DomClick search has no renovation-enum; text inference like cian #622) - sha1 description_minhash (cross-source dedup) - agency_name from seller (defensive str|dict) - raw_payload: is_sber_collateral, has_discount, discount_value, duplicates_offer_count, seller Additive only; existing Layer A behavior unchanged. Deep card detail (renovation-enum, wallType, full price-history, owners_count) is card-only = QRATOR-blocked on prod proxy → separate effort (needs dedicated residential IP).	2026-06-27 16:35:25 +03:00
bot-backend	52fc920507	fix(tradein/domclick): rewrite dead scraper to BFF JSON API + honest status (#1846, #1968) ... Old HTML scraper dead: /search?city_id retired in DomClick redesign + VPS IP QRATOR-banned (prod domclick_city_sweep reported done/0 every run). New path: - GET bff-search-web.domclick.ru/api/offers/v1 + count/v1 via BrowserFetcher(source="domclick") -> generic provider -> shared mobile proxy -> bypasses QRATOR (prod-verified live: 20 items returned, no block). - Sweeps 6 room buckets (st/1/2/3/4/5+); recursive binary price-split for oversized buckets (rooms=2 ~2215 > offset cap 2000); count/v1 sizes buckets. - Maps SERP JSON -> ScrapedLot with lat/lon at ~100% (closes avito 54% NULL-lat gap); per-card EKB geo-guard. - Honest status (#1968): QRATOR block OR fetch errors with 0 lots -> mark_failed, not mark_done. Parse failures are per-page resilient (break bucket, keep partial lots) so a transient bad page never aborts the whole sweep. - Schedule shipped DORMANT (enabled=false, pages=100) via 138_domclick_bff_rewrite_schedule.sql; operator enables after prod smoke. 42 scraper tests (price-split boundaries, parse-error resilience, honest status); full backend suite green; ruff clean. Layer B (detail renovation/wallType/ priceHistory) deferred to #1846 follow-up.	2026-06-27 13:57:07 +03:00
bot-backend	197068c515	fix(scrapers): save_listings — UPDATE by (source,source_id) при dedup_hash-дрейфе (avito_full_load краш)	2026-06-26 19:10:12 +03:00
bot-backend	e03c810306	feat(tradein-imv): route IMV backfill через BrowserFetcher.fetch_json за dormant-флагом (#915 Stage 3) (#1916)	2026-06-26 09:54:28 +00:00
bot-backend	d479edeb3f	feat(tradein-browser): additive POST /fetch-json + BrowserFetcher.fetch_json (#915 Stage 2) (#1915)	2026-06-26 09:30:35 +00:00
bot-backend	1d5b081cb4	fix(cian): recover new-build house via cadastral anchor + listings (source,source_id) dedup (#1773) (#1912) ... cian new-build cadastral anchor + listings (source,source_id) dedup (#1773): migration 133 (deep-reviewed data-loss-safe). Refs #1773	2026-06-26 07:45:22 +00:00
bot-backend	5ed88c41a4	fix(avito): post-merge polish — unify fetch_mode guard + empty-render guard (#1811) (#1909) ... avito SERP browser post-merge polish (#1811): unify fetch_mode guard, empty-render guard, debug logging. Refs #1811	2026-06-26 07:44:22 +00:00
bot-backend	4eaf184d0e	fix(avito): graceful sidecar HTTP 500/503 in browser SERP fetch (#1790) ... Classify tradein-browser sidecar HTTP 500/503 in _fetch_serp_html_browser and route into existing rotation/retry machinery: soft-ban → IP rotation, transient → bounded backoff, both exhausted → AvitoRateLimitedError (graceful mark_banned, partial preserved) instead of mark_failed. Fixes run-#356 class where one late 500 nuked a run that had saved 3186 listings. Refs #1790	2026-06-25 06:47:41 +00:00
Light1YT	04550bc94f	fix(tradein): drop non-EKB avito detail coords on ingest (audit #1871 P2) ... avito_detail.parse_detail_html писал data-map-lat/lon прямо в listings UPDATE COALESCE без bbox-валидации — в отличие от geocoder.py, который фильтрует везде. Итог: 406 active avito-листингов с координатами Питер/Тюмень/Уфа просочились в ЕКБ-датасет (ложные аналоги через Tier A address-match оценщика). Prod-verified 2026-06-23. - geocoder: DRY-хелпер is_within_ekb_bbox(lat, lon, bbox) + именованные EKB_BBOX_TIGHT (geocoder-фильтр, числа не изменены) и EKB_BBOX_WIDE (ingest-guard); 2 inline tight-проверки → хелпер (поведение identical). - avito_detail: после извлечения lat/lon → reset None + logger.warning если вне wide-bbox; листинг падает в geocode-cron путь (COALESCE NULL не затирает прежнее хорошее значение). - tests: bbox-хелпер (ЕКБ True, Питер/Тюмень/Уфа False, inclusive, WIDE⊇TIGHT инвариант) + parse_detail_html guard end-to-end. WIDE строго содержит TIGHT — guard физически не режет ничего, что geocoder сам бы пропустил. NULL lat (14935, geocode backlog) — отдельная проблема, не в scope. One-time cleanup существующих 406 — отдельно (database-expert, prod data mutation). Refs #1871	2026-06-23 14:33:10 +05:00
bot-backend	50a72f030a	fix(tradein): Mera-audit fix-1 — Cian valuation price sanity bounds ... Добавляет _is_price_sane() в cian_valuation.py: если sale_price_rub вне [cian_valuation_min_rub, cian_valuation_max_rub] (дефолты 500k/500M), или low_price > high_price, или любой bound отрицательный — результат не кэшируется и возвращается None (graceful). Защита от garbage-ответов API (999_999 < min, 9_999_999_999 > max). Новые settings: cian_valuation_min_rub=500_000, cian_valuation_max_rub=500_000_000. Тесты: 11 новых тест-кейсов в test_cian_valuation.py. Пофиксен pre-existing KeyError в test_cache_hit_returns_cached (missing low_price/high_price в mock).	2026-06-21 09:02:32 +03:00
bot-backend	7f036a96af	fix(scrapers): avito ban-triggered IP rotation (#1790) — changeip on block, bounded ... - Добавлен `_rotate_proxy_ip()` в scrape_pipeline.py: вызывает changeip-URL (settings.avito_proxy_rotate_url) + settle-sleep (settings.avito_proxy_rotate_settle_s, default 9s), логирует old→new IP. - В `run_avito_pipeline` (Steps 4/5/5b) и `run_avito_city_sweep` (Phase 4/5/5b): при достижении consecutive-block порога — сначала ротация IP, сброс счётчика, продолжение; только при исчерпании бюджета (enrich_rotations_done >= avito_proxy_max_rotations) — abort (bounded). #1820 graceful сохранён: один блок ниже порога ротацию не вызывает. - Добавлено `avito_proxy_rotate_settle_s: float = 9.0` в config.py (ENV: AVITO_PROXY_ROTATE_SETTLE_S). avito_proxy_max_rotations был 4 (с #1731). - Тесты: rotation_called / bounded_abort / single_block_no_rotation.	2026-06-20 21:24:12 +03:00
bot-backend	37f12f6303	fix(tradein/yandex): инкрементальный per-combo save + bounded gate-timeout (анти-зомби city_sweep)	2026-06-20 20:57:41 +03:00
bot-backend	f026423715	feat(tradein/avito): per-card ЕКБ гео-фильтр (отсечь padding по России) + сплит комнат 4/5+ ... FIX 1: в _parse_html добавлен гео-фильтр per-card source_url. При avito_serp_ekb_only=True (ENV AVITO_SERP_EKB_ONLY, дефолт True) карточки без /ekaterinburg/ в source_url отбрасываются — Авито добивает выдачу «по всей России» при малом числе ЕКБ-результатов (rooms=4 давал 96% не-ЕКБ). Карточки без распознанного city-slug пропускаются консервативно. Лог: «avito SERP: dropped N non-EKB cards (padding)». FIX 2 (анализ): ROOM_SLUGS уже содержит отдельные бакеты «4-комн.» и «5+комн.» (разбиты ранее). rooms-значение берётся из текста заголовка карточки (_extract_rooms_from_title: regex «(\d)-к. квартира»), а не из бакета — 4/5/6 различаются по факту парсинга. Сплит slug'ов был сделан ранее, регрессий нет. Тесты: 4 новых unit-теста в test_avito_ekb_geo_filter.py покрывают: EKB+non-EKB → только EKB; ekb_only=False → все проходят; без city-slug → консервативно оставляем; все EKB → ничего не дропается.	2026-06-20 16:59:12 +03:00
bot-backend	533299ea47	feat(tradein/scrapers): full_load пропускает листинги обновлённые сегодня при повторном прогоне (skip_seen_today)	2026-06-20 12:13:32 +03:00
bot-backend	8361961a44	fix(scrapers/backend): socks5 health-probe (httpx[socks]) + status Literal whitelist + #1820 ext_id=0 dedup-гард ... - pyproject.toml: httpx[socks]>=0.27.0 — тянет socksio, socks5:// прокси в _probe_current_ip работает прозрачно - admin.py list_scrape_runs_unified: status Literal["done","running","banned","zombie","failed","cancelled"] вместо str|None — невалидные значения → 422 - avito_houses.py save_house_catalog_enrichment: гард ext_id=0 + нет адреса → skip without DB touch; два id-less novostroyka URL не схлопываются в bogus avito:0 в house_sources - тесты: test_unified_runs_invalid_status_422 + test_unified_runs_valid_statuses_200; test_save_house_catalog_enrichment_skips_zero_ext_id_no_address + *_with_address_persists	2026-06-20 10:17:37 +03:00
bot-backend	cd91d5e279	fix(scrapers): avito pipeline — новостройки house graceful (без housePage), AvitoBlockedError per-item не крашит прогон (#1820)	2026-06-20 09:53:46 +03:00
bot-backend	37fc50ad08	fix(scrapers): avito_detail_backfill — снапшот ЕКБ+active, detail browser-only без curl-fallback на бан (#1814)	2026-06-19 21:58:35 +03:00
lekss361	ebdd70a38d	Merge pull request 'feat(scrapers): avito SERP дефолт на BrowserFetcher (camoufox), curl_cffi fallback (#1805)' (#1809) from feat/avito-serp-browser-default into main ... Reviewed-on: #1809	2026-06-19 17:53:12 +00:00
bot-backend	93f7c9ae3f	feat(scrapers): avito SERP дефолт на BrowserFetcher (camoufox), curl_cffi fallback (#1805)	2026-06-19 20:42:04 +03:00
bot-backend	b1fb0c5711	feat(scrapers): cian SERP на BrowserFetcher (camoufox), снят code-side rotate (#1806)	2026-06-19 20:41:44 +03:00
lekss361	2e3291abc9	Merge pull request 'fix(scrapers): cian_detail — ceiling из offer.building.ceilingHeight, repair из decoration (#1791)' (#1800) from feat/cian-detail-field-mapping into main ... Reviewed-on: #1800	2026-06-19 17:07:14 +00:00
bot-backend	2d3ca78b0b	fix(scrapers): cian_detail — ceiling/repair актуальные пути state (#1791) ... ceiling_height на detail-странице лежит в offer.building.ceilingHeight, а не offer.ceilingHeight (всегда null) → было 0% покрытия. repairType часто пустой, структурное значение приходит как offer.decoration ('preFine'/...) — читаем оба + добавлен preFine->needs_repair и case-insensitive lookup в нормализаторе. kitchen/description пути уже верны (offer.kitchenArea/offer.description) — низкое покрытие = мёртвый CIAN_PROXY_URL, не маппинг. Регресс-тест на реальной карточке 330982715.	2026-06-19 19:57:18 +03:00
bot-backend	0084efc12a	fix(scrapers): yandex_detail — area/ceiling из структурного блока, покрытие area 63%->~95% (#1792)	2026-06-19 19:37:51 +03:00
bot-backend	464e9faf7b	fix(scrapers): avito_houses читает MFE props-вложенность виджетов — отзывы/история/тип ЖК теперь долетают (#1789)	2026-06-19 19:21:49 +03:00
bot-backend	112e5cc2f1	fix(tradein): verify=False for EKB geoportal WFS (Russian-CA cert) ... The geoportal serves a Russian national-CA (Минцифры) TLS cert absent from httpx's default trust store → CERTIFICATE_VERIFY_FAILED, loader fetched 0. Public read-only data → verify=False (same as the curl -k used in recon).	2026-06-19 18:19:03 +03:00
bot-backend	64d113d649	feat(tradein): EKB geoportal building ingest + geocoder tier (complete city buildings)	2026-06-19 17:51:07 +03:00
lekss361	19f740f2e9	Merge pull request 'fix(avito): de-glue house number from district in _clean_address (#1773 part)' (#1775) from fix/1773-avito-address-deglue into main ... Reviewed-on: #1775	2026-06-19 09:26:26 +00:00
Light1YT	78e7705a5f	fix(avito): de-glue house number from district marker in _clean_address (#1773) ... Avito leaks addresses with house number glued to district marker without separator («…Савкова, 29р-н Академический»), breaking house-number extraction and same-house matching (41 unmatched avito listings on one street). _clean_address now inserts ", " between a house-number token (digits + optional Cyrillic letter + optional /N|сN|кN|корпус|стр) and a following marker (р-н, мкр, район, г., пос, снт, …). - avito.py: idempotent _deglue_house_marker step (CSS/tail-strip kept) - tests: de-glue positive/negative/idempotency (24 passed) - data/sql/124_deglue_avito_addresses.sql: idempotent backfill for stored rows normalize.py НЕ тронут (общий fingerprint матчинга, #1534). Закрывает avito-часть #1773 (cian-без-номера + дедуп — отдельно, зона cian).	2026-06-19 13:33:43 +05:00
bot-backend	d65a88f704	fix(avito): reconnect-retry on detail 429 under backconnect proxy ... Detail backfill (run 217) hit 5 consecutive HTTP 429s and aborted at 19 enriched because the detail fetcher only had a same-session 429 short-retry (no reconnect). 429s are persistent: keep-alive reuses one backconnect exit IP across sequential detail fetches -> avito rate-limits it. Mirror the merged SERP 429 fix (#1769): widen short-retry 4->8 and add up to 3 ephemeral-session reconnects (fresh exit IP) on 429 exhaustion before raising. Caller session never touched (as with 403 path).	2026-06-18 23:29:47 +03:00
bot-backend	bee44ffd3d	fix(avito): tolerate 429 per-bucket instead of banning whole sweep ... Run 216 recovered 403s (merged fix) but still banned on a 429 at page 36 (deep pagination, backconnect conn-limit). Widen the 429 retry budget + one reconnect on exhaustion in _fetch_serp_html, and make fetch_all_secondary skip a blocked bucket and continue rather than aborting the run; only N consecutive blocked buckets (real hard ban) re-raises. Preserves hard-ban detection.	2026-06-18 23:03:28 +03:00
bot-backend	c993243bc7	fix(avito): reconnect-retry on detail 403/firewall under backconnect proxy ... fetch_detail raised on the first 403/429, aborting the detail backfill (run 191 enriched only 48 then zombied) -> avito detail coverage stuck at 14% of active. Mirror the merged SERP fix (#1765): on 403/firewall under the backconnect proxy, rebuild an ephemeral session (fresh exit IP) and retry up to N before raising; short-retry 429. Never close/rebuild the caller-provided shared session. Also add the missing HTTP-200 firewall-interstitial check on the curl detail path.	2026-06-18 22:12:03 +03:00