10 commits

Author	SHA1	Message	Date
bot-backend	c5784e85bc	fix(tradein/domclick): подтверждённый отказ площадки уехал в ветку «сбой транспорта» и перестал банить узел ... #3237 научил сайдкар опознавать статический отказ Домклика самостоятельно — это правильно и работает, но вместе с распознаванием ban-сигнал переехал не туда. Отказ стал приезжать обычной 500-кой: browser_fetcher обнуляет на ней last_response_status, и в detail.py срабатывает ветка except Exception, которая по построению НЕ зовёт report_ban («не подтверждённый маркер-бан, а сбой транспорта», #2600 п.4). Итог на проде (прогон 5287): ban_kinds сменился с platform на unknown, и при шести «статический отказ площадки» подряд в логах сайдкара в scrape_proxy_source_bans не появилось НИ ОДНОЙ записи. Это не косметика счётчиков — platform единственный диагноз, запускающий ротацию IP, поэтому мы продолжали бы долбиться в отказавший узел вместо перехода на свободный. Правка возвращает отказ на ban-путь, сохраняя разделение, ради которого #3237 и делался: - сайдкар кладёт в тело ошибки структурный признак ban_page и апстрим-статус. HTTP-код НЕ меняем: на 500 завязана classify_browser_probe; - SidecarBanPageError — подкласс httpx.HTTPStatusError, поэтому ловля у прочих поставщиков и retry-политика fetch() не замечают нового типа; - detail.py различает две ветки: подтверждённый отказ → report_ban + статус из исключения, транспортный сбой — как раньше. Статус несём отдельным полем, а не через last_response_status: на error-пути fetch() его обнуляет, а у Домклика отказ приходит с 401, без которого классификатор ставит unknown. Подстрокой в тексте исключения признак искать нельзя — _raise_for_sidecar_status обрезает тело до 300 символов, и формулировка отказа менялась дважды за месяц. Тесты держат обе ветки раздельно на всех трёх уровнях: сайдкар (признак есть у бан-страницы, отсутствует у транспортной ошибки), фетчер (тип и upstream_status, включая ловушку bool-как-int из #3196), detail.py (report_ban зовётся / не зовётся, статус доезжает). Closes #3239	2026-08-29 19:12:36 +03:00
bot-backend	58dcd76d2e	fix(tradein/domclick): sale_type перестаёт быть третьим словарём (#2674) (#2696)	2026-08-06 06:11:45 +00:00
bot-backend	d362b16d7c	fix(tradein/proxy): доводить сигнал бана площадки до пула (#2600 п.1) (#2653)	2026-08-05 11:37:35 +00:00
bot-backend	1600a6be18	fix(tradein/domclick): единый список QRATOR-маркеров serp+detail (#2636) (#2645)	2026-08-05 07:06:41 +00:00
lekss361	ced616d150	feat(tradein/domclick): cookie-injection MVP для обхода QRATOR-блока (#2000) (#2433)	2026-07-04 17:49:40 +00:00
lekss361	102bdbda47	fix(tradein/domclick): органический заход через SERP перед card-fetch (anti-QRATOR) (#2430)	2026-07-04 16:39:47 +00:00
bot-backend	575c233e51	refactor(tradein/scrapers): удалить 6 осиротевших legacy scraper-модулей + тест-хирургия (#2397 Part E2) ... app.services.scrapers.{cian,cian_detail,yandex_realty,domclick,domclick_exceptions, avito_houses} имели 0 runtime-импортёров после E1 (scrape_pipeline.py удалён, #2405) — admin.py/cian_history_backfill.py уже на scraper_kit.providers.*. Удаление: - 6 модулей целиком (avito_houses.py, cian.py, cian_detail.py, domclick.py, domclick_exceptions.py, yandex_realty.py) - 3 осиротевших dev-sweep скрипта (local-sweep-ekb{,-cian,-yandex}.py) — эксклюзивно драйвили удалённые легаси-скраперы, kit-путь их заменяет Тесты (18 файлов DELETE — эксклюзивно тестировали удалённые модули или были чистым legacy-vs-kit parity, чей легаси-эталон исчез): test_cian_detail.py, test_cian_serp_scraper.py, tests/scrapers/test_cian_exhaustive.py, test_yandex_realty_serp.py, tests/scrapers/test_domclick.py, test_avito_houses_dedup.py, test_avito_houses_parse.py, test_houses_rating_filter_entries_1789.py, test_scraper_kit_domclick_golden_parity.py, tests/scrapers/test_admin_{avito,cian,yandex}_kit_parity.py. CONVERT (файл покрывает СМЕШАННЫЙ live+legacy набор — вырезаны только секции удалённых модулей, live-покрытие сохранено): - test_scraper_kit_cian_golden_parity.py — SERP/`_format_address`/detail (cian.py/cian_detail.py) убраны; extract_state (cian_state_parser, live)/ valuation (cian_valuation, live)/newbuilding (cian_newbuilding, live)/ no-app-imports guard — остались - test_scraper_kit_yandex_golden_parity.py — SERP `_entity_to_lot`/ `_parse_gate_json`/`_build_url` (yandex_realty) убраны; normalize_house_type (live)/newbuilding parse (yandex_newbuilding, live)/no-app-imports guard — остались - test_scraper_kit_bisection_parity.py — cian/domclick/yandex-ветки убраны; avito-ветка (live, единственная оставшаяся легаси-бисекция) — осталась полностью, включая full-seed-grid - test_scraper_kit_group_c_backfill_kit_parity.py — cian fetch_detail browser_fetcher parity-тест убран; avito/house_imv_backfill/ cian_history_backfill/ekb_geoportal тесты — остались - test_scraper_kit_pricehistory_session_parity.py — fetch_detail config-injection/proxy-wiring тесты (cian_detail) убраны; extract_state (cian_state_parser, live)/ScrapedLot (base, live) parity — остались - test_yandex_scrapers_delay_wiring.py — yandex_realty delay-тест убран (kit-эквивалент уже покрыт test_kit_serp_proxy_pool.py); yandex_newbuilding (live)/yandex_detail/yandex_valuation (kit) тесты — остались - test_scraper_proxy.py — yandex_realty BrowserFetcher-тест убран (redundant с test_kit_serp_proxy_pool.py::test_yandex_serp_no_pool_by_default) RETARGET на kit (символ живёт, только источник поменялся): - test_domclick_sweep.py — `_map_item` → scraper_kit.providers.domclick.serp - test_yandex_city_sweep.py — DEFAULT_PRICE_RANGES/ROOM_PATH → scraper_kit.providers.yandex.serp - test_pipeline_browser_routing.py — fetch_house_catalog → scraper_kit.providers.avito.houses (+ KitAvitoBlockedError для firewall-теста) - test_snapshot_writer.py — DetailEnrichment/save_detail_enrichment → scraper_kit.providers.cian.detail (byte-identical strangler-копия) - test_backfill_wave2.py — DetailEnrichment → scraper_kit.providers.cian.detail - tests/scrapers/test_avito_unix_date_tz_consistency.py — avito_houses → scraper_kit.providers.avito.houses (houses-ветка _unix_to_date/RUS_MONTHS consolidation-проверки) Stale-комментарии поправлены в cian_price_history.py, tests/scrapers/ test_domclick_detail.py (описывали ещё-живой domclick.py/domclick_exceptions.py). grep -rn scrapers\.\(cian\|cian_detail\|yandex_realty\|domclick\|domclick_exceptions\| avito_houses\) app/ scripts/ packages/ — только historical footnotes ("strangler-копия app.services.scrapers.X", past-tense "удалён/deleted"). Backend suite: 2811 passed, 6 skipped, 1 failed (known flake test_search_cache_hit #2208, не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 14:37:19 +03:00
lekss361	2e345acb82	fix(tradein/scraper-kit): клампить diff_percent перед INSERT offer_price_history (#2404)	2026-07-04 10:44:26 +00:00
bot-backend	a9b87aa311	chore(tradein/scraper-kit): удалить 5 orphaned legacy-модулей (#2277 финальный шаг, частичный) ... Удалены (0 runtime importers в app/, scripts/, packages/; проверено grep'ом, включая intra-legacy импорты в оставшихся 21 legacy-модуле scrapers/): - backend/app/services/scrapers/avito_imv.py - backend/app/services/scrapers/domclick_detail.py - backend/app/services/scrapers/ekb_geoportal_client.py - backend/app/services/scrapers/yandex_detail.py - backend/app/services/scrapers/yandex_valuation.py Тесты — удалены (pure legacy-vs-kit parity, kit-only coverage уже есть в другом месте): - tests/scrapers/test_ekb_geoportal_client_kit_parity.py - tests/scrapers/test_domclick_detail_kit_parity.py Тесты — конвертированы в kit-only (импорт легаси заменён на scraper_kit.*, покрытие сохранено без потерь): - tests/scrapers/test_avito_imv_kit_parity.py (parity-тесты убраны, config-footgun regression на kit-стороне оставлен) - tests/scrapers/test_avito_imv_browser_transport.py - tests/scrapers/test_yandex_valuation_kit_migration.py (parity убрана, footgun- регрессия mandatory config/delay_provider оставлена) - tests/scrapers/test_domclick_detail.py (+ exceptions переведены на scraper_kit.domclick_exceptions, т.к. kit parse_detail_html поднимает их) - tests/test_avito_imv_parse.py - tests/test_ekb_geoportal_ingest.py (client-часть; ingest/geocoder-часть не трогали — не зависят от удалённого модуля) - tests/test_yandex_detail.py - tests/test_yandex_detail_structural.py - tests/test_yandex_valuation.py (YandexValuationScraper() → config=_KIT_CONFIG, kit конструктор требует обязательный config) - tests/test_yandex_valuation_save.py - tests/test_extval_house_id_write_path.py (только yandex_valuation-часть; cian_valuation остался нетронутым — живой легаси-модуль) - tests/test_yandex_history_area_filter.py Тесты — частично отредактированы (убраны только части про удалённые модули, живые легаси-модули/их parity не тронуты): - tests/scrapers/test_admin_domclick_ingest_kit_parity.py (base.py/ScrapedLot parity остался) - tests/scrapers/test_admin_yandex_kit_parity.py (yandex_realty parity остался) - tests/scrapers/test_admin_avito_kit_parity.py (avito.py/avito_houses.py parity остался; _parse_price parity убран) - tests/scrapers/test_avito_unix_date_tz_consistency.py (IMV-ветка переведена на kit avito.imv, легаси avito/avito_houses/avito_shared/avito_detail не тронуты) - tests/tasks/test_yandex_detail_backfill.py (subject — kit-задача, уже вызывает scraper_kit.providers.yandex.detail; save_detail_enrichment coverage-тесты внизу файла переведены на kit) - tests/test_scraper_kit_yandex_golden_parity.py (detail/valuation parity убраны; serp/newbuilding/house_type_normalizer/build_url для yandex_realty/ yandex_newbuilding не тронуты) - tests/test_scraper_proxy.py (YandexValuation proxy-тесты переведены на kit config= DI; test_avito_imv_own_session_receives_proxies удалён — дублирует test_avito_imv_kit_parity.py footgun-тесты) - tests/test_yandex_scrapers_delay_wiring.py (yandex_detail/yandex_valuation → kit delay_provider=; yandex_realty/yandex_newbuilding не тронуты) - tests/test_scraper_kit_group_c_backfill_kit_parity.py (docstring уточнение, без функциональных изменений) Полный backend-suite зелёный (3253 passed, 6 skipped) кроме известного pre-existing flake test_search_api.py::test_search_cache_hit (#2208, не регрессия этого PR). ruff check + ruff format — чисто на всех изменённых файлах.	2026-07-04 10:41:46 +03:00
bot-backend	43b392b809	feat(tradein/domclick): local-runner + ingest tooling → main (split from parked Layer-B) ... Выделяет МЕРДЖАБЕЛЬНУЮ часть DomClick-тулинга из запаркованного PR #2005 (BLOCKED #2000 — прод Layer-B скрейпер через прокси режет QRATOR-403): - scripts/domclick_local_runner.py — ручной offline-сборщик с домашнего IP: SERP-enumerate (фронт, BFF-JSON режет QRATOR) + card __SSR_STATE__ + offer-card v3 (AVM price_prediction + sold_similar). --enum-cache (enumerate 1 раз → файл с sentinel → следующий запуск грузит кэш и пропускает enumerate), wait_for_selector (SERP-карточки догидрируются), resume по id. Self-contained. - scripts/ingest_domclick_jsonl.py — JSONL → trade-in БД (save_listings + house-match в SAVEPOINT + save_detail_enrichment, идемпотентно, --limit/--dry-run). - app/services/scrapers/domclick_detail.py + domclick_exceptions.py — card-SSR parse + save_detail_enrichment (нужны ингесту). Импортятся ТОЛЬКО ингестом (operator-run); прод-runtime их не дёргает (dormant в образе). - tests/scrapers/test_domclick_detail.py + обновлённый scripts/README.md. НЕ включает прод Layer-B (tasks/domclick_detail_backfill.py, scheduler-расписание, data/sql/139_*) — остаётся запаркован на PR #2005 до чистого прокси (#2000). БД-схема не меняется (detail-колонки уже в проде, миграции нет). Live-validated: раннер качает ЕКБ-вторичку прямо сейчас (600+ карт, 0 блоков), ингест залил их в прод-БД (house_matched, идемпотентно).	2026-06-28 10:26:52 +03:00