2213 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
lekss361	ced616d150	feat(tradein/domclick): cookie-injection MVP для обхода QRATOR-блока (#2000) (#2433)	2026-07-04 17:49:40 +00:00
lekss361	acc1e05357	fix(tradein/estimator): восстановить и канонизировать корпус дома в дедупе (регрессия #2429) (#2432)	2026-07-04 17:08:40 +00:00
lekss361	102bdbda47	fix(tradein/domclick): органический заход через SERP перед card-fetch (anti-QRATOR) (#2430)	2026-07-04 16:39:47 +00:00
lekss361	752c3656a3	fix(tradein/estimator): дом «2» вместо «15» при глухом названии станции метро в avito-адресе (#2429)	2026-07-04 15:50:49 +00:00
lekss361	cfed042712	fix(tradein/v2): гонка при клике по строке «Предыдущие оценки» — отчёт не загружался (#2428)	2026-07-04 14:47:01 +00:00
lekss361	5cbf3485a0	fix(tradein/pdf): честный embedded-шрифт (PT Sans/PT Serif) + matplotlib-график вместо div (#2427)	2026-07-04 14:39:37 +00:00
lekss361	b102c334d8	Merge pull request 'chore(tradein/proxy-pool): добавить domclick в provider_affinity CHECK (residential ASocks для #2000)' (#2426) from chore/tradein-scrape-proxies-domclick-affinity into main	2026-07-04 14:25:40 +00:00
bot-backend	b238d3ef50	chore(tradein/proxy-pool): добавить domclick в provider_affinity CHECK (residential ASocks для #2000)	2026-07-04 17:21:07 +03:00
lekss361	3a2b4ba825	feat(tradein/v2): кликабельные строки + параметры в оверлее «Предыдущие оценки» (#2424)	2026-07-04 13:49:18 +00:00
bot-backend	27868a4d2e	feat(exporters): зеркалим permits_nearby (ГИСОГД 500м) в DOCX §6 (#2421)	2026-07-04 13:28:00 +00:00
lekss361	9c6afcc876	Merge pull request 'chore(tradein/scrapers): удалить весь legacy scrapers/ каталог — final E (#2397, #2277)' (#2419) from chore/tradein-finalE-delete-scrapers-catalog into main	2026-07-04 13:11:13 +00:00
lekss361	921aba04b8	feat(tradein/history): вернуть все параметры оценки в GET /history (#2420)	2026-07-04 13:09:22 +00:00
bot-backend	0658399f01	fix(devops): cleanup-merged-worktrees.sh — 3 бага, найденные вживую на 69 забытых worktree (#2418)	2026-07-04 13:00:14 +00:00
bot-backend	27bbd579c3	chore(tradein/scrapers): удалить весь legacy scrapers/ каталог — final E (#2397, #2277) ... Удаляет весь `app/services/scrapers/` (16 файлов, ~7100 строк) — Part D (D1-D5) убрал всех внешних вызывающих, 0 runtime importers подтверждено grep'ом на main. Заодно: - удалены 7 осиротевших локальных probe/sweep-скриптов (tradein-mvp/scripts/), импортировавших уже-удалённые или удаляемые сейчас legacy-модули - тест-хирургия по 65+ файлам: DELETE прямых legacy-юнит-тестов, RETARGET тестов, тестирующих ещё живую бизнес-логику (переключены на scraper_kit.* эквиваленты, включая quality-gate #781/#753/#754/#755/#773/#740), partial-delete golden-parity тестов, потерявших legacy-оракл - kit save_listings/AvitoScraper/etc. требуют инжектируемые matcher/config — ретаргетированные тесты обновлены под новую сигнатуру (RealScraperConfig(), MagicMock HouseMatcher, region_code=66) Полный pytest suite зелёный (2255 passed, 6 skipped) кроме известного флейка #2208 (test_search_cache_hit, не связан со scrapers).	2026-07-04 15:58:15 +03:00
lekss361	a0c609caf4	fix(tradein/estimator): устранить остаточные кросс-сорс дубли (#2291) (#2417)	2026-07-04 12:58:15 +00:00
lekss361	8030f8ecef	Merge pull request 'refactor(tradein/tasks): yandex_newbuilding_sweep на kit + config= (#2397 Part D5)' (#2412) from refactor/tradein-partD5-yandex-nb-sweep-kit into main	2026-07-04 12:29:56 +00:00
lekss361	00a4dca5c0	Merge pull request 'refactor(tradein/admin): debug newbuilding endpoints на kit + config=, fix stray await (#2397 Part D4)' (#2414) from refactor/tradein-partD4-admin-newbuilding-kit into main	2026-07-04 12:29:51 +00:00
lekss361	f0a9763e48	Merge pull request 'refactor(tradein/tasks): newbuilding_enrich_backfill на kit cian.newbuilding + config= (#2397 Part D3)' (#2415) from refactor/tradein-partD3-newbuilding-enrich-kit into main	2026-07-04 12:29:41 +00:00
lekss361	b28aefec16	Merge pull request 'refactor(tradein/tasks): cian_history_backfill valuation+newbuilding на kit + config= (#2397 Part D2)' (#2411) from refactor/tradein-partD2-cian-history-backfill-kit into main	2026-07-04 12:29:33 +00:00
lekss361	c8343c8f3d	Merge pull request 'refactor(tradein/tasks): avito_detail_backfill build_warmed_session на kit + config= (#2397 Part D1, #2330)' (#2410) from refactor/tradein-partD1-avito-detail-backfill-kit into main	2026-07-04 12:29:18 +00:00
bot-backend	2a3a93b138	fix(devops): couchdb healthcheck ложный 401 — auth /_up кредами (#2413)	2026-07-04 12:20:59 +00:00
bot-backend	5015109f31	refactor(tradein/tasks): newbuilding_enrich_backfill на kit cian.newbuilding + config= (#2397 Part D3)	2026-07-04 15:20:18 +03:00
bot-backend	6ace4ea4ce	refactor(tradein/admin): debug newbuilding endpoints на kit + config=, fix stray await (#2397 Part D4)	2026-07-04 15:20:03 +03:00
bot-backend	b6b7af6b42	refactor(tradein/tasks): yandex_newbuilding_sweep на kit + config= (#2397 Part D5)	2026-07-04 15:18:40 +03:00
bot-backend	f0c7ac4972	refactor(tradein/tasks): cian_history_backfill valuation+newbuilding на kit + config= (#2397 Part D2)	2026-07-04 15:17:27 +03:00
bot-backend	36c451e155	refactor(tradein/tasks): avito_detail_backfill build_warmed_session на kit + config= (#2397 Part D1, #2330)	2026-07-04 15:15:45 +03:00
lekss361	eafa305ac8	Merge pull request 'refactor(tradein/scrapers): удалить 6 осиротевших legacy scraper-модулей + тест-хирургия (#2397 Part E2)' (#2407) from chore/tradein-partE2-delete-orphaned-scrapers into main	2026-07-04 11:49:44 +00:00
bot-backend	575c233e51	refactor(tradein/scrapers): удалить 6 осиротевших legacy scraper-модулей + тест-хирургия (#2397 Part E2) ... app.services.scrapers.{cian,cian_detail,yandex_realty,domclick,domclick_exceptions, avito_houses} имели 0 runtime-импортёров после E1 (scrape_pipeline.py удалён, #2405) — admin.py/cian_history_backfill.py уже на scraper_kit.providers.*. Удаление: - 6 модулей целиком (avito_houses.py, cian.py, cian_detail.py, domclick.py, domclick_exceptions.py, yandex_realty.py) - 3 осиротевших dev-sweep скрипта (local-sweep-ekb{,-cian,-yandex}.py) — эксклюзивно драйвили удалённые легаси-скраперы, kit-путь их заменяет Тесты (18 файлов DELETE — эксклюзивно тестировали удалённые модули или были чистым legacy-vs-kit parity, чей легаси-эталон исчез): test_cian_detail.py, test_cian_serp_scraper.py, tests/scrapers/test_cian_exhaustive.py, test_yandex_realty_serp.py, tests/scrapers/test_domclick.py, test_avito_houses_dedup.py, test_avito_houses_parse.py, test_houses_rating_filter_entries_1789.py, test_scraper_kit_domclick_golden_parity.py, tests/scrapers/test_admin_{avito,cian,yandex}_kit_parity.py. CONVERT (файл покрывает СМЕШАННЫЙ live+legacy набор — вырезаны только секции удалённых модулей, live-покрытие сохранено): - test_scraper_kit_cian_golden_parity.py — SERP/`_format_address`/detail (cian.py/cian_detail.py) убраны; extract_state (cian_state_parser, live)/ valuation (cian_valuation, live)/newbuilding (cian_newbuilding, live)/ no-app-imports guard — остались - test_scraper_kit_yandex_golden_parity.py — SERP `_entity_to_lot`/ `_parse_gate_json`/`_build_url` (yandex_realty) убраны; normalize_house_type (live)/newbuilding parse (yandex_newbuilding, live)/no-app-imports guard — остались - test_scraper_kit_bisection_parity.py — cian/domclick/yandex-ветки убраны; avito-ветка (live, единственная оставшаяся легаси-бисекция) — осталась полностью, включая full-seed-grid - test_scraper_kit_group_c_backfill_kit_parity.py — cian fetch_detail browser_fetcher parity-тест убран; avito/house_imv_backfill/ cian_history_backfill/ekb_geoportal тесты — остались - test_scraper_kit_pricehistory_session_parity.py — fetch_detail config-injection/proxy-wiring тесты (cian_detail) убраны; extract_state (cian_state_parser, live)/ScrapedLot (base, live) parity — остались - test_yandex_scrapers_delay_wiring.py — yandex_realty delay-тест убран (kit-эквивалент уже покрыт test_kit_serp_proxy_pool.py); yandex_newbuilding (live)/yandex_detail/yandex_valuation (kit) тесты — остались - test_scraper_proxy.py — yandex_realty BrowserFetcher-тест убран (redundant с test_kit_serp_proxy_pool.py::test_yandex_serp_no_pool_by_default) RETARGET на kit (символ живёт, только источник поменялся): - test_domclick_sweep.py — `_map_item` → scraper_kit.providers.domclick.serp - test_yandex_city_sweep.py — DEFAULT_PRICE_RANGES/ROOM_PATH → scraper_kit.providers.yandex.serp - test_pipeline_browser_routing.py — fetch_house_catalog → scraper_kit.providers.avito.houses (+ KitAvitoBlockedError для firewall-теста) - test_snapshot_writer.py — DetailEnrichment/save_detail_enrichment → scraper_kit.providers.cian.detail (byte-identical strangler-копия) - test_backfill_wave2.py — DetailEnrichment → scraper_kit.providers.cian.detail - tests/scrapers/test_avito_unix_date_tz_consistency.py — avito_houses → scraper_kit.providers.avito.houses (houses-ветка _unix_to_date/RUS_MONTHS consolidation-проверки) Stale-комментарии поправлены в cian_price_history.py, tests/scrapers/ test_domclick_detail.py (описывали ещё-живой domclick.py/domclick_exceptions.py). grep -rn scrapers\.\(cian\|cian_detail\|yandex_realty\|domclick\|domclick_exceptions\| avito_houses\) app/ scripts/ packages/ — только historical footnotes ("strangler-копия app.services.scrapers.X", past-tense "удалён/deleted"). Backend suite: 2811 passed, 6 skipped, 1 failed (known flake test_search_cache_hit #2208, не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 14:37:19 +03:00
lekss361	84716e61de	Merge pull request 'refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1)' (#2405) from chore/tradein-partE1-delete-scrape-pipeline into main	2026-07-04 11:09:39 +00:00
bot-backend	79a77200d7	refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1) ... app.services.scrape_pipeline (3734 строк) имел 0 runtime-импортёров — Part C убрал последнего вызывающего (admin.py, scheduler_main.py уже на scraper_kit.orchestration.pipeline). Удаление: - backend/app/services/scrape_pipeline.py — удалён целиком Тесты (18 файлов, импортировавших scrape_pipeline): DELETE (чистая legacy-оркестрация, kit-эквивалент покрыт в test_scraper_kit_pipeline_parity{,2}.py): - test_scrape_pipeline.py, test_scrape_pipeline_proxy_pool.py (proxy-pool DB-lease вытеснен RealProxyProvider DI-адаптером, покрытым test_scraper_adapters_contracts.py) - test_anchor_watchdog.py, test_ban_rotation_1790.py, test_provider_rotation_1848.py - test_scraper_resilience_1949_1950.py, test_sweep_drain.py CONVERT (parity-сравнение убрано, kit-only regression оставлен/усилен): - test_scraper_kit_pipeline_parity.py, test_scraper_kit_pipeline_parity2.py — _drive_old убран, _drive_new стал единственной веткой; ассёрты на конкретные значения counters сохранены (это теперь основное regression-покрытие kit orchestration) - test_sweep_imv_phase.py — 6 IMV-phase тестов (enrich_imv true/false/no-touched/ crash/failed-counter/cancel) переведены на run_avito_city_sweep (kit) с DI (config/matcher/enrichment); enrichment.process_houses_imv_batch — инжектируемый Protocol-метод вместо прямого импорта app.services.house_imv_backfill PARTIAL-EDIT (легаси sweep-behavior вырезан, admin/kit-DI/несвязанные тесты оставлены): - test_city_sweep.py — только retarget 4 импортов на scraper_kit.orchestration.pipeline - test_cian_city_sweep.py, test_yandex_city_sweep.py — sweep-behavior секции удалены, admin endpoint тесты (уже kit-DI) + anchor-timeout/watchdog формулы (retarget import) оставлены - test_domclick_sweep.py — sweep-wiring тесты удалены, Counters + _map_item оставлены - test_avito_newbuilding_sweep.py — sweep-wiring тест #5 удалён, retarget NewbuildingSweepCounters - test_pipeline_browser_routing.py — 3 run_avito_pipeline теста удалены, browser-routing на уровне fetch_detail/fetch_house_catalog/AvitoScraper не тронут - test_scraper_proxy.py, tests/scrapers/test_avito_anti_bot.py — _avito_proxies() переведён на kit (DI-параметр вместо settings-patch); pipeline-level тесты удалены Stale-комментарии (scrape_pipeline.py как текущая реальность) поправлены в admin.py, avito_detail_backfill.py, house_imv_backfill.py, yandex_price_history.py, scrapers/avito_detail.py + kit-пакете (orchestration/__init__.py, orchestration /pipeline.py, providers/avito/detail.py — strangler завершён, легаси удалён). grep -rn scrape_pipeline app/ scripts/ packages/ — только past-tense упоминания ("удалён в Part E1", "перед его удалением") + один historical footnote (contracts.py:138, provenance-заметка "собраны grep'ом по ... .py"). Backend suite: 3088 passed, 6 skipped (известный flake test_search_cache_hit #2208 — не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 13:56:06 +03:00
lekss361	2e345acb82	fix(tradein/scraper-kit): клампить diff_percent перед INSERT offer_price_history (#2404)	2026-07-04 10:44:26 +00:00
bot-backend	ab250a132b	feat(site-finder): PermitsNearbyBlock — разрешения на строительство в §6 (#2367 PR-2, frontend-half) (#2403)	2026-07-04 10:24:48 +00:00
lekss361	828d691c0d	Merge pull request 'refactor(tradein/scheduler): удалить legacy scheduler_loop, kit единственный путь (#2397 Part C)' (#2402) from refactor/tradein-remove-legacy-scheduler-loop into main	2026-07-04 10:04:15 +00:00
bot-backend	c30581ae8d	test(tradein/scheduler): нетавтологичный kit registry-completeness guard (#2397 Part C) ... Deep-review нашёл: удалённый test_kit_registry_completeness.py заменялся test_routing_coverage_sets_match, но тот строил registry ИЗ хардкоженного _PRODUCT_SOURCES через recording-stub и проверял тот же набор — тавтология, не гоняющая реальный build_product_handlers(). Плюс _PRODUCT_SOURCES был устаревшим: не хватало cian_history_backfill, deals_freshness_monitor, osm_poi_ekb_refresh (все три есть в реальном build_product_handlers). Фикс: - _PRODUCT_SOURCES дополнен тремя пропущенными source'ами, сверен построчным grep '"...": Handler(' по product_handlers.py (20 exact + 1 wildcard). Список остаётся canonical hardcode (источник правды — сам product_handlers.py + scrape_schedules seed-миграции), с явным комментарием "поддерживается вручную". - test_routing_coverage_sets_match удалён, заменён test_real_build_product_handlers_covers_all_scheduled_sources: зовёт РЕАЛЬНЫЙ product_handlers.build_product_handlers(ctx=None) + build_registry (не stub), ассертит resolve_handler для каждого source из _PRODUCT_SOURCES ∪ _KIT_NATIVE_SOURCES. Уроненная handler-entry или scheduled source без handler'а теперь роняет CI. Регресс-пруф (сделан вручную, откачен): временно закомментировал "osm_poi_ekb_refresh" в build_product_handlers → новый тест упал с "misses source=osm_poi_ekb_refresh"; вернул строку → тест снова зелёный (git diff на product_handlers.py пуст после отката). Verify: full pytest 3179 passed / 6 skipped / 1 known-unrelated fail (test_search_cache_hit, #2208); ruff 0.7.4 чист на изменённых файлах.	2026-07-04 13:00:30 +03:00
bot-backend	85059aeb1b	refactor(tradein/scheduler): удалить legacy scheduler_loop + scraper-scheduling, kit единственный путь (#2397 Part C) ... Топология подтверждена перед удалением (docker-compose.prod.yml): tradein-backend (uvicorn app.main:app) — SCHEDULER_ENABLE=false; tradein-scraper (python -m app.scheduler_main) — SCHEDULER_ENABLE=true + USE_KIT_SCHEDULER=true. Kit-путь (_run_kit_scheduler → scraper_kit.orchestration.scheduler + product_handlers) самодостаточен: не импортирует ничего из app.services.scheduler.scheduler_loop или app.services.scrape_pipeline. Все НЕ-sweep джобы, которые kit-scheduler диспетчерит через build_product_handlers, идут напрямую в app.tasks.*/ app.services.* (либо lazy-импортят import_rosreestr_dkp/_execute_cian_backfill из scheduler.py) — мимо удаляемой legacy-машинерии. app/services/scheduler.py: 2098 → 418 строк. Удалено: scheduler_loop, get_due_schedules, reap_zombies, _claim_run, _defer_next_run_at, _spawn_tracked/ _drain_inflight/_inflight_tasks, все 27 trigger_*_run-функций, импорт app.services.scrape_pipeline, константы SCHEDULER_TICK_SEC/ZOMBIE_THRESHOLD_HOURS (достижимы были только через удалённый scheduler_loop-путь). Оставлено (живые импортёры вне удалённого): compute_next_run_at + has_running_run (admin.py), import_rosreestr_dkp + _execute_cian_backfill (lazy-импорты в product_handlers.py — job-тела kit-handler'ов). main.py: убран `from app.services.scheduler import scheduler_loop` + lifespan-блок запуска (`if settings.scheduler_enable: asyncio.create_task(scheduler_loop())`); прод-backend всегда шёл с SCHEDULER_ENABLE=false, так что это был мёртвый код. scheduler_main.py: убрана ship-dark развилка #2192 (USE_KIT_SCHEDULER=false → legacy scheduler_loop fallback) — _run_kit_scheduler() теперь безусловный путь. Поле settings.use_kit_scheduler оставлено в конфиге (Settings extra="ignore" защищает от startup-краха на leftover env var), но на ветвление не влияет. app.services.scrape_pipeline: 0 runtime-импортёров в app/+scripts/+packages/ после этого PR (только тесты, которые Part E удалит вместе с самим файлом) — подтверждено grep. scrape_pipeline.py не тронут (Part E). Тесты: удалены test_house_imv_backfill_scheduler.py (100% legacy-триггер, backfill_house_imv сервис покрыт в test_house_imv_backfill_browser_flag.py / test_backfill_wave2.py) и test_kit_registry_completeness.py (parity-инвариант против удалённого dispatch, дублирует test_scraper_kit_scheduler_parity.py). Точечно вырезаны "Scheduler wiring" секции (trigger_fn_exists/dispatch_branch_ wired/runs_in_executor) из ~10 файлов, тестирующих сами task-функции — сами task-тесты (SQL-shape, миграции, fake-db поведение) оставлены нетронутыми. test_scheduler.py: 825 → ~90 строк (остались только compute_next_run_at-тесты). test_scraper_kit_scheduler_parity.py: убрана golden-parity секция против удалённого scheduler_loop (SOURCE_TO_OLD_TRIGGER/_drive_old_one_tick/ test_routing_parity_per_source), остальное (claim/reap_zombies/dispatch/ registry-shape тесты kit-модуля) сохранено — источник этих инвариантов не app.services.scheduler, а сам scraper_kit.orchestration.scheduler. test_scheduler_main.py: 2 теста, патчившие app.services.scheduler.scheduler_loop, переведены на монкипатч sm._run_kit_scheduler (единственный путь после этого PR). test_sweep_imv_phase.py:171-371 (6 прямых импортов run_avito_city_sweep из scrape_pipeline) намеренно НЕ тронуты — Part E. Verify: полный pytest 3179 passed / 6 skipped / 1 known-unrelated fail (test_search_cache_hit, #2208, не связан с этим PR); ruff 0.7.4 чист на всех изменённых файлах; `python -c "import app.main; import app.scheduler_main"` OK.	2026-07-04 13:00:30 +03:00
bot-backend	b3a59b7cf1	feat(gisogd66): permits_nearby — точный радиус-запрос РНС/РВЭ (#2367 PR-2, backend-half) (#2401)	2026-07-04 09:59:49 +00:00
lekss361	5d51eae705	Merge pull request 'refactor(tradein/admin): debug sweep endpoints на kit orchestration (#2397 slice A)' (#2400) from refactor/tradein-admin-debug-sweeps-to-kit into main	2026-07-04 09:16:57 +00:00
bot-backend	d0b011d388	test(tradein/admin): перенацелить patch-таргеты на kit + DI-guard asserts (#2397 slice A) ... После миграции admin.py на scraper_kit.orchestration.pipeline (предыдущий коммит) 4 endpoint-теста продолжали патчить устаревший app.services.scrape_pipeline.run_* — имя, на которое admin.py больше не ссылается. Мок не перехватывал вызов → FastAPI BackgroundTask реально запускал kit-sweep (сетевой I/O), что локально (без :5432) тихо падало на подключении к БД и глоталось except'ом, а на CI грозило зависанием/таймаутом. Перенацелены patch-таргеты на app.api.v1.admin.run_* (namespace, куда забинжен kit-импорт): - test_city_sweep.py::test_start_endpoint_ok -> run_avito_city_sweep - test_cian_city_sweep.py::test_cian_start_endpoint_ok -> run_cian_city_sweep - test_yandex_city_sweep.py::test_yandex_start_endpoint_ok -> run_yandex_city_sweep - test_sweep_imv_phase.py::test_sweep_endpoint_passes_enrich_imv -> run_avito_city_sweep Добавлены DI-guard assertions (закрывают coverage-gap: раньше проверялся только HTTP 200, не факт вызова kit с правильным DI) — mock_sweep.call_args.kwargs проверяется на RealScraperConfig/RealMatcherAdapter/RealEnrichmentJobs (там, где kit-сигнатура их требует) + наличие proxy_provider.	2026-07-04 12:14:14 +03:00
bot-backend	42b1ca6d7f	refactor(tradein/admin): debug sweep endpoints на kit orchestration (#2397 slice A) ... Мигрирует 5 admin debug-роутов с legacy app.services.scrape_pipeline на scraper_kit.orchestration.pipeline (эпик #2277 decommission, umbrella #2397): - POST /scrape/avito-city-sweep -> run_avito_city_sweep - POST /scrape/cian-city-sweep -> run_cian_city_sweep - POST /scrape/cian-full-load -> run_cian_full_load - POST /scrape/yandex-city-sweep -> run_yandex_city_sweep - POST /scrape/yandex-full-load -> run_yandex_full_load DI-паттерн зеркалит app.scheduler_main._run_kit_scheduler / scraper_kit.orchestration.scheduler._job_* (уже используется в этом же файле для Group A #2305 debug-роутов): config=RealScraperConfig(), matcher=RealMatcherAdapter(), proxy_provider=_kit_proxy_provider() для всех пяти + enrichment=RealEnrichmentJobs() там, где kit-сигнатура его требует (avito_city_sweep, yandex_city_sweep, yandex_full_load — cian-варианты enrichment не принимают). shutdown_requested не прокидывается — у admin BackgroundTasks нет SIGTERM-drain семантики, дефолт kit (lambda: False) эквивалентен прежнему поведению. Разблокирует финальное удаление зависимости admin.py от scrape_pipeline.py. Production-scheduler (app/services/scheduler.py, USE_KIT_SCHEDULER=False ship-dark) остаётся на legacy — это отдельный, более крупный шаг миграции SERP-оркестрации.	2026-07-04 12:14:14 +03:00
lekss361	27ba08b821	Merge pull request 'refactor(tradein/avito): avito_detail_backfill off scrape_pipeline helpers (#2397 slice B)' (#2399) from refactor/tradein-extract-avito-scrape-helpers into main	2026-07-04 09:01:40 +00:00
bot-backend	8ca529ece0	refactor(tradein/avito): avito_detail_backfill off scrape_pipeline helpers (#2397 slice B) ... app/tasks/avito_detail_backfill.py imported _CHROME_HEADERS/_avito_proxies from the legacy app/services/scrape_pipeline.py (the only two symbols it needed from that module). scrape_pipeline.py is slated for wholesale deletion in Part E of epic #2277 -- this severs the last dependency so that deletion won't break the backfill task. Source chosen: kit-reuse, not relocate. scraper_kit/providers/_base.py (#2358 Foundation) already extracted the identical building blocks while deduplicating providers/avito/{serp,detail,imv}.py: - DOCUMENT_HEADERS -- byte-identical dict to _CHROME_HEADERS (same 8 keys/values, Accept/Accept-Language/Cache-Control/Sec-Fetch-*/Upgrade-Insecure-Requests). - http_proxies(proxy_url) -- same formula as _avito_proxies(): {"http": url, "https": url} if url else None, just parameterized instead of reading settings.scraper_proxy_url internally (both resolve the identical settings singleton in production, so behavior is unchanged). Kept the AsyncSession(...) construction inline (didn't switch to kit's build_document_session helper) to preserve the existing `app.tasks.avito_detail_backfill.AsyncSession` mock seam used by tests/tasks/test_avito_detail_backfill.py -- swapping to the helper would call curl_cffi's AsyncSession via scraper_kit.providers._base instead, silently bypassing that patch target. scrape_pipeline.py itself is untouched (kept its own copies, per Part E plan). Full backend suite: 3276 passed, 1 known-unrelated fail (test_search_cache_hit, #2208), 6 skipped.	2026-07-04 11:55:24 +03:00
lekss361	155d5ec3a9	fix(tradein/v2): смонтировать форму лида (#2377) в живое v2-дерево (#2395) (#2398)	2026-07-04 08:46:10 +00:00
lekss361	480d4c2128	fix(tradein/estimator): kitchen_area_m2/ceiling_height_m/is_apartments comp-scoring (#2012) (#2396)	2026-07-04 08:33:17 +00:00
lekss361	a7e1391814	feat(tradein/v2): replace mailto lead CTA with real form (#2377) (#2393)	2026-07-04 08:03:00 +00:00
lekss361	98df57827e	fix(tradein/v2): audit #2081 residual — 404 short-circuit, disabled-tab tooltips, stale hex token, ДКП decode (#2392)	2026-07-04 07:47:56 +00:00
lekss361	dd222a4eb3	Merge pull request 'chore(tradein/scraper-kit): удалить 5 orphaned legacy-модулей (#2277 финальный шаг, частичный)' (#2394) from chore/tradein-delete-orphaned-legacy-scrapers into main	2026-07-04 07:44:52 +00:00
bot-backend	a9b87aa311	chore(tradein/scraper-kit): удалить 5 orphaned legacy-модулей (#2277 финальный шаг, частичный) ... Удалены (0 runtime importers в app/, scripts/, packages/; проверено grep'ом, включая intra-legacy импорты в оставшихся 21 legacy-модуле scrapers/): - backend/app/services/scrapers/avito_imv.py - backend/app/services/scrapers/domclick_detail.py - backend/app/services/scrapers/ekb_geoportal_client.py - backend/app/services/scrapers/yandex_detail.py - backend/app/services/scrapers/yandex_valuation.py Тесты — удалены (pure legacy-vs-kit parity, kit-only coverage уже есть в другом месте): - tests/scrapers/test_ekb_geoportal_client_kit_parity.py - tests/scrapers/test_domclick_detail_kit_parity.py Тесты — конвертированы в kit-only (импорт легаси заменён на scraper_kit.*, покрытие сохранено без потерь): - tests/scrapers/test_avito_imv_kit_parity.py (parity-тесты убраны, config-footgun regression на kit-стороне оставлен) - tests/scrapers/test_avito_imv_browser_transport.py - tests/scrapers/test_yandex_valuation_kit_migration.py (parity убрана, footgun- регрессия mandatory config/delay_provider оставлена) - tests/scrapers/test_domclick_detail.py (+ exceptions переведены на scraper_kit.domclick_exceptions, т.к. kit parse_detail_html поднимает их) - tests/test_avito_imv_parse.py - tests/test_ekb_geoportal_ingest.py (client-часть; ingest/geocoder-часть не трогали — не зависят от удалённого модуля) - tests/test_yandex_detail.py - tests/test_yandex_detail_structural.py - tests/test_yandex_valuation.py (YandexValuationScraper() → config=_KIT_CONFIG, kit конструктор требует обязательный config) - tests/test_yandex_valuation_save.py - tests/test_extval_house_id_write_path.py (только yandex_valuation-часть; cian_valuation остался нетронутым — живой легаси-модуль) - tests/test_yandex_history_area_filter.py Тесты — частично отредактированы (убраны только части про удалённые модули, живые легаси-модули/их parity не тронуты): - tests/scrapers/test_admin_domclick_ingest_kit_parity.py (base.py/ScrapedLot parity остался) - tests/scrapers/test_admin_yandex_kit_parity.py (yandex_realty parity остался) - tests/scrapers/test_admin_avito_kit_parity.py (avito.py/avito_houses.py parity остался; _parse_price parity убран) - tests/scrapers/test_avito_unix_date_tz_consistency.py (IMV-ветка переведена на kit avito.imv, легаси avito/avito_houses/avito_shared/avito_detail не тронуты) - tests/tasks/test_yandex_detail_backfill.py (subject — kit-задача, уже вызывает scraper_kit.providers.yandex.detail; save_detail_enrichment coverage-тесты внизу файла переведены на kit) - tests/test_scraper_kit_yandex_golden_parity.py (detail/valuation parity убраны; serp/newbuilding/house_type_normalizer/build_url для yandex_realty/ yandex_newbuilding не тронуты) - tests/test_scraper_proxy.py (YandexValuation proxy-тесты переведены на kit config= DI; test_avito_imv_own_session_receives_proxies удалён — дублирует test_avito_imv_kit_parity.py footgun-тесты) - tests/test_yandex_scrapers_delay_wiring.py (yandex_detail/yandex_valuation → kit delay_provider=; yandex_realty/yandex_newbuilding не тронуты) - tests/test_scraper_kit_group_c_backfill_kit_parity.py (docstring уточнение, без функциональных изменений) Полный backend-suite зелёный (3253 passed, 6 skipped) кроме известного pre-existing flake test_search_api.py::test_search_cache_hit (#2208, не регрессия этого PR). ruff check + ruff format — чисто на всех изменённых файлах.	2026-07-04 10:41:46 +03:00
lekss361	a5097c3a97	fix(tradein/estimator): rebase ground-floor hedonic term onto current main (#2002, #2382) (#2391)	2026-07-04 07:33:37 +00:00
lekss361	2538fc02e2	feat(tradein/lead): POST /api/v1/trade-in/lead — persist contact leads (#2376) (#2390)	2026-07-04 07:12:22 +00:00
lekss361	293184ebc6	fix(tradein/v2): mobile layout — remove overflow floor + honest stacked mobile block (#2275) (#2389)	2026-07-04 07:02:56 +00:00