7 commits

Author	SHA1	Message	Date
bot-backend	dc63b1830b	docs(#3376): ссылка на follow-up #3385 вместо TODO в yandex_price_history	2026-09-05 22:57:04 +00:00
bot-backend	721ceb9876	fix(tradein): выборка миграции 286 повторяет гейт 1:1, правило первой точки (#3376) ... Ревью нашло, что миграция и код ловили РАЗНОЕ. Миграция брала базой предыдущую СЫРУЮ строку (lag), гейт — предыдущую ОСТАВЛЕННУЮ. На 1M→10M→1M→10M (цена 1M) lag-версия удаляла честную точку, на 1M→10M→1.05M→9.9M — не была идемпотентной (второй прогон доедал 9.9M). Теперь кандидаты выбирает PL/pgSQL-цикл, пошагово повторяющий drop_decimal_slips, а правило первой точки — отдельным INSERT..SELECT уже по ОСТАВШИМСЯ строкам. Правило первой точки — из прод-разбора: 12 из 20 остатков domklik это серии вида 330 000 → 3 300 000 (текущая цена 3 300 000) и 420 000 → 4 200 000 → 4 500 000, где дефектная точка ПЕРВАЯ и базы слева у неё нет. Свидетелей по-прежнему два: ×10 ко второй точке И подтверждение второй третьей-или-текущей-ценой. Решение по первой точке принимается по kept-серии, а не по сырой, — иначе гейт теряет идемпотентность (перебор ловит 1122 таких прогона). Идемпотентность доказана НА ГЕЙТЕ: property-тест gate(gate(s)) == gate(s) по всем сериям длины 2-6 (19 525 серий × 3 текущие цены). Фальсифицирован обеими поломками — сырая база даёт 136 красных прогонов, сырые соседи первой точки 1122. Раз SQL зеркалит гейт, свойство переносится на миграцию. Ещё в 286: третий свидетель ПРОТИВ удаления (цена подтверждена триггерной строкой того же объявления — значит она реально наблюдалась в listings.price_rub) и финальный шаг |diff_percent| > 100 → NULL по всем источникам, то же правило, что validate_diff_percent на записи. Ожидаемое число удалений в шапке — 35 + ~12 из двухсвидетельского предзамера, а не 76 (то была односвидетельская цифра). Прогон обеих фаз дважды с ROLLBACK — tradein-mvp/scripts/sql/286_dryrun.sql. yandex: проводка гейта снята как мёртвая. На том пути серия из двух точек, а свидетель последней — текущая цена лота, то есть она же сама: ветка по построению не могла выбросить ничего. Оставлен честный комментарий-потолок и ссылка на follow-up (отлов требует DELETE на следующем наблюдении). cian: после выброса точки соседу пересчитывается diff_percent (было только у domclick). domclick: цена листинга берётся RETURNING'ом у UPDATE вместо отдельного SELECT по PK, пересчёт вынесен в общий recompute_diff_percent с гейтом на пустую цену (ручной ingest кладёт price_changes из JSONL без валидации).	2026-09-06 03:53:08 +05:00
bot-backend	142967d064	fix(tradein): гейт против сдвига разряда в offer_price_history (#3376) ... В priceHistory источников встречаются точки ровно ×10/÷10 к соседям с возвратом к базе следующей же точкой — это потерянный разряд у источника, а не рынок. Прод-замер 06.09.2026: 76 таких строк у 55 объявлений (domklik 48, cian 21, yandex 6; единственная avito-строка — триггерная). Читатели колонки — медианный торг лендинга (#3223), админка, /scrapers. drop_decimal_slips живёт рядом с validate_diff_percent — на той же единой границе записи, что и гейт #3225, и подключён ко ВСЕМ писателям истории (domclick/detail.py, cian/detail.py, yandex_price_history.py). Критерий требует двух свидетелей: скачок ×10 к предыдущей точке И возврат к базе у следующей; у последней точки серии свидетель — текущая цена объявления, нет и её → точку не трогаем (без второго свидетеля ×10 может быть честной сменой цены). У domklik после выброса пересчитывается diff_percent соседа: парсер считал его от базы, которой больше нет. Миграция 286 чистит уже собранные строки тем же критерием и только у загрузчика (change_time <> recorded_at): триггерные строки — это живые смены listings.price_rub, у них другая база отсчёта (см. 285). Падает, если кандидатов больше 200.	2026-09-06 02:35:39 +05:00
bot-backend	27bbd579c3	chore(tradein/scrapers): удалить весь legacy scrapers/ каталог — final E (#2397, #2277) ... Удаляет весь `app/services/scrapers/` (16 файлов, ~7100 строк) — Part D (D1-D5) убрал всех внешних вызывающих, 0 runtime importers подтверждено grep'ом на main. Заодно: - удалены 7 осиротевших локальных probe/sweep-скриптов (tradein-mvp/scripts/), импортировавших уже-удалённые или удаляемые сейчас legacy-модули - тест-хирургия по 65+ файлам: DELETE прямых legacy-юнит-тестов, RETARGET тестов, тестирующих ещё живую бизнес-логику (переключены на scraper_kit.* эквиваленты, включая quality-gate #781/#753/#754/#755/#773/#740), partial-delete golden-parity тестов, потерявших legacy-оракл - kit save_listings/AvitoScraper/etc. требуют инжектируемые matcher/config — ретаргетированные тесты обновлены под новую сигнатуру (RealScraperConfig(), MagicMock HouseMatcher, region_code=66) Полный pytest suite зелёный (2255 passed, 6 skipped) кроме известного флейка #2208 (test_search_cache_hit, не связан со scrapers).	2026-07-04 15:58:15 +03:00
bot-backend	79a77200d7	refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1) ... app.services.scrape_pipeline (3734 строк) имел 0 runtime-импортёров — Part C убрал последнего вызывающего (admin.py, scheduler_main.py уже на scraper_kit.orchestration.pipeline). Удаление: - backend/app/services/scrape_pipeline.py — удалён целиком Тесты (18 файлов, импортировавших scrape_pipeline): DELETE (чистая legacy-оркестрация, kit-эквивалент покрыт в test_scraper_kit_pipeline_parity{,2}.py): - test_scrape_pipeline.py, test_scrape_pipeline_proxy_pool.py (proxy-pool DB-lease вытеснен RealProxyProvider DI-адаптером, покрытым test_scraper_adapters_contracts.py) - test_anchor_watchdog.py, test_ban_rotation_1790.py, test_provider_rotation_1848.py - test_scraper_resilience_1949_1950.py, test_sweep_drain.py CONVERT (parity-сравнение убрано, kit-only regression оставлен/усилен): - test_scraper_kit_pipeline_parity.py, test_scraper_kit_pipeline_parity2.py — _drive_old убран, _drive_new стал единственной веткой; ассёрты на конкретные значения counters сохранены (это теперь основное regression-покрытие kit orchestration) - test_sweep_imv_phase.py — 6 IMV-phase тестов (enrich_imv true/false/no-touched/ crash/failed-counter/cancel) переведены на run_avito_city_sweep (kit) с DI (config/matcher/enrichment); enrichment.process_houses_imv_batch — инжектируемый Protocol-метод вместо прямого импорта app.services.house_imv_backfill PARTIAL-EDIT (легаси sweep-behavior вырезан, admin/kit-DI/несвязанные тесты оставлены): - test_city_sweep.py — только retarget 4 импортов на scraper_kit.orchestration.pipeline - test_cian_city_sweep.py, test_yandex_city_sweep.py — sweep-behavior секции удалены, admin endpoint тесты (уже kit-DI) + anchor-timeout/watchdog формулы (retarget import) оставлены - test_domclick_sweep.py — sweep-wiring тесты удалены, Counters + _map_item оставлены - test_avito_newbuilding_sweep.py — sweep-wiring тест #5 удалён, retarget NewbuildingSweepCounters - test_pipeline_browser_routing.py — 3 run_avito_pipeline теста удалены, browser-routing на уровне fetch_detail/fetch_house_catalog/AvitoScraper не тронут - test_scraper_proxy.py, tests/scrapers/test_avito_anti_bot.py — _avito_proxies() переведён на kit (DI-параметр вместо settings-patch); pipeline-level тесты удалены Stale-комментарии (scrape_pipeline.py как текущая реальность) поправлены в admin.py, avito_detail_backfill.py, house_imv_backfill.py, yandex_price_history.py, scrapers/avito_detail.py + kit-пакете (orchestration/__init__.py, orchestration /pipeline.py, providers/avito/detail.py — strangler завершён, легаси удалён). grep -rn scrape_pipeline app/ scripts/ packages/ — только past-tense упоминания ("удалён в Part E1", "перед его удалением") + один historical footnote (contracts.py:138, provenance-заметка "собраны grep'ом по ... .py"). Backend suite: 3088 passed, 6 skipped (известный flake test_search_cache_hit #2208 — не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 13:56:06 +03:00
bot-backend	db3afa3176	fix(tradein/scrapers): migrate cian_price_history/cian_session/yandex_price_history imports to scraper_kit (#2306) ... Group B of the scraper_kit migration epic (#2277): switch the three files' internal dependency imports from legacy app/services/scrapers/* to their byte/structurally-identical scraper_kit equivalents, proven via the new parity harness (tests/support/parity.assert_parity, #2304). Public API of all three files is unchanged, so no callers needed updating. - cian_price_history.py: fetch_detail/save_detail_enrichment now from scraper_kit.providers.cian.detail. Wires config=RealScraperConfig() at the call site — kit's fetch_detail only reads cian_proxy_url when an explicit config is passed, unlike legacy's always-on settings read; without this the admin-triggered backfill would silently drop its datacenter-IP proxy (#806) after the import swap. - cian_session.py: extract_state now from scraper_kit.cian_state_parser (byte-identical to legacy). - yandex_price_history.py: ScrapedLot now from scraper_kit.base (byte-identical fields/methods; record_yandex_price_history only reads lot.* via duck-typing, no isinstance checks). New tests/test_scraper_kit_pricehistory_session_parity.py proves the migration delta specifically (extract_state, ScrapedLot.model_dump(), fetch_detail+DetailEnrichment with config injection, and the own-session proxy-kwarg wiring). Full backend suite passes (3145 passed, 6 skipped, 1 pre-existing unrelated failure confirmed on unmodified forgejo/main).	2026-07-04 00:20:13 +03:00
bot-backend	6c82528db5	feat(tradein): populate offer_price_history for yandex from gate price.previous/trend	2026-06-18 14:23:23 +03:00