13 commits

Author	SHA1	Message	Date
bot-backend	0de22f4bc9	fix(tradein/scraper): диагноз бана перестаёт назначаться по умолчанию (#2764) (#2765)	2026-08-06 23:17:59 +00:00
bot-backend	b8afe13ae4	fix(tradein/scraper): длинная серия неудач перестаёт замолкать, оборванный прогон — называться успехом (#2670) (#2720)	2026-08-06 10:06:58 +00:00
bot-backend	9e5e9fca08	fix(tradein/scraper): статус «забанен» перестаёт выдавать наш сбой за чужой (#2686) (#2711)	2026-08-06 08:18:26 +00:00
bot-backend	cb64796b44	fix(tradein/scraper): дневной снимок узнаёт свой прогон (#2701) (#2707)	2026-08-06 07:00:17 +00:00
bot-backend	9b9f299922	fix(tradein/scraper): блок QRATOR у Домклика больше не помечает прогон успешным (#2657) ... Honest-status в run_domclick_city_sweep требовал ОДНОВРЕМЕННО блок И ноль лотов, поэтому распознанный QRATOR-блок после первых собранных лотов уходил в `done`. На проде это 13 из 13 прогонов с blocked=1 (39-464 лота вместо ~6300) — ни один распознанный блок ни разу не дал не-`done` статус. Домклик структурно отличается от cian/yandex (#2625/#2642): там независимые anchor'ы и провал одного среди успешных — не бан (анти-флап). Здесь anchor'ов нет, sweep линейный по ROOM_BUCKETS, и первый же блок делает break — оставшиеся бакеты не пробуются вовсе. Значит блок = прогон оборван, сколько бы лотов он ни успел взять до этого. Теперь: blocked → mark_banned (external constraint, не наш баг; тот же статус, что #2642 дал cian/yandex — доступен как триггер ротации IP #2611, сама ротация не вызывается). Ноль лотов с fetch-ошибками, но БЕЗ блока → по-прежнему failed. Честная пустота → по-прежнему done. Пометка прокси-пула (fetcher.report_ban, #2600 п.1) не тронута — живёт в providers/domclick/serp.py и срабатывает раньше и независимо от статуса прогона. Refs #2657	2026-08-05 23:37:48 +05:00
bot-backend	59c072fc4c	chore(tradein): удалить мёртвые mobileproxy env-переменные и rotate-ip (#2616 шаги 2-3) (#2650)	2026-08-05 09:35:54 +00:00
bot-backend	2dd0f057f1	fix(tradein): бэкфилл-чистка неверных oblast-меток city для yandex/cian (#2628) (#2646)	2026-08-05 07:13:28 +00:00
bot-backend	86ea09f2d5	fix(tradein/scraper): капча Cian и заглушки Yandex — banned, не done (#2625) (#2642)	2026-08-04 19:03:33 +00:00
bot-backend	a95c38bdcc	fix(tradein/scraper): подключить браузерный путь Авито к пулу прокси	2026-08-02 17:31:00 +03:00
lekss361	7c9319d3b9	fix(tradein/scraper): не помечать городом развёртки объявления соседних городов (#2626)	2026-08-02 11:46:02 +00:00
bot-backend	0a4e126b30	fix(tradein/scraper): проставлять город объявления из контекста развёртки (#2594) ... Скрапер знает город в момент сбора (city_slug из CITY_LOCATIONS/CITY_ANCHORS, scraper_kit.orchestration.pipeline), но раньше нигде его не записывал. Провайдеры (avito/cian) часто отдают адрес БЕЗ города в тексте ("ул. Победы, 30" вместо "Нижний Тагил, ул. Победы, 30" — cian даже явно вырезает location-часть перед записью, providers/cian/serp.py _format_address skip_types={"location",...}). Без города такой адрес при геокодинге считался "город не назван" и коллизировал с одноимённой екатеринбургской улицей (Ленина/Победы/Тенистая — сотни совпадений в ЕКБ-реестрах) → объявление получало координаты Екатеринбурга. Fix: отдельная колонка listings.city (196_listings_city.sql), проставляется из sweep-контекста через save_listings(..., city=...) — НЕ парсингом/дописыванием в address. Раздельная колонка не портит исходный текст адреса: downstream text-парсеры (geocoder._parse_street_house/_names_non_ekb_city, estimator house-matching) продолжают работать на исходном сыром тексте неизменёнными — дописывание города в address ломало бы bare-form адреса без street-маркера ("Дружинина, 33" без "ул.") в этих же парсерах. Симметрия: EKB-варианты city-sweep функций (city_slug=None) тоже получают city="Екатеринбург" — resolve_city_name(None) даёт тот же ЕКБ-дефолт, что и get_city_location/get_city_anchors. Проставлено во всех продовых write-путях: run_avito_city_sweep/run_yandex_city_sweep/run_cian_city_sweep (city_slug-aware), run_avito_newbuilding_sweep/run_cian_full_load/run_yandex_full_load/ run_avito_full_load (подтверждённо EKB-only по докстрингам), run_domclick_city_sweep (EKB city_id, oblast B2 ещё не wired — честный None для неизвестного city_id). Scope: только write-path для НОВЫХ листингов. Бэкфилл накопленных строк и консультация city в geocode_missing_listings/backfill_coords_from_geoportal (gate там пока text-only, _names_non_ekb_city) — geocoder.py намеренно не тронут (#2582/#2580) — отдельные follow-up задачи.	2026-07-31 22:14:47 +03:00
bot-backend	79a77200d7	refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1) ... app.services.scrape_pipeline (3734 строк) имел 0 runtime-импортёров — Part C убрал последнего вызывающего (admin.py, scheduler_main.py уже на scraper_kit.orchestration.pipeline). Удаление: - backend/app/services/scrape_pipeline.py — удалён целиком Тесты (18 файлов, импортировавших scrape_pipeline): DELETE (чистая legacy-оркестрация, kit-эквивалент покрыт в test_scraper_kit_pipeline_parity{,2}.py): - test_scrape_pipeline.py, test_scrape_pipeline_proxy_pool.py (proxy-pool DB-lease вытеснен RealProxyProvider DI-адаптером, покрытым test_scraper_adapters_contracts.py) - test_anchor_watchdog.py, test_ban_rotation_1790.py, test_provider_rotation_1848.py - test_scraper_resilience_1949_1950.py, test_sweep_drain.py CONVERT (parity-сравнение убрано, kit-only regression оставлен/усилен): - test_scraper_kit_pipeline_parity.py, test_scraper_kit_pipeline_parity2.py — _drive_old убран, _drive_new стал единственной веткой; ассёрты на конкретные значения counters сохранены (это теперь основное regression-покрытие kit orchestration) - test_sweep_imv_phase.py — 6 IMV-phase тестов (enrich_imv true/false/no-touched/ crash/failed-counter/cancel) переведены на run_avito_city_sweep (kit) с DI (config/matcher/enrichment); enrichment.process_houses_imv_batch — инжектируемый Protocol-метод вместо прямого импорта app.services.house_imv_backfill PARTIAL-EDIT (легаси sweep-behavior вырезан, admin/kit-DI/несвязанные тесты оставлены): - test_city_sweep.py — только retarget 4 импортов на scraper_kit.orchestration.pipeline - test_cian_city_sweep.py, test_yandex_city_sweep.py — sweep-behavior секции удалены, admin endpoint тесты (уже kit-DI) + anchor-timeout/watchdog формулы (retarget import) оставлены - test_domclick_sweep.py — sweep-wiring тесты удалены, Counters + _map_item оставлены - test_avito_newbuilding_sweep.py — sweep-wiring тест #5 удалён, retarget NewbuildingSweepCounters - test_pipeline_browser_routing.py — 3 run_avito_pipeline теста удалены, browser-routing на уровне fetch_detail/fetch_house_catalog/AvitoScraper не тронут - test_scraper_proxy.py, tests/scrapers/test_avito_anti_bot.py — _avito_proxies() переведён на kit (DI-параметр вместо settings-patch); pipeline-level тесты удалены Stale-комментарии (scrape_pipeline.py как текущая реальность) поправлены в admin.py, avito_detail_backfill.py, house_imv_backfill.py, yandex_price_history.py, scrapers/avito_detail.py + kit-пакете (orchestration/__init__.py, orchestration /pipeline.py, providers/avito/detail.py — strangler завершён, легаси удалён). grep -rn scrape_pipeline app/ scripts/ packages/ — только past-tense упоминания ("удалён в Part E1", "перед его удалением") + один historical footnote (contracts.py:138, provenance-заметка "собраны grep'ом по ... .py"). Backend suite: 3088 passed, 6 skipped (известный flake test_search_cache_hit #2208 — не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 13:56:06 +03:00
lekss361	abdb413a99	feat(scraper-kit): copy remaining sweep orchestrators (yandex/cian/domclick/full-load), strangler (#2135 F2)	2026-07-02 17:29:05 +00:00