524 commits

Author	SHA1	Message	Date
bot-backend	e4bb2fc2e3	Merge pull request 'fix(tradein/lead): phone digit-guard, убрать dead landing-литерал, 152-ФЗ audit (R2)' (#2497) from fix/tradein-lead-hardening into main	2026-07-12 19:28:26 +00:00
bot-backend	b1ac551451	Merge pull request 'fix(tradein): ingest/scheduler integrity — year sanity, propagate geo-guard, dkp_import counters + DO UPDATE (R2)' (#2496) from fix/tradein-ingest-scheduler-integrity into main	2026-07-12 19:20:10 +00:00
bot-backend	032fd95a7e	Merge pull request 'fix(tradein): image_sanitizer — reject decompression-bomb до декода (R2 security)' (#2495) from fix/tradein-image-dos into main	2026-07-12 19:19:39 +00:00
bot-backend	0583fb0efd	fix(trade-in): усилить валидацию /lead и почистить контракт (#2376) ... - [MED] phone: маска r"^[+]?[\d\s().-]{5,32}$" делала цифры опциональными ("(()) -- .." проходило) — добавлен field_validator, требующий 10-15 реальных цифр (re.sub(r"\D","")), формат-толерантность сохранена. - [MED] source: убран мёртвый литерал "landing" из Literal — воронка недостижима (rbac_guard закрывает /lead 401 без X-Authenticated-User, публичного лендинг-роута нет), контракт больше не обещает невозможное. - [LOW] 152-ФЗ: захват client_ip (X-Forwarded-For -> peer) и _CONSENT_POLICY_VERSION в audit-лог; live-схема trade_in_leads не имеет колонок под IP/policy/consent-snapshot -> TODO на follow-up миграцию (out of scope), durable proof-of-consent gap задокументирован. Тесты: +digit-free/too-few-digits phone 422, +source=landing 422, estimate-тест переведён на source=result. 9/9 pass, ruff clean.	2026-07-12 22:19:20 +03:00
bot-backend	a3dfa2a99f	Merge pull request 'fix(tradein/pdf): честность отчёта — убрать фейк-сроки, хардкод EKБ, противоречивый дисконт (R2)' (#2494) from fix/tradein-pdf-honesty into main	2026-07-12 19:19:08 +00:00
bot-backend	20bdc7dec8	test(tradein/pdf): обновить insufficient-page тест под city-aware № отчёта ... test_insufficient_data_page_contains_address_and_report_num ассертил старый захардкоженный «EKБ-» (mixed-script баг). Оценка без target_address → город не распознан → нейтральный префикс «МЕРА» (#pdf-honesty). Обновлён ассерт: «МЕРА-» присутствует, «EKБ-» отсутствует.	2026-07-12 22:12:42 +03:00
bot-backend	6487813ec5	fix(tradein/ingest): 4 data-integrity дефекта в бэкфилле годов и импорте ДКП ... A. ДОМ.РФ year backfill: авторитетный commission_year больше не экранируется невозможным существующим year_built. Валидное существующее значение выигрывает (COALESCE-семантика #2013 сохранена), но NULL/impossible (< 1850, > текущий+2, 0) заменяется валидным commission_year → zhkh_year. parse_int_field получил sanity-гейт [min,max] — мусорный commission_year не попадает в staging (7 таких строк в текущем staging). B. propagate_listings_year: добавлен link-consistency guard. Раньше копировал houses.year_built на listings по house_id_fk без проверки — перепривязанный FK впрыскивал чужой когортный год. Теперь пропагация только если координаты объявления в пределах 500м от геометрии дома (ST_DWithin), либо (без коорд.) консервативный address-фоллбек по short_address. Live: блокирует 1 из 10 текущих кандидатов (>500м mislink). C. rosreestr_dkp_import: per-row INSERT-ошибки отделены от dedup-skip. Раньше except инкрементил тот же batch_skipped, что и легитимный ON CONFLICT — сбой маскировался под дедуп и run рапортовал success. Отдельный rows_errored + гейт по доле ошибок (> 5% → run FAILED, не silent-green). D. rosreestr_dkp_import: ON CONFLICT DO NOTHING → DO UPDATE изменяемых сырых фактов Росреестра (price/area/rooms/floor/year/deal_date/...), чтобы исправленный/переопубликованный квартал обновлялся. Обогащение (lat/lon/geom/geocode_tried_at и пр.) не в SET-списке — не затирается. IS DISTINCT FROM guard сохраняет идемпотентность resume; RETURNING (xmax=0) отличает insert от update (rows_inserted vs rows_updated).	2026-07-12 22:12:31 +03:00
bot-backend	1c9f0e1161	fix(tradein/photos): защита от pixel-flood DoS в image_sanitizer ... sanitize_image декодировал изображение целиком (img.load) ДО ресайза, а Pillow MAX_IMAGE_PIXELS оставался дефолтным (~89 MP). Хорошо сжимаемый ≤10 MB аплоад с заявленными ~89-178 MP разворачивался в raw RGB буфер на сотни MB до thumbnail — OOM-kill backend'а (768 MiB, #2214), усиление ×12 слотов на estimate. Defense in depth: - _MAX_PIXELS = 40 MP: проверка img.size (из хедера, без декода) ДО img.load; превышение → ImageSanitizationError без загрузки полного буфера. - Image.MAX_IMAGE_PIXELS понижен до 40 MP — Pillow сам бросает DecompressionBombError на любом декод-пути в обход явной проверки. - Явный except Image.DecompressionBombError + re-raise ImageSanitizationError (byte/pixel cap) до широкого except — грациозный reject, не 500. - _MAX_BYTES backstop (endpoint уже режет 10 MB → 413, но сервис standalone). Контракт caller'а не меняется: reject → ImageSanitizationError → HTTP 400. Тест tests/services/test_image_sanitizer.py: happy-path, resize, pixel-flood без декода (load не вызывается), byte-backstop, граница cap, garbage bytes.	2026-07-12 22:12:12 +03:00
bot-backend	27d1b09c72	fix(trade-in-pdf): убрать три ложных утверждения из PDF-отчёта ... Отчёт печатал измерения, которых не делал: 1. Выдуманный «срок продажи 4–118 дней». _days_on_market_range при отсутствии реальных days_on_market (~48% оценок) возвращал хардкод (4, 118), а обложка и страница объявлений рисовали его как измеренный срок экспозиции. Теперь функция возвращает None, и оба call-site'а не рисуют срок (show_days=False) — как уже делает страница сделок. 2. № отчёта хардкодил «EKБ» для любой оценки — объект в Серове / Нижнем Тагиле получал екатеринбургский код на обложке, в шапках и футере. Префикс теперь выводится из target_address (ЕКБ / НТ / СЕР / …); неизвестный город → нейтральный «МЕРА», а не ложный «EKБ». 3. Статичный «сделки на 10–18% ниже» противоречил рассчитанному в том же PDF «−N%». Совет на обложке и баннер на странице сделок теперь ссылаются на реальный _discount_pct (тот же, что chip «−N%»), с нейтральной формулировкой когда дисконт неизвестен. Удалён ложный хвост «(Екатеринбург, 2026)». Тесты: +11 кейсов (suppression (4,118), city-aware № отчёта, computed-discount вместо «10–18%»). Все 23 проходят, ruff чисто.	2026-07-12 22:04:17 +03:00
bot-backend	c1a01fdbf9	fix(tradein/estimator): СберИндекс — только вторичка + confidence dispersion-ceiling (R2 H1+H2) ... H1 (деньги, каждая оценка): time-adjust ДКП-коридора брал СберИндекс `residential_real_estate_prices`, а для обл.66 это 100% «Первичный рынок» (новостройки) → коррекция направленно противоположна вторичке (первичка Jan→May +0.89% vs вторичка −0.39%). Fix: SBER_COEFF_DASHBOARDS → (real_estate_deals, dinamika-tsen-obyavlenii) — обе вторичка; + segment-guard в SQL (`segment ILIKE '%вторичн%'`) как defense-in-depth. Live-verified: остаются только Вторичный-серии. H2 (честность): `_compute_confidence` ветка «≥4 адреса» не имела потолка разброса → пул с ±45% IQR + «расширили радиус из-за нехватки данных» уходил как «medium» вопреки объяснению. Fix: medium требует IQR/median < 0.35; + force-low при fallback-расширении с разбросом > 0.30. Regression-гейт: перегенерён baseline (dedup OFF, как в гейте) — ровно 1 из 277 фикстур-кейсов medium→low (высокодисперсный, справедливо): calibration.medium.n 2→1 (mape 14.64→6.99 — ненадёжный ушёл), low.coverage 81.82→81.88. Δ минимальна и обоснована. 127 тестов зелёные. Stale-СберИндекс (72д) — НЕ трогаю в коде: time-adjust валидно ре-базит Jan→May; сброс потерял бы валидную коррекцию. Реальный gap операционный (pull не гонялся с 19.06) — в scheduler/ops.	2026-07-12 22:03:59 +03:00
bot-backend	f9ae6f0c53	fix(tradein/estimator): non-EKB headline из deals + geo-bound Tier-S analog leak ... Валидация вскрыла: не-ЕКБ headline over-priced — analog Tier-S (same-building) fallback БЕЗ geo-предиката матчил одноимённую улицу+дом в ДРУГОМ городе → тянул ЕКБ-листинги (40191 EKB/~0 non-EKB) с distance_m=0. Серов ask-head 186k vs sold 30k; Н.Тагил 187k vs deal-corridor 89k. Part 1 (Tier-S geo-bound, ~4624): + ST_DWithin(geom, subject, radius) в address-prefix fallback (зеркалит Tier-W). >99.97% листингов с coords → режет только cross-city false-positives. Part 2 (deals-headline-fallback): _fetch_dkp_corridor widen на city-wide при street-sample <3 (gated city!=екатеринбург); _price_from_inputs: при median_ppm2<=0 (нет листингов) + anchor_tier None + dkp_raw>=3 → headline из deal-corridor, confidence=low, n_analogs=0, expected_sold=None. Deep-review ✅ APPROVE (no 🔴/🟠; ~10 downstream stages traced coherent). EKB byte-green regression-гейт (fallback требует median_ppm2<=0, невозможно для frozen fixture; Part 1 SQL не в replay). Тесты: Н.Тагил 0-листингов+corridor85911 → headline=85911 (не 0/186k); EKB-control dense → headline из листингов (fallback не срабатывает). Full suite 2418 passed. Follow-ups (🟡): fallback без city-gate (sparse EKB n/a→deals, safe); api_analog_tier мислейбл 'city'; Part1/2a integration-test; EKB backtest post-deploy (rule #7).	2026-07-12 21:46:38 +03:00
bot-backend	25a865f27b	feat(tradein/backtest): --city per-city валидация + corridor city-parity ... D validation harness для oblast-точности: - --city '<точное deals.city>' → scope выборки по deals.city; default None = байт-идентично (тот же _SAMPLE_SQL object, literal identity). - per-city PPM2 band из deal_city_price_bands (fallback global, 0 доп-запросов при None). - corridor city-parity: backtest _fetch_dkp_corridor теперь передаёт city=_resolve_target_city(deal.address) — зеркалит прод C2 (был cross-city contaminated). NB: меняет и default-run live-числа (не fixture-replay) — intended catch-up к проду. - _compute_confidence подтверждён comp-count-based (без EKB-хардкода). - +10 unit-тестов. Регресс-гейт байт-зелёный (replay не гоняет corridor). code-review ✅ APPROVE. Frozen fixture/baseline не тронуты. Live per-city backtest прогоню после деплоя.	2026-07-12 20:49:04 +03:00
lekss361	5d7c3e1c30	Merge pull request 'fix(tradein/estimator): city-scope ДКП-коридора + oblast city-tokens/bbox' (#2488) from fix/tradein-oblast-c2-estimator-scope into main	2026-07-12 17:21:55 +00:00
bot-backend	6936558f6f	Merge pull request 'fix(tradein): city-scope ДКП-запросы — убрать oblast-контаминацию (C1+C2)' (#2489) from fix/tradein-oblast-city-scope-corridor-ratio into main	2026-07-12 17:20:31 +00:00
bot-backend	f631af4de3	fix(tradein): city-scope ДКП-запросы — убрать oblast-контаминацию (C1+C2) ... Миграция 177 залила +47183 ДКП-сделки по всей Свердловской обл. (66, 368 городов, deals.city заполнен). Потребители deals матчат по имени улицы БЕЗ city-фильтра → одноимённые улицы дешёвых городов области контаминируют ЕКБ-числа. C1 — street-deals + ДКП-коридор (клиент видит СЕЙЧАС): - estimator._fetch_dkp_corridor + api/v1/trade_in.get_street_deals: добавлен city-скоуп `city IS NOT NULL AND :address ILIKE '%'||city||'%'` (канонический deals.city как подстрока целевого адреса — self-normalizing, адрес всегда содержит город). - Live-repro (Ленина, 2к, 12мес): median 52 908 → 118 052 ₽/м² (было занижение ~−55%). C2 — дневной пересчёт asking→sold ratio (imminent, «выкупная» −29%): - tasks/asking_to_sold_ratio: deal_side + deal_global скоупятся на ЕКБ (asking-сторона = listings покрыты скрейпом только по ЕКБ; в listings нет колонки city). Константа _ASKING_CITY_PATTERN. ask-стороны не трогаем. - Live-repro (rooms=2): sold_median all-city 82 593 (ratio 0.622) → EKB 116 858 (ratio 0.880). Предотвращает обвал «выкупной» на след. пересчёте. - Когда появятся oblast-листинги (B1/B2) → заменить на per-city ratio через `district`. Тесты: subset-тест 080↔refresh (mirror _drop_segment_guard прецедента для city-guard) + позитивный тест скоупа; 125 passed вкл. regression-гейт (байт-зелёный — коридор заморожен в фикстуре), expected_sold, idor, 781. Regression-гейт не затронут (dkp_raw — frozen kwarg).	2026-07-12 20:18:36 +03:00
bot-backend	4a579e74e0	Merge remote-tracking branch 'refs/remotes/forgejo/main' into fix/tradein-oblast-c2-estimator-scope ... # Conflicts: # tradein-mvp/backend/app/services/estimator.py	2026-07-12 20:14:17 +03:00
bot-backend	b93d26990b	fix(tradein/estimator): city-scope ДКП-коридора + oblast city-tokens/bbox ... Чинит доказанную кросс-город контаминацию коридора: street-name-матч без city тянул одноимённые улицы всех городов обл. («Ленина» = Н.Тагил+Лесной+Серов+ЕКБ...). - _resolve_target_city(address) — word-boundary поверх geocoder.SVERDLOVSK_OBLAST_CITIES (F, ~30 городов), district-guard («мкр Заречный» = район, не город-ЗАТО). - _fetch_dkp_corridor: +param city → AND LOWER(d.city)=CAST(:target_city AS text). Проводка в estimate_quality (dadata.canonical > geo) + trade_in.py GET rehydrate. city=None → прежнее поведение (fallback). - _CITY_TOKENS + _DEDUP_ADDR_NOISE_WORDS → derive из SVERDLOVSK_OBLAST_CITIES (было 6 EKB-городов) → same-house dedup для non-EKB. - bbox fast-path → geocoder.is_within_oblast66_bbox. - docstring: коридор НЕ чисто advisory (клампит headline + radius-floor при n>=clamp_min_n). EKB regression-гейт байт-зелёный (коридор upstream от frozen _price_from_inputs replay). Deep-review ⚠️APPROVE (no блокеров). Follow-ups (task #10): DB-derived city-set (Лесной 1103 uncovered), asking_to_sold_ratio city-scope, backtest city-parity.	2026-07-12 20:10:59 +03:00
lekss361	90a6e4bfe9	Merge pull request 'feat(tradein/scraper): per-city sweep capability для 5 городов области (schedules disabled)' (#2487) from fix/tradein-oblast-b1-city-anchors into main	2026-07-12 17:10:22 +00:00
bot-backend	cf91ac6b24	feat(tradein/scraper): per-city sweep capability для 5 городов области (schedules disabled) ... B1: avito/cian/yandex city-sweep по городам Свердловской обл. (Н.Тагил/Каменск/Первоуральск/В.Пышма/Серов). Schedules засеяны DISABLED — rollout вручную по одному городу (proxy = 1 живой прокси). - pipeline.py: CITY_ANCHORS (5) + get_city_anchors(slug) (None→EKB fallback). - scheduler.py: sweep-jobs читают params.city → анкоры; wildcard-хендлеры *_city_sweep_* (source UNIQUE → per-city source, как deactivate_stale_*). - geo.py: OBLAST66_BBOX + is_within_oblast66_bbox; avito/detail.py ingest-guard EKB→oblast66. - price_brackets.py: 5 city-seed (reuse EKB). migration 179: 15 rows enabled=false, staggered, idempotent. - +6 тестов. domclick (B2) не тронут.	2026-07-12 20:06:46 +03:00
bot-backend	e250869c9d	fix(tradein/dadata): suggest-fallback для house_fias_id когда CLEAN выключен ... На проде у DaData-аккаунта выключена услуга CLEAN (Стандартизация) → /clean/address отдаёт HTTP 403 «Feature CLEAN disabled», из-за чего house_fias_id (ключ join с houses/ДОМ.РФ) и гео терялись, хотя /suggest их отдаёт бесплатно (token-only). - enrich_address(): /clean → graceful fallback на /suggest (house-level кандидат); canonical_address/house_cadnum честно None (их даёт только CLEAN — не выдумываем). - clean_address(): 403 «feature disabled» логируется отдельно от auth-rejection (токен валиден — refresh не поможет; чинить = включить услугу либо fallback). - DadataSuggestion + _parse_suggestion: тянут house_fias_id/kladr_id/qc_geo. - estimator: enrichment-вызов → enrich_address (алиас dadata_clean_address сохранён, это точка патча в 11 тестах — без churn). - Тесты: feature-disabled лог, enrich clean-path/suggest-fallback/both-fail, новые поля. Проверено вживую на прод-кредах: clean→403, enrich→house_fias_id восстановлен.	2026-07-12 19:55:37 +03:00
lekss361	51952ebd70	Merge pull request 'fix(tradein/geocoder): раз-хардкод геокодера/DaData на всю Свердловскую обл. (region 66)' (#2484) from fix/tradein-oblast-f-geocoder into main	2026-07-12 15:35:27 +00:00
bot-backend	c0cbdc2f99	fix(tradein/geocoder): раз-хардкод геокодера/DaData на всю Свердловскую обл. (region 66) ... Геокодер был жёстко EKB-bound и ВЫБРАСЫВАЛ корректные non-EKB геокоды (bbox-accept-фильтры) → блокировал оценку любого адреса области. Обобщено до region-66. - OBLAST66_BBOX + is_within_oblast66_bbox (superset EKB-tight, EKB не затронут); EKB Yandex Tier1/2 fast-path сохранён. - Все accept-фильтры (Yandex/Nominatim forward+suggest, geocode() accept+typo) → oblast-66. - City-prefix по word-boundary _has_oblast_marker (не substring): EKB-улицы 'Серова 27'/'Ирбитская 5' и др. больше не роняют 'Екатеринбург,'-префикс (был silent wrong-city баг). - Two-pass tie-break в accept-циклах: tight-EKB кандидат приоритетнее → EKB-результат идентичен прежнему. - Region cross-check (Nominatim address.state / Yandex AdministrativeAreaName) отсекает соседние области (Тюмень и др.); bbox-fallback когда region отсутствует. - DaData suggest: region-параметр (hard-filter), убран no-op restrict_value. - +26 тестов: OBLAST66 superset TIGHT, far-town accept, Тюмень reject, marker +/- (street-collision), DaData region body. Foundation для A2 (геокодинг non-EKB сделок) и live-оценки адресов области.	2026-07-12 18:33:05 +03:00
bot-backend	752cb1044b	fix(tradein/ingest): раз-хардкод rosreestr DKP импорта на всю обл. 66 ... - scheduler.py import_rosreestr_dkp: снят фильтр city ILIKE '%катеринбург%', address из реального city источника, deals.region_code + новая deals.city заполняются (было: хардкод 'Екатеринбург,' + region_code NULL) - migration 177: deals.city + индекс + бэкфилл существующих EKB-строк region_code=66/city - guard city IS NOT NULL → address не NULL для ~15 null-city строк источника - sync deploy/import-rosreestr.sh (ops-fallback) под тот же oblast-scope - split dedup-теста: 077 (историческая) хранит EKB-фильтр, живой импорт — нет Открывает +47183 не-ЕКБ сделок region 66, уже сидящих в источнике, ранее резавшихся на импорте.	2026-07-12 18:11:47 +03:00
bot-backend	ed504cbbd9	fix(tradein): repoint rosreestr_poll to /data-sets/ + verify Content-Type (СДЕЛКИ dataset moved off /opendata) (#2477)	2026-07-12 13:21:58 +00:00
bot-backend	cc231946c2	feat(tradein): fill houses.year_built/material_walls from ДОМ.РФ КР1.1/1.2 + zhkh_year, propagate to listings (#2013) (#2476)	2026-07-12 13:12:07 +00:00
bot-backend	d22e0e00ae	tech-debt(tradein/estimator): collapse won estimate_* flags into defaults (#1970) (#2475)	2026-07-12 12:46:18 +00:00
bot-backend	f4c26d474a	test(rbac): user2 expected role expired after brusnika trial cutoff ... Follow-up к смене user2 pilot→expired в roles.yaml. test_get_role_known_users гонял user1..user10 == pilot циклом; user2 теперь expired. На PR #2472 этот тест был skipped (paths-filter не матчил tradein-mvp/**, менялся только auth/roles.yaml) → упал уже на полном деплое. Правка в обоих зеркалах (tradein + main backend).	2026-07-09 19:16:59 +03:00
lekss361	994eba0a16	fix(tradein/cian): extract_all_states — discover new .concat() format, not just legacy .push() (#2438)	2026-07-04 21:03:32 +00:00
lekss361	7c1d3693e2	fix(tradein/cian): персист bti_data/valuation house_info в houses + дедуп УК (#2435) (#2437)	2026-07-04 20:21:32 +00:00
lekss361	f93ef5374d	feat(tradein/domclick): production Layer B detail-backfill orchestrator (#2000) (#2436)	2026-07-04 19:49:07 +00:00
lekss361	b2d42a631a	feat(tradein/pdf): редизайн отчёта в реальном языке МЕРА (v2 HUD) (#2434)	2026-07-04 18:41:21 +00:00
lekss361	ced616d150	feat(tradein/domclick): cookie-injection MVP для обхода QRATOR-блока (#2000) (#2433)	2026-07-04 17:49:40 +00:00
lekss361	acc1e05357	fix(tradein/estimator): восстановить и канонизировать корпус дома в дедупе (регрессия #2429) (#2432)	2026-07-04 17:08:40 +00:00
lekss361	102bdbda47	fix(tradein/domclick): органический заход через SERP перед card-fetch (anti-QRATOR) (#2430)	2026-07-04 16:39:47 +00:00
lekss361	752c3656a3	fix(tradein/estimator): дом «2» вместо «15» при глухом названии станции метро в avito-адресе (#2429)	2026-07-04 15:50:49 +00:00
lekss361	5cbf3485a0	fix(tradein/pdf): честный embedded-шрифт (PT Sans/PT Serif) + matplotlib-график вместо div (#2427)	2026-07-04 14:39:37 +00:00
lekss361	9c6afcc876	Merge pull request 'chore(tradein/scrapers): удалить весь legacy scrapers/ каталог — final E (#2397, #2277)' (#2419) from chore/tradein-finalE-delete-scrapers-catalog into main	2026-07-04 13:11:13 +00:00
lekss361	921aba04b8	feat(tradein/history): вернуть все параметры оценки в GET /history (#2420)	2026-07-04 13:09:22 +00:00
bot-backend	27bbd579c3	chore(tradein/scrapers): удалить весь legacy scrapers/ каталог — final E (#2397, #2277) ... Удаляет весь `app/services/scrapers/` (16 файлов, ~7100 строк) — Part D (D1-D5) убрал всех внешних вызывающих, 0 runtime importers подтверждено grep'ом на main. Заодно: - удалены 7 осиротевших локальных probe/sweep-скриптов (tradein-mvp/scripts/), импортировавших уже-удалённые или удаляемые сейчас legacy-модули - тест-хирургия по 65+ файлам: DELETE прямых legacy-юнит-тестов, RETARGET тестов, тестирующих ещё живую бизнес-логику (переключены на scraper_kit.* эквиваленты, включая quality-gate #781/#753/#754/#755/#773/#740), partial-delete golden-parity тестов, потерявших legacy-оракл - kit save_listings/AvitoScraper/etc. требуют инжектируемые matcher/config — ретаргетированные тесты обновлены под новую сигнатуру (RealScraperConfig(), MagicMock HouseMatcher, region_code=66) Полный pytest suite зелёный (2255 passed, 6 skipped) кроме известного флейка #2208 (test_search_cache_hit, не связан со scrapers).	2026-07-04 15:58:15 +03:00
lekss361	a0c609caf4	fix(tradein/estimator): устранить остаточные кросс-сорс дубли (#2291) (#2417)	2026-07-04 12:58:15 +00:00
lekss361	8030f8ecef	Merge pull request 'refactor(tradein/tasks): yandex_newbuilding_sweep на kit + config= (#2397 Part D5)' (#2412) from refactor/tradein-partD5-yandex-nb-sweep-kit into main	2026-07-04 12:29:56 +00:00
lekss361	f0a9763e48	Merge pull request 'refactor(tradein/tasks): newbuilding_enrich_backfill на kit cian.newbuilding + config= (#2397 Part D3)' (#2415) from refactor/tradein-partD3-newbuilding-enrich-kit into main	2026-07-04 12:29:41 +00:00
lekss361	b28aefec16	Merge pull request 'refactor(tradein/tasks): cian_history_backfill valuation+newbuilding на kit + config= (#2397 Part D2)' (#2411) from refactor/tradein-partD2-cian-history-backfill-kit into main	2026-07-04 12:29:33 +00:00
bot-backend	5015109f31	refactor(tradein/tasks): newbuilding_enrich_backfill на kit cian.newbuilding + config= (#2397 Part D3)	2026-07-04 15:20:18 +03:00
bot-backend	b6b7af6b42	refactor(tradein/tasks): yandex_newbuilding_sweep на kit + config= (#2397 Part D5)	2026-07-04 15:18:40 +03:00
bot-backend	f0c7ac4972	refactor(tradein/tasks): cian_history_backfill valuation+newbuilding на kit + config= (#2397 Part D2)	2026-07-04 15:17:27 +03:00
bot-backend	36c451e155	refactor(tradein/tasks): avito_detail_backfill build_warmed_session на kit + config= (#2397 Part D1, #2330)	2026-07-04 15:15:45 +03:00
bot-backend	575c233e51	refactor(tradein/scrapers): удалить 6 осиротевших legacy scraper-модулей + тест-хирургия (#2397 Part E2) ... app.services.scrapers.{cian,cian_detail,yandex_realty,domclick,domclick_exceptions, avito_houses} имели 0 runtime-импортёров после E1 (scrape_pipeline.py удалён, #2405) — admin.py/cian_history_backfill.py уже на scraper_kit.providers.*. Удаление: - 6 модулей целиком (avito_houses.py, cian.py, cian_detail.py, domclick.py, domclick_exceptions.py, yandex_realty.py) - 3 осиротевших dev-sweep скрипта (local-sweep-ekb{,-cian,-yandex}.py) — эксклюзивно драйвили удалённые легаси-скраперы, kit-путь их заменяет Тесты (18 файлов DELETE — эксклюзивно тестировали удалённые модули или были чистым legacy-vs-kit parity, чей легаси-эталон исчез): test_cian_detail.py, test_cian_serp_scraper.py, tests/scrapers/test_cian_exhaustive.py, test_yandex_realty_serp.py, tests/scrapers/test_domclick.py, test_avito_houses_dedup.py, test_avito_houses_parse.py, test_houses_rating_filter_entries_1789.py, test_scraper_kit_domclick_golden_parity.py, tests/scrapers/test_admin_{avito,cian,yandex}_kit_parity.py. CONVERT (файл покрывает СМЕШАННЫЙ live+legacy набор — вырезаны только секции удалённых модулей, live-покрытие сохранено): - test_scraper_kit_cian_golden_parity.py — SERP/`_format_address`/detail (cian.py/cian_detail.py) убраны; extract_state (cian_state_parser, live)/ valuation (cian_valuation, live)/newbuilding (cian_newbuilding, live)/ no-app-imports guard — остались - test_scraper_kit_yandex_golden_parity.py — SERP `_entity_to_lot`/ `_parse_gate_json`/`_build_url` (yandex_realty) убраны; normalize_house_type (live)/newbuilding parse (yandex_newbuilding, live)/no-app-imports guard — остались - test_scraper_kit_bisection_parity.py — cian/domclick/yandex-ветки убраны; avito-ветка (live, единственная оставшаяся легаси-бисекция) — осталась полностью, включая full-seed-grid - test_scraper_kit_group_c_backfill_kit_parity.py — cian fetch_detail browser_fetcher parity-тест убран; avito/house_imv_backfill/ cian_history_backfill/ekb_geoportal тесты — остались - test_scraper_kit_pricehistory_session_parity.py — fetch_detail config-injection/proxy-wiring тесты (cian_detail) убраны; extract_state (cian_state_parser, live)/ScrapedLot (base, live) parity — остались - test_yandex_scrapers_delay_wiring.py — yandex_realty delay-тест убран (kit-эквивалент уже покрыт test_kit_serp_proxy_pool.py); yandex_newbuilding (live)/yandex_detail/yandex_valuation (kit) тесты — остались - test_scraper_proxy.py — yandex_realty BrowserFetcher-тест убран (redundant с test_kit_serp_proxy_pool.py::test_yandex_serp_no_pool_by_default) RETARGET на kit (символ живёт, только источник поменялся): - test_domclick_sweep.py — `_map_item` → scraper_kit.providers.domclick.serp - test_yandex_city_sweep.py — DEFAULT_PRICE_RANGES/ROOM_PATH → scraper_kit.providers.yandex.serp - test_pipeline_browser_routing.py — fetch_house_catalog → scraper_kit.providers.avito.houses (+ KitAvitoBlockedError для firewall-теста) - test_snapshot_writer.py — DetailEnrichment/save_detail_enrichment → scraper_kit.providers.cian.detail (byte-identical strangler-копия) - test_backfill_wave2.py — DetailEnrichment → scraper_kit.providers.cian.detail - tests/scrapers/test_avito_unix_date_tz_consistency.py — avito_houses → scraper_kit.providers.avito.houses (houses-ветка _unix_to_date/RUS_MONTHS consolidation-проверки) Stale-комментарии поправлены в cian_price_history.py, tests/scrapers/ test_domclick_detail.py (описывали ещё-живой domclick.py/domclick_exceptions.py). grep -rn scrapers\.\(cian\|cian_detail\|yandex_realty\|domclick\|domclick_exceptions\| avito_houses\) app/ scripts/ packages/ — только historical footnotes ("strangler-копия app.services.scrapers.X", past-tense "удалён/deleted"). Backend suite: 2811 passed, 6 skipped, 1 failed (known flake test_search_cache_hit #2208, не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 14:37:19 +03:00
lekss361	84716e61de	Merge pull request 'refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1)' (#2405) from chore/tradein-partE1-delete-scrape-pipeline into main	2026-07-04 11:09:39 +00:00
bot-backend	79a77200d7	refactor(tradein/scrapers): удалить legacy scrape_pipeline.py + тест-хирургия (#2397 Part E1) ... app.services.scrape_pipeline (3734 строк) имел 0 runtime-импортёров — Part C убрал последнего вызывающего (admin.py, scheduler_main.py уже на scraper_kit.orchestration.pipeline). Удаление: - backend/app/services/scrape_pipeline.py — удалён целиком Тесты (18 файлов, импортировавших scrape_pipeline): DELETE (чистая legacy-оркестрация, kit-эквивалент покрыт в test_scraper_kit_pipeline_parity{,2}.py): - test_scrape_pipeline.py, test_scrape_pipeline_proxy_pool.py (proxy-pool DB-lease вытеснен RealProxyProvider DI-адаптером, покрытым test_scraper_adapters_contracts.py) - test_anchor_watchdog.py, test_ban_rotation_1790.py, test_provider_rotation_1848.py - test_scraper_resilience_1949_1950.py, test_sweep_drain.py CONVERT (parity-сравнение убрано, kit-only regression оставлен/усилен): - test_scraper_kit_pipeline_parity.py, test_scraper_kit_pipeline_parity2.py — _drive_old убран, _drive_new стал единственной веткой; ассёрты на конкретные значения counters сохранены (это теперь основное regression-покрытие kit orchestration) - test_sweep_imv_phase.py — 6 IMV-phase тестов (enrich_imv true/false/no-touched/ crash/failed-counter/cancel) переведены на run_avito_city_sweep (kit) с DI (config/matcher/enrichment); enrichment.process_houses_imv_batch — инжектируемый Protocol-метод вместо прямого импорта app.services.house_imv_backfill PARTIAL-EDIT (легаси sweep-behavior вырезан, admin/kit-DI/несвязанные тесты оставлены): - test_city_sweep.py — только retarget 4 импортов на scraper_kit.orchestration.pipeline - test_cian_city_sweep.py, test_yandex_city_sweep.py — sweep-behavior секции удалены, admin endpoint тесты (уже kit-DI) + anchor-timeout/watchdog формулы (retarget import) оставлены - test_domclick_sweep.py — sweep-wiring тесты удалены, Counters + _map_item оставлены - test_avito_newbuilding_sweep.py — sweep-wiring тест #5 удалён, retarget NewbuildingSweepCounters - test_pipeline_browser_routing.py — 3 run_avito_pipeline теста удалены, browser-routing на уровне fetch_detail/fetch_house_catalog/AvitoScraper не тронут - test_scraper_proxy.py, tests/scrapers/test_avito_anti_bot.py — _avito_proxies() переведён на kit (DI-параметр вместо settings-patch); pipeline-level тесты удалены Stale-комментарии (scrape_pipeline.py как текущая реальность) поправлены в admin.py, avito_detail_backfill.py, house_imv_backfill.py, yandex_price_history.py, scrapers/avito_detail.py + kit-пакете (orchestration/__init__.py, orchestration /pipeline.py, providers/avito/detail.py — strangler завершён, легаси удалён). grep -rn scrape_pipeline app/ scripts/ packages/ — только past-tense упоминания ("удалён в Part E1", "перед его удалением") + один historical footnote (contracts.py:138, provenance-заметка "собраны grep'ом по ... .py"). Backend suite: 3088 passed, 6 skipped (известный flake test_search_cache_hit #2208 — не регрессия). ruff check чист на всех изменённых файлах.	2026-07-04 13:56:06 +03:00