10 commits

Author	SHA1	Message	Date
bot-backend	3e30b97d6b	fix(tradein/yandex): снести признак «панорама» — его нет на площадке ... has_panorama разбирался, писался и обещался публичным контрактом market.v_houses, но положительных значений не имел ни одного: 0 true из 1536 страниц yandex_valuation за 24.05–12.08.2026 (false 1536, ключ отсутствует 0), houses — 12 непустых из 9468, все false. Соседний has_lift выглядел контрольной группой («текст читается, разбор работает»), но контролирует он только факт отрисовки страницы: "Лифт" in body_text ловит подстроку внутри отрицания, и на живой пятиэтажке 1977 г. со строкой «Лифт отсутствует» парсер отдаёт True. На проде 300 из 313 пятиэтажек «с лифтом». Гейт отрицания для has_lift — отдельной правкой, здесь не смешиваю. Живая проверка боевым трактом 13.08.2026 (curl_cffi impersonate=chrome120 + прод-прокси, RealScraperConfig + get_scraper_delay — ровно как estimator.py; только чтение, в БД не писал): три адреса Екатеринбурга, все HTTP 200, полный HTML ~1.19 МБ каждый. Вхождений «анорам» без учёта регистра — 0/0/0, равно как panorama / 3D-тур / Виртуальн / Street. Мета при этом разобралась целиком (1974/9эт/панель/2,50/46 объектов; 2020/18эт; 1977/5эт/кирпич/184 объекта). Метка не «переехала» в атрибут или JSON-стейт — её нет в документе вовсе. Это третий вид нуля: не «уже починено» и не «заблокировано выше по потоку», а НЕПРИМЕНИМО к предметной области. Ноль был механически гарантирован самим кодом — поиск подстроки по тексту, где такого слова не бывает, — и о доме не говорил ничего. Цена: снос ломает публичный контракт market.v_houses (мигр. 154 прямо называет удаление колонки ломающим изменением). Принято осознанно — читателей вне tradein-mvp нет (git grep пуст, в т.ч. newbuilding_crossload.py). CREATE OR REPLACE VIEW колонку не удаляет, поэтому DROP VIEW → DROP COLUMN → CREATE VIEW, и вместе с DROP VIEW теряются гранты: GRANT SELECT для gendesign_reader восстановлен явно. Оговорка честности: сырой HTML прошлых сборов не хранится (raw_payload держит только body_len/items_count), поэтому «метка была и исчезла в мае» доказательно не опровергается — но и в измеренной истории 1536 страниц положительных ноль. Refs #2674	2026-08-13 01:04:18 +05:00
bot-backend	59c072fc4c	chore(tradein): удалить мёртвые mobileproxy env-переменные и rotate-ip (#2616 шаги 2-3) (#2650)	2026-08-05 09:35:54 +00:00
bot-backend	a9b87aa311	chore(tradein/scraper-kit): удалить 5 orphaned legacy-модулей (#2277 финальный шаг, частичный) ... Удалены (0 runtime importers в app/, scripts/, packages/; проверено grep'ом, включая intra-legacy импорты в оставшихся 21 legacy-модуле scrapers/): - backend/app/services/scrapers/avito_imv.py - backend/app/services/scrapers/domclick_detail.py - backend/app/services/scrapers/ekb_geoportal_client.py - backend/app/services/scrapers/yandex_detail.py - backend/app/services/scrapers/yandex_valuation.py Тесты — удалены (pure legacy-vs-kit parity, kit-only coverage уже есть в другом месте): - tests/scrapers/test_ekb_geoportal_client_kit_parity.py - tests/scrapers/test_domclick_detail_kit_parity.py Тесты — конвертированы в kit-only (импорт легаси заменён на scraper_kit.*, покрытие сохранено без потерь): - tests/scrapers/test_avito_imv_kit_parity.py (parity-тесты убраны, config-footgun regression на kit-стороне оставлен) - tests/scrapers/test_avito_imv_browser_transport.py - tests/scrapers/test_yandex_valuation_kit_migration.py (parity убрана, footgun- регрессия mandatory config/delay_provider оставлена) - tests/scrapers/test_domclick_detail.py (+ exceptions переведены на scraper_kit.domclick_exceptions, т.к. kit parse_detail_html поднимает их) - tests/test_avito_imv_parse.py - tests/test_ekb_geoportal_ingest.py (client-часть; ingest/geocoder-часть не трогали — не зависят от удалённого модуля) - tests/test_yandex_detail.py - tests/test_yandex_detail_structural.py - tests/test_yandex_valuation.py (YandexValuationScraper() → config=_KIT_CONFIG, kit конструктор требует обязательный config) - tests/test_yandex_valuation_save.py - tests/test_extval_house_id_write_path.py (только yandex_valuation-часть; cian_valuation остался нетронутым — живой легаси-модуль) - tests/test_yandex_history_area_filter.py Тесты — частично отредактированы (убраны только части про удалённые модули, живые легаси-модули/их parity не тронуты): - tests/scrapers/test_admin_domclick_ingest_kit_parity.py (base.py/ScrapedLot parity остался) - tests/scrapers/test_admin_yandex_kit_parity.py (yandex_realty parity остался) - tests/scrapers/test_admin_avito_kit_parity.py (avito.py/avito_houses.py parity остался; _parse_price parity убран) - tests/scrapers/test_avito_unix_date_tz_consistency.py (IMV-ветка переведена на kit avito.imv, легаси avito/avito_houses/avito_shared/avito_detail не тронуты) - tests/tasks/test_yandex_detail_backfill.py (subject — kit-задача, уже вызывает scraper_kit.providers.yandex.detail; save_detail_enrichment coverage-тесты внизу файла переведены на kit) - tests/test_scraper_kit_yandex_golden_parity.py (detail/valuation parity убраны; serp/newbuilding/house_type_normalizer/build_url для yandex_realty/ yandex_newbuilding не тронуты) - tests/test_scraper_proxy.py (YandexValuation proxy-тесты переведены на kit config= DI; test_avito_imv_own_session_receives_proxies удалён — дублирует test_avito_imv_kit_parity.py footgun-тесты) - tests/test_yandex_scrapers_delay_wiring.py (yandex_detail/yandex_valuation → kit delay_provider=; yandex_realty/yandex_newbuilding не тронуты) - tests/test_scraper_kit_group_c_backfill_kit_parity.py (docstring уточнение, без функциональных изменений) Полный backend-suite зелёный (3253 passed, 6 skipped) кроме известного pre-existing flake test_search_api.py::test_search_cache_hit (#2208, не регрессия этого PR). ruff check + ruff format — чисто на всех изменённых файлах.	2026-07-04 10:41:46 +03:00
lekss361	6bbb026cb4	fix(yandex-valuation): off-by-one cell index in _parse_row_cells (#552)	2026-05-24 19:57:17 +00:00
lekss361	8a88ea6508	refactor(yandex-valuation): DOM-based parser via .OffersArchiveSearchOffers__row (#544)	2026-05-24 16:25:56 +00:00
lekss361	3ed58e3e7a	fix(yandex-valuation): relax area regex lookbehind (2-комн regression) (#542)	2026-05-24 16:02:06 +00:00
lekss361	490bc8ca5d	fix(yandex-valuation): tighten area regex + chronological date ordering (#541)	2026-05-24 15:37:48 +00:00
lekss361	9505471129	fix(yandex-valuation): cap area_m2 sanity (drop >10000 or ≤0) (#538)	2026-05-24 15:14:13 +00:00
lekss361	7ef4e91e50	fix(yandex-valuation): parse removed_date, fix total_floors regex, normalize NBSP (#526)	2026-05-24 14:12:16 +00:00
lekss361	7056ecb23b	feat(tradein): yandex_valuation.py — anonymous house-history scraper (#468)	2026-05-23 13:46:20 +00:00