feat(tradein): hook matching в save_listings — fill listing_sources (PR I) #595

Merged
Light1YT merged 1 commit from feat/tradein-hook-listing-matching into main 2026-05-27 10:02:38 +00:00

1 commit

Author SHA1 Message Date
613f576858 feat(tradein): hook matching service в save_listings — fill listing_sources
Wire app.services.matching в base.save_listings: после каждого INSERT,
resolve canonical house через match_or_create_house и register
(ext_source, ext_id) в listing_sources через upsert_listing_source.

Закрывает gap который оставлял listing_sources пустым (0 rows в проде)
при том что listings имеет 18k+ rows. Каждый scraped lot теперь создаёт/
обновляет listing_sources row и линкует к canonical houses — enabling
per-house price history и de-duplication через avito/cian/yandex/n1.

Implementation:
- save_listings RETURNING id добавлен (был только `(xmax = 0) AS inserted`)
- Новый helper _link_listing_to_house():
  * match_or_create_house() для resolve canonical houses.id из address/lat/lon
    (Tier 0–3 как у estimator.py)
  * Использует lot.house_source/house_ext_id если scraper extract'нул
    (Avito Houses Catalog, Cian newbuilding); fallback на (lot.source, ext_id)
  * upsert_listing_source с method='source_link', confidence=1.0
- Fault-tolerant: try/except + db.begin_nested() SAVEPOINT
  — match failure не abortит INSERT batch
- Idempotent: ON CONFLICT (ext_source, ext_id) UPDATE
- House-match failure отдельно handled — listing_sources всё равно upsert'ит
  (без house_id) чтобы row для later backfill existed
- 4 UA strings помечены noqa: E501 (pre-existing, нельзя split)

Tests: 14 pass в test_base_save_listings.py:
- 6 existing updated (_get_execute_params reads call_args_list[0], _mock_db
  returns id from RETURNING, autouse fixture патчит matching service)
- 8 new: RETURNING id, hook firing once, listing context passed, ON CONFLICT
  path, failure non-abort, dedup_hash fallback, house-match failure path,
  empty lots skip
- Wider 89 tests passing

Out of scope: backfill existing 18k listings (PR J) — для new scrapes
этот hook предотвратит regression.

Open Q для PR J: matching/listings.py Tier 2-3 references listings.house_id
но schema только house_id_fk. Backfill PR должен resolve canonical column.
2026-05-27 15:02:10 +05:00