Wire app.services.matching в base.save_listings: после каждого INSERT,
resolve canonical house через match_or_create_house и register
(ext_source, ext_id) в listing_sources через upsert_listing_source.
Закрывает gap который оставлял listing_sources пустым (0 rows в проде)
при том что listings имеет 18k+ rows. Каждый scraped lot теперь создаёт/
обновляет listing_sources row и линкует к canonical houses — enabling
per-house price history и de-duplication через avito/cian/yandex/n1.
Implementation:
- save_listings RETURNING id добавлен (был только `(xmax = 0) AS inserted`)
- Новый helper _link_listing_to_house():
* match_or_create_house() для resolve canonical houses.id из address/lat/lon
(Tier 0–3 как у estimator.py)
* Использует lot.house_source/house_ext_id если scraper extract'нул
(Avito Houses Catalog, Cian newbuilding); fallback на (lot.source, ext_id)
* upsert_listing_source с method='source_link', confidence=1.0
- Fault-tolerant: try/except + db.begin_nested() SAVEPOINT
— match failure не abortит INSERT batch
- Idempotent: ON CONFLICT (ext_source, ext_id) UPDATE
- House-match failure отдельно handled — listing_sources всё равно upsert'ит
(без house_id) чтобы row для later backfill existed
- 4 UA strings помечены noqa: E501 (pre-existing, нельзя split)
Tests: 14 pass в test_base_save_listings.py:
- 6 existing updated (_get_execute_params reads call_args_list[0], _mock_db
returns id from RETURNING, autouse fixture патчит matching service)
- 8 new: RETURNING id, hook firing once, listing context passed, ON CONFLICT
path, failure non-abort, dedup_hash fallback, house-match failure path,
empty lots skip
- Wider 89 tests passing
Out of scope: backfill existing 18k listings (PR J) — для new scrapes
этот hook предотвратит regression.
Open Q для PR J: matching/listings.py Tier 2-3 references listings.house_id
но schema только house_id_fk. Backfill PR должен resolve canonical column.
Light1YT
613f576858