feat(sql): corroborated trgm backfill objective_complex_mapping +17 (#307 OBJ-2 r2) (#1333)

data/sql/156_objective_mapping_corroborated_v4.sql

@@ -0,0 +1,270 @@
+-- 156_objective_mapping_corroborated_v4.sql
+-- Issue #307 OBJ-2 — РАУНД-2: КОРРОБОРИРОВАННЫЙ fuzzy (pg_trgm) backfill of
+-- objective_complex_mapping. Четвёртый проход (после 116/150/155). 155 (v3) был
+-- НАМЕРЕННО строгим: только near-exact distinctive-name матчи (nsim=1.000, +23).
+-- v4 безопасно добирает СРЕДНИЙ band (nsim 0.50-0.85), где имя одно не дотягивает
+-- до уверенности, но КОРРОБОРАЦИЯ застройщиком/районом добивает precision до ≈1.0.
+--
+-- CONTEXT
+--   objective_complex_mapping связывает Objective-ЖК (objective_complex_name) →
+--   domrf_kn_objects.obj_id. До этой миграции — 286 строк (group='Екатеринбург';
+--   match_method fuzzy/auto_fuzzy_v2/auto_trgm_v3/multi_feature_v1/manual; все
+--   is_reviewed=false кроме 2 manual). Verified prod 2026-06-14: 286/286/286
+--   (total/ekb/with_obj). 155 применён (_schema_migrations).
+--
+--   mv_layout_velocity JOIN-ит objective_corpus_room_month.project_name =
+--   objective_complex_mapping.objective_complex_name WHERE objective_group=
+--   'Екатеринбург' AND domrf_obj_id IS NOT NULL. Unique-ключ матчинга — имя
+--   (project_name), не project_id: новые строки с этим именем + group='Екатеринбург'
+--   немедленно расширяют MV. Дедуп по project_name (как 150/155).
+--
+-- НОРМАЛИЗАЦИЯ (идентична 150/155): strip ЖК-boilerplate ('Жилой комплекс/квартал/
+--   район/дом','Клубный дом','Микрорайон','Квартал','ЖК','Дом'…), кавычки,
+--   stage-суффиксы ('N этап/очередь') ДО similarity. Strip-токены по word-boundary
+--   (\m…\M), чтобы не резать середину ('Домино'→'ино'). Dev нормализуется (strip
+--   юр.префиксов СЗ/ГК/ООО/Девелопмент/Development/Group…).
+--
+-- КОРРОБОРАЦИЯ (РАСШИРЕНА vs 155): три независимых сигнала равенства застройщика —
+--     dsim   = trigram(norm dev) OR substring-containment        (как 150/155)
+--     dev_tok = ОБЩИЙ distinctive dev-токен длиной ≥4 после нормализации
+--     dm     = район Objective точно совпал с district_name DOM.РФ
+--   corroborated = (dsim >= 0.6) OR dev_tok OR (dm = 1)
+--   ПОЧЕМУ dev_tok: trigram/substring НЕ ловит аббревиатуру-vs-расшифровку. Реальный
+--   кейс — «АСЦ Правобережный» (Objective) vs «Архитектурно-строительный центр
+--   Правобережный» (DOM.РФ): dsim=0.326 (<0.6), substring fail, НО общий distinctive
+--   токен 'правобережный' (len 12) → тот же застройщик. Задача явно зовёт
+--   «Мкр. Центральный»→obj 47127 (АСЦ Правобережный, almost-certainly true);
+--   dev_tok ловит его И структурно-идентичный «Мкр. Садовый»→obj 35542 через ОДНО
+--   общее правило, а не hardcoded obj_id. (Калибровка prod read-only 2026-06-14:
+--   dev_tok НЕ добавил ни одного FP в band'е — он только разрешает abbreviation
+--   кейсы; все остальные 0.50-0.85 уже имели dsim=1.0 или district.)
+--
+-- ПРАВИЛО ПРИЁМКИ v4 — PRECISION OVER RECALL (P0: ложный mapping напрямую портит
+--   velocity/prices, держим precision≈1.0 на авто-наборе):
+--     accept = nsim >= 0.50 AND nsim <= 0.85 AND corroborated
+--   Band <0.50 НЕ берём (низкоконфидентный хвост). Band >0.85 здесь НЕ берём —
+--   он покрыт 155 (distinctive) либо остаётся generic-guarded (см. ниже). Этот
+--   проход — РОВНО средний band, где корроборация необходима и достаточна.
+--
+--   GENERIC-GUARDED (6 имён из v3): «Солнечный»,«Прекрасный»,«Невский»,«Стрелки»,
+--   «Жилой квартал Парковый»(→'парковый'),«Тихий центр». В band'е 1.0 они дают
+--   FP (одинаковое generic-имя, РАЗНЫЙ застройщик). Задача: принять ТОЛЬКО если
+--   developer корроборирует. ПРОВЕРЕНО (prod 2026-06-14): у ВСЕХ шести dsim=0,
+--   dev_tok=false, district НЕ совпал — застройщики реально РАЗНЫЕ (НКС vs Астра;
+--   Вавилон vs PRINZIP; Синара vs Актив; Вавилон vs Аркада; СКОН vs Фортис;
+--   Клевер vs Астра). Корроборации НЕТ → НИ ОДИН не принят. Guard держит; они
+--   остаются на manual. (Дополнительно их nsim=1.000 вне band'а 0.50-0.85, так что
+--   они и так не попали бы в accept — двойная защита.)
+--
+-- COLLISION HANDLING
+--   1. Лучший domrf-obj на каждый objective project: DISTINCT ON (project_name)
+--      по nsim DESC, dsim DESC, obj_id.
+--   2. Один obj_id ≤ один objective project: ROW_NUMBER per obj_id
+--      ORDER BY corroborated DESC, nsim DESC, project_name.
+--   3. obj_id, уже занятые существующими 286 mapping (incl. 155), исключаются.
+--   Реальные коллизии, отсечённые guard'ом (prod 2026-06-14):
+--     • obj 58129 «Толк Академический» (уже в mapping) — на него целятся ТРИ
+--       разных Objective-проекта «Близкий/Eleven/Школьный (Академический)» лишь
+--       по district=Академический (dsim=0). Это РАЗНЫЕ дома в районе, не «Толк».
+--       obj_id-taken-guard убирает все три. (Урок: district-only корроборация в
+--       плотном районе шумит — но taken-guard + dedup её гасят.)
+--     • obj 31874 «Рио» (уже в mapping, 150) — «Рио-3» это ФАЗА того же ЖК,
+--       dsim=1.0 Стройтэк, но obj_id занят → исключён.
+--
+-- РЕЗУЛЬТАТ (verified prod, BEGIN…ROLLBACK 2026-06-14, snapshot 2026-06-10):
+--   17 новых mapping (nsim 0.500-0.750, ВСЕ корроборированы dev/dev_tok/district,
+--   ВСЕ obj_id свободны). is_reviewed=FALSE. После: 286 → 303.
+--   Из 133 unmapped имён остаётся 116 на manual (Anton):
+--     • 19 без кандидата в DOM.РФ (города-спутники / нет ПД)
+--     • 6 generic-guarded near-exact (застройщик НЕ подтвердил)
+--     •  4 in-band corroborated, но obj_id уже занят (Близкий/Eleven/Школьный→58129,
+--        Рио-3→31874 — фазы/соседи уже-сматченных)
+--     • 16 in-band БЕЗ корроборации (другой застройщик, район не совпал)
+--     • 71 nsim<0.50 низкоконфидентный хвост
+--   Честно: Objective шире DOM.РФ (сателлиты, проекты без объявленной ПД) — 100%
+--   автоматом недостижимо by design; хвост — ручная разметка.
+--
+-- ПОЧЕМУ ОТДЕЛЬНЫЙ ПРОХОД, А НЕ ПЕРЕДЕЛКА 155
+--   150 и 155 уже на prod (_schema_migrations, auto-apply once) — переписывать
+--   нельзя. 156 — аддитивный: только INSERT новых имён, НИКАКИХ DROP/UPDATE
+--   существующих 286 строк.
+--
+-- DEPENDENCIES: objective_lots, objective_complex_mapping, domrf_kn_objects,
+--   pg_trgm (1.6), mv_layout_velocity (UNIQUE pk mv_layout_velocity_pk на
+--   (obj_id, room_bucket) → REFRESH CONCURRENTLY валиден). GIN trgm индекс на
+--   domrf_kn_objects.comm_name создан в 155 (idx_domrf_kn_objects_comm_name_gin_trgm).
+--   Сам backfill использует similarity()>порог в CTE-join (не %-оператор), что НЕ
+--   триггерит trgm-индекс — но это one-shot Nested Loop (~4 s, как 150/155),
+--   приемлемо.
+-- DEPLOY: auto-applied by deploy.yml через _schema_migrations (ровно один раз по NN).
+--   Применяется ДО compose up -d. ORDER: schema/data first → backend deploy second.
+-- IDEMPOTENT: ON CONFLICT (objective_complex_name, objective_group) DO NOTHING.
+--   Re-apply добавит 0 строк (verified BEGIN/INSERT x2/ROLLBACK на prod:
+--   INSERT 0 17, затем INSERT 0 0).
+
+BEGIN;
+
+WITH
+-- 1. Latest DOM.РФ snapshot, регион 66 (Свердловская обл / ЕКБ-агломерация).
+latest AS (
+    SELECT max(snapshot_date) AS sd FROM domrf_kn_objects
+),
+domrf AS (
+    SELECT DISTINCT ON (o.obj_id)
+        o.obj_id,
+        o.comm_name,
+        o.dev_name,
+        o.district_name,
+        -- \m…\M = PG word boundaries → токены матчатся как ЦЕЛЫЕ слова, не подстроки.
+        btrim(regexp_replace(
+            regexp_replace(
+                regexp_replace(lower(coalesce(o.comm_name, '')),
+                    '\m(жилой комплекс|жилой квартал|жилой район|жилой дом|жилые башни|жилые кварталы|клубный дом|концепт-проект|семейный квартал|микрорайон|квартал|паркинг|жк|жр|жд|дом)\M',
+                    ' ', 'g'),
+                '\d+(\.\d+)?\s*(этап|очередь)', ' ', 'g'),
+            '[«»"''.,()\-]+', ' ', 'g')) AS name_norm,
+        btrim(regexp_replace(
+            regexp_replace(lower(coalesce(o.dev_name, '')),
+                '(специализированный застройщик|сз|ооо|оао|зао|пао|ао|гк|группа|холдинг|ск|жск|фонд|девелопмент|девелопер[а-я]*|development|group|developm[a-z]*)',
+                ' ', 'g'),
+            '[«»"''.,()\-]+', ' ', 'g')) AS dev_norm
+    FROM domrf_kn_objects o
+    WHERE o.snapshot_date = (SELECT sd FROM latest)
+      AND o.region_cd = 66
+      AND o.comm_name IS NOT NULL
+    ORDER BY o.obj_id
+),
+-- 2. Distinct Objective projects (один ряд на project_name; dominant dev/district),
+--    исключая уже сматченные в group='Екатеринбург'.
+obj AS (
+    SELECT
+        l.project_name,
+        mode() WITHIN GROUP (ORDER BY l.developer) AS developer,
+        mode() WITHIN GROUP (ORDER BY l.district)  AS district,
+        max(l.objective_project_id)                AS objective_project_id
+    FROM objective_lots l
+    WHERE l.project_name IS NOT NULL
+    GROUP BY l.project_name
+),
+obj_unmapped AS (
+    SELECT
+        o.*,
+        btrim(regexp_replace(
+            regexp_replace(
+                regexp_replace(lower(coalesce(o.project_name, '')),
+                    '\m(жилой комплекс|жилой квартал|жилой район|жилой дом|жилые башни|жилые кварталы|клубный дом|концепт-проект|семейный квартал|микрорайон|квартал|паркинг|жк|жр|жд|дом)\M',
+                    ' ', 'g'),
+                '\d+(\.\d+)?\s*(этап|очередь)', ' ', 'g'),
+            '[«»"''.,()\-]+', ' ', 'g')) AS name_norm,
+        btrim(regexp_replace(
+            regexp_replace(lower(coalesce(o.developer, '')),
+                '(специализированный застройщик|сз|ооо|оао|зао|пао|ао|гк|группа|холдинг|ск|жск|фонд|девелопмент|девелопер[а-я]*|development|group|developm[a-z]*)',
+                ' ', 'g'),
+            '[«»"''.,()\-]+', ' ', 'g')) AS dev_norm
+    FROM obj o
+    WHERE NOT EXISTS (
+        SELECT 1 FROM objective_complex_mapping m
+        WHERE m.objective_complex_name = o.project_name
+          AND m.objective_group = 'Екатеринбург'
+    )
+),
+-- 3. Best DOM.РФ candidate per objective project (нормализованный trigram).
+pairs AS (
+    SELECT
+        u.project_name,
+        u.developer        AS obj_dev,
+        u.district         AS obj_district,
+        u.objective_project_id,
+        d.obj_id,
+        d.comm_name,
+        d.dev_name         AS domrf_dev,
+        d.district_name    AS domrf_district,
+        similarity(u.name_norm, d.name_norm) AS nsim,
+        GREATEST(
+            similarity(u.dev_norm, d.dev_norm),
+            (char_length(btrim(u.dev_norm)) > 2
+             AND char_length(btrim(d.dev_norm)) > 2
+             AND (u.dev_norm ILIKE '%' || d.dev_norm || '%'
+                  OR d.dev_norm ILIKE '%' || u.dev_norm || '%'))::int::double precision
+        ) AS dsim,
+        -- ОБЩИЙ distinctive dev-токен (len>=4): ловит аббревиатуру-vs-расшифровку
+        -- (АСЦ Правобережный ↔ Архитектурно-строительный центр Правобережный).
+        EXISTS (
+            SELECT 1 FROM (
+                SELECT unnest(regexp_split_to_array(btrim(regexp_replace(u.dev_norm, '\s+', ' ', 'g')), ' ')) AS t
+                INTERSECT
+                SELECT unnest(regexp_split_to_array(btrim(regexp_replace(d.dev_norm, '\s+', ' ', 'g')), ' ')) AS t
+            ) x
+            WHERE char_length(t) >= 4
+        ) AS dev_tok_shared,
+        (u.district IS NOT NULL AND d.district_name IS NOT NULL
+         AND lower(btrim(u.district)) = lower(btrim(d.district_name)))::int AS district_match
+    FROM obj_unmapped u
+    JOIN domrf d
+      ON similarity(u.name_norm, d.name_norm) > 0.2      -- prefilter
+),
+best_per_proj AS (
+    SELECT DISTINCT ON (project_name) *
+    FROM pairs
+    ORDER BY project_name, nsim DESC, dsim DESC, obj_id
+),
+classified AS (
+    SELECT
+        b.*,
+        (b.dsim >= 0.6 OR b.dev_tok_shared OR b.district_match = 1) AS corroborated
+    FROM best_per_proj b
+),
+accepted AS (
+    SELECT *
+    FROM (
+        SELECT
+            c.*,
+            ROW_NUMBER() OVER (
+                PARTITION BY c.obj_id
+                ORDER BY c.corroborated DESC, c.nsim DESC, c.project_name
+            ) AS rn_obj
+        FROM classified c
+        WHERE c.nsim >= 0.50 AND c.nsim <= 0.85       -- ровно средний band
+          AND c.corroborated                           -- обязательная корроборация
+          AND c.obj_id NOT IN (
+              SELECT domrf_obj_id FROM objective_complex_mapping
+              WHERE domrf_obj_id IS NOT NULL
+          )
+    ) s
+    WHERE s.rn_obj = 1
+)
+INSERT INTO objective_complex_mapping
+    (objective_complex_name, objective_project_id, objective_group,
+     domrf_obj_id, is_reviewed, match_method, match_score, note)
+SELECT
+    a.project_name,
+    a.objective_project_id,
+    'Екатеринбург',
+    a.obj_id,
+    FALSE,                       -- ВСЕ авто-матчи на ручной review (Anton)
+    'auto_trgm_corroborated_v4',
+    round(a.nsim::numeric, 3),
+    'OBJ-2 corroborated trgm backfill #307 (round-2)'
+        || ' | nsim=' || round(a.nsim::numeric, 3)
+        || ' dsim=' || round(a.dsim::numeric, 3)
+        || ' corrob=' || CASE
+               WHEN a.dsim >= 0.6 THEN 'dev'
+               WHEN a.dev_tok_shared THEN 'dev_token'
+               WHEN a.district_match = 1 THEN 'district'
+               ELSE '?'
+           END
+        || ' | domrf="' || coalesce(a.comm_name, '') || '"'
+        || ' dev_obj="' || coalesce(a.obj_dev, '') || '"'
+        || ' dev_domrf="' || coalesce(a.domrf_dev, '') || '"'
+FROM accepted a
+ON CONFLICT (objective_complex_name, objective_group) DO NOTHING;
+
+COMMIT;
+
+-- REFRESH ВНЕ транзакции (после COMMIT): CONCURRENTLY требует non-tx-блок и
+-- UNIQUE index (mv_layout_velocity_pk на (obj_id, room_bucket) существует), не
+-- блокирует читателей. MV уже populated → CONCURRENTLY безопасен. deploy.yml
+-- прогоняет файл через `psql < file` без --single-transaction, поэтому COMMIT
+-- выше закрывает txn и этот стейтмент исполняется в собственной транзакции
+-- (тот же приём, что в 150/155).
+REFRESH MATERIALIZED VIEW CONCURRENTLY mv_layout_velocity;