diff --git a/tradein-mvp/backend/data/sql/299_msk_raw_cian_domclick_yandex_cards.sql b/tradein-mvp/backend/data/sql/299_msk_raw_cian_domclick_yandex_cards.sql index e0860579..d2b0f160 100644 --- a/tradein-mvp/backend/data/sql/299_msk_raw_cian_domclick_yandex_cards.sql +++ b/tradein-mvp/backend/data/sql/299_msk_raw_cian_domclick_yandex_cards.sql @@ -34,6 +34,53 @@ BEGIN; +-- Схема и две первые таблицы заводились на проде РУКАМИ 08.09, мимо линейки +-- миграций: сбор сырья стартовал раньше, чем модель данных, и msk_raw сознательно +-- жила вне приложения (её никто в проде не читает, переезжает одним +-- `pg_dump -n msk_raw`). Из-за этого миграция роняла CI на чистой базе — +-- «schema "msk_raw" does not exist», а до тестов дело не доходило вовсе. +-- +-- Поэтому DDL продовских объектов повторён здесь идемпотентно: на проде это +-- no-op (всё уже есть), на чистой базе — единственное место, где msk_raw +-- появляется. Определения сняты с прода `pg_dump -s -n msk_raw`, чтобы CI и +-- прод не разъехались молча; `batches` нужна и по существу — на неё ссылается +-- внешний ключ всех трёх таблиц ниже. +CREATE SCHEMA IF NOT EXISTS msk_raw; + +CREATE TABLE IF NOT EXISTS msk_raw.batches ( + batch_id text PRIMARY KEY, + kind text NOT NULL DEFAULT 'serp', + query text, + started_at timestamptz, + finished_at timestamptz, + rows_sent integer, + rows_new integer, + notes text, + uploaded_at timestamptz NOT NULL DEFAULT NOW() +); + +CREATE TABLE IF NOT EXISTS msk_raw.avito_cards ( + id bigserial PRIMARY KEY, + source_id bigint NOT NULL, + observed_at timestamptz NOT NULL, + batch_id text NOT NULL REFERENCES msk_raw.batches(batch_id), + kind text NOT NULL DEFAULT 'serp', + url text, + price numeric, + payload jsonb NOT NULL, + UNIQUE (source_id, batch_id, kind) +); +CREATE INDEX IF NOT EXISTS avito_cards_observed_idx + ON msk_raw.avito_cards (observed_at); +CREATE INDEX IF NOT EXISTS avito_cards_payload_gin + ON msk_raw.avito_cards USING gin (payload jsonb_path_ops); +CREATE INDEX IF NOT EXISTS avito_cards_source_observed_idx + ON msk_raw.avito_cards (source_id, observed_at DESC); + +CREATE OR REPLACE VIEW msk_raw.avito_latest AS +SELECT DISTINCT ON (source_id) id, source_id, observed_at, batch_id, kind, url, price, payload +FROM msk_raw.avito_cards ORDER BY source_id, observed_at DESC; + CREATE TABLE IF NOT EXISTS msk_raw.cian_cards ( id bigserial PRIMARY KEY, source_id bigint NOT NULL,