542ff1c9ca
Оба места утверждали, что у Домклика один выделенный резидентный прокси и пула нет. Это перестало быть правдой ещё в #2800 (миграция 253 сняла резервацию узла), но текст остался — и именно на него опирался тикет #3189, поставленный под «калибровку» ограничения, которого не существует. Свип к тому же ходит через пул давно (serp.py:359), а бэкфилл подключён к нему в PR #3222. Заодно докстринг называл не тот ограничитель: свип кладёт не счётчик провалов lease, а break по первому DomClickBlockedError (#2854) — до ротации дело не доходит ни при каком счётчике, отсюда buckets_completed=0. Только комментарии, поведение не меняется. Миграция 175 уже применена, а _schema_migrations трекает по имени файла без checksum — правка текста её не перезапустит.
18 lines
1 KiB
SQL
18 lines
1 KiB
SQL
-- DOM.RF analytics raw API endpoint snapshots.
|
|
-- Universal JSONB store: one row per (snapshot_date, section, endpoint).
|
|
-- Section = page name on наш.дом.рф (launch / share_construction / escrow / ...).
|
|
-- Endpoint = sanitized path+query of /api/* call.
|
|
|
|
CREATE TABLE IF NOT EXISTS domrf_raw_endpoints (
|
|
snapshot_date DATE NOT NULL,
|
|
section TEXT NOT NULL, -- 'launch' | 'sold_ready' | 'quartirografia' | ...
|
|
endpoint TEXT NOT NULL, -- 'launch_developers_app__calculationType_SQUARE_repYear_2026_size_1000'
|
|
source_url TEXT, -- inferred original URL (best effort)
|
|
payload JSONB NOT NULL,
|
|
payload_size INT, -- bytes (raw text length)
|
|
fetched_at TIMESTAMPTZ NOT NULL DEFAULT NOW(),
|
|
PRIMARY KEY (snapshot_date, section, endpoint)
|
|
);
|
|
|
|
CREATE INDEX IF NOT EXISTS idx_domrf_raw_section ON domrf_raw_endpoints (section);
|
|
CREATE INDEX IF NOT EXISTS idx_domrf_raw_payload_gin ON domrf_raw_endpoints USING GIN (payload);
|