lekss361/gendesign
1
0
Fork 0
Code Issues 141 Pull requests Projects Releases Packages Wiki Activity Actions
gendesign/tradein-mvp/scripts
History
bot-backend c5186883a9 feat(msk-collector): Яндекс как третья площадка сбора по Москве 
rgid Москвы установлен эмпирически из разметки realty.yandex.ru и подтверждён
счётчиком офферов gate-API: 587795, вторичка 18 705 против 4 060 у ЕКБ (559132).
МО — 587654, Москва+МО — 741964, взят дефолтом по аналогии с region=-1 у Циана.

Адаптер повторяет контракт PlatformAdapter, но не тащит DOM-парсер: Яндекс
отдаёт SERP через gate-API, из кита берутся только чистые функции разбора
gate-payload. `YandexRealtyScraper` не создаётся вовсе — он существует ради
BrowserFetcher и пула прокси, а транспорт здесь прежний, вкладка Chrome
владельца по CDP. Chrome отдаёт gate-JSON текстом внутри <pre>, поэтому
экранирование разворачивается ДО json.loads, иначе описания приезжают битыми.

Два изменения общего кода, не косметические:
- `--target-count` стал платформо-зависимым (`PlatformAdapter.default_target`):
  1500 у Авито и Циана без изменений, 500 у Яндекса. У Яндекса потолок
  пагинации — 25 страниц по 20 офферов, то есть 500 на набор фильтров, втрое
  ниже соседей; цель коридора выше потолка означала бы, что каждый коридор
  штатно недобирается.
- `Sink.add` отсеивает `source_id` вне signed bigint: offerId Яндекса
  19-значный, выход за диапазон уронил бы `\copy` всего батча, а не одну строку.

Пробный прогон 100 загрузок при задержке 8 с: ни одного признака блока,
350 карточек в `msk_raw.yandex_cards`, координаты и адрес у 100%. В отличие от
Авито, геокод Яндексу не нужен.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01VQ8jqr4SFirX5tFLwdSrXh
2026-09-11 18:16:35 +03:00
..
local-avito-msk feat(msk-collector): Яндекс как третья площадка сбора по Москве 2026-09-11 18:16:35 +03:00
local-cian feat(tradein/scripts): local Playwright runners для Cian backfill (bypass server-IP anti-bot) (#553) 2026-05-24 20:00:59 +00:00
sql fix(#3376): первая точка — только по третьей точке истории; числа под критерием 2026-09-06 05:12:30 +05:00
backfill-yandex-addresses-ekb.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
backfill_001_address_fingerprints.py feat(tradein): Phase 1.3 backfill scripts — fingerprints + house/listing_sources (#475) 2026-05-23 14:29:39 +00:00
backfill_002_house_sources.sql feat(tradein): Phase 1.3 backfill scripts — fingerprints + house/listing_sources (#475) 2026-05-23 14:29:39 +00:00
backfill_003_listing_sources.sql feat(tradein): Phase 1.3 backfill scripts — fingerprints + house/listing_sources (#475) 2026-05-23 14:29:39 +00:00
browser-smoke.sh chore(tradein): browser-smoke.sh — verify tradein-browser /health + /fetch (#905) 2026-05-31 18:42:17 +03:00
cian_backfill_all.sh feat(tradein): houses.cian_zhk_url column + backfill (#568) (#627) 2026-05-28 13:57:43 +00:00
inspect-houses-html.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
inspect-search-html.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
probe-confidence-distribution.py feat(tradein-estimator): unique-address-based confidence threshold (#513) 2026-05-24 11:52:00 +00:00
probe-db-counts.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
probe-db-leak-full.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
probe-db-region-leak.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
probe-db-url-leak.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
probe-migration-028.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
probe-migration-status.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
README.md feat(tradein): Phase 1.3 backfill scripts — fingerprints + house/listing_sources (#475) 2026-05-23 14:29:39 +00:00
test-playwright.py feat(tradein-scripts): scrapers + probes + Phase C improvements (#551) 2026-05-24 19:58:38 +00:00
trigger-schedules.py chore(tradein): полное выключение источника n1 — миграция 165 + вычистка backend/ops (#2204) 2026-07-03 10:08:56 +03:00
upload-cian-cookies.sh fix(tradein): убрать require_admin полностью — Caddy basic_auth достаточен (#474) 2026-05-23 14:21:01 +00:00

README.md

tradein-mvp scripts -- backfill

One-shot manual operator scripts. NOT auto-applied by deploy.yml (which only runs tradein-mvp/backend/data/sql/NN_*.sql).

Order

Run in numbered sequence after PR #470 (matching module) merged:

cd tradein-mvp/backend
export DATABASE_URL="postgresql+psycopg://user:pass@host:5432/tradein"

# 001 -- backfill houses.address_fingerprint (Python, idempotent)
uv run python ../scripts/backfill_001_address_fingerprints.py

# 002 -- backfill house_sources link rows (SQL, idempotent)
psql "${DATABASE_URL/postgresql+psycopg/postgresql}" -f ../scripts/backfill_002_house_sources.sql

# 003 -- backfill listing_sources link rows (SQL, idempotent)
psql "${DATABASE_URL/postgresql+psycopg/postgresql}" -f ../scripts/backfill_003_listing_sources.sql

All scripts idempotent -- re-running is safe (ON CONFLICT DO NOTHING on the SQL; row-level UPDATE WHERE NULL on the Python).

Other scripts

  • upload-cian-cookies.sh -- one-shot Cian session cookie upload (see inline docs)