Stage 2a: ПКК Rosreestr парсер + sales_tracker для шахматок #7

New issue

Closed

opened 2026-04-26 11:25:11 +00:00 by lekss361 · 2 comments

lekss361 commented

2026-04-26 11:25:11 +00:00

(Migrated from github.com)

Парсер ПКК (Person A):

app/services/site_finder/parser.py: httpx async, retries, rate-limit
Модель Parcel с GeoAlchemy2 (geometry + cadastral_number + vri + area + address)
Загрузка ≥1000 участков Екатеринбурга
Celery task daily_pkk_sync для регулярного обновления
Alembic-миграция (использовать make migration NAME=add_parcel_table)

Sales tracker (Person B):

app/workers/sales_tracker.py: воркер для шахматок застройщиков
Адаптеры на топ-7 застройщиков Екбурга: Атомстройкомплекс, Брусника, ТЭН-Девелопмент, Стройтэк, Прогресс, УГМК-Застройщик, Кортрос
Schema: apartments(jk_id, room_count, area_sqm, price_rub, status, last_seen_at) + sales_history
SPA-сайты — Playwright; SSR — httpx + BS4
Cron 1×сутки

Параллельно:

Overpass API для POI вокруг участков (метро, школы, больницы)
ДОМ.РФ API для цен м² по районам
Кеш в Redis (TTL 24 ч)

Acceptance:

В БД ≥1000 участков Екбурга с реальной геометрией
sales_tracker гонит дневной снэпшот шахматок 5+ застройщиков
Overpass POI кешируются в Redis

Связанные: SalesTracking_Strategy_Apr25, DataSources_Pricing_Apr25.

**Парсер ПКК (Person A):** - `app/services/site_finder/parser.py`: httpx async, retries, rate-limit - Модель `Parcel` с GeoAlchemy2 (geometry + cadastral_number + vri + area + address) - Загрузка ≥1000 участков Екатеринбурга - Celery task `daily_pkk_sync` для регулярного обновления - Alembic-миграция (использовать `make migration NAME=add_parcel_table`) **Sales tracker (Person B):** - `app/workers/sales_tracker.py`: воркер для шахматок застройщиков - Адаптеры на топ-7 застройщиков Екбурга: Атомстройкомплекс, Брусника, ТЭН-Девелопмент, Стройтэк, Прогресс, УГМК-Застройщик, Кортрос - Schema: `apartments(jk_id, room_count, area_sqm, price_rub, status, last_seen_at)` + `sales_history` - SPA-сайты — Playwright; SSR — httpx + BS4 - Cron 1×сутки **Параллельно:** - Overpass API для POI вокруг участков (метро, школы, больницы) - ДОМ.РФ API для цен м² по районам - Кеш в Redis (TTL 24 ч) **Acceptance:** - [ ] В БД ≥1000 участков Екбурга с реальной геометрией - [ ] sales_tracker гонит дневной снэпшот шахматок 5+ застройщиков - [ ] Overpass POI кешируются в Redis Связанные: `SalesTracking_Strategy_Apr25`, `DataSources_Pricing_Apr25`.

lekss361 commented

2026-05-11 20:19:56 +00:00

(Migrated from github.com)

Reference: Часть scope этого мета-issue теперь покрыта в новом milestone Site Finder v4 — scoring quality:

ПКК / NSPD парсер для cad_parcels → #51 (массовый импорт cad_parcels_geom через существующую NSPD infra)
ПЗЗ / ВРИ data → #28, #29, #30 (Gate-эшелон)
Price ground truth из ДДУ → #33 (D1 — mv_quarter_price_per_m2 из 6.83M rosreestr_deals)
Velocity из sale_graph → #34 (D2)

Остаётся уникальным в этом issue: sales_tracker для шахматок 7 застройщиков (Атомстрой, Брусника, ТЭН, Стройтек, Прогресс, УГМК, КОРТРОС) — это data moat, не покрытый ничем другим. Связанные B2B-вопросы → #52.

Не закрываем — оставляем как отдельный data-moat track.

**Reference:** Часть scope этого мета-issue теперь покрыта в новом milestone **Site Finder v4 — scoring quality**: - **ПКК / NSPD парсер для cad_parcels** → #51 (массовый импорт cad_parcels_geom через существующую NSPD infra) - **ПЗЗ / ВРИ data** → #28, #29, #30 (Gate-эшелон) - **Price ground truth из ДДУ** → #33 (D1 — `mv_quarter_price_per_m2` из 6.83M rosreestr_deals) - **Velocity из sale_graph** → #34 (D2) **Остаётся уникальным в этом issue:** `sales_tracker` для шахматок 7 застройщиков (Атомстрой, Брусника, ТЭН, Стройтек, Прогресс, УГМК, КОРТРОС) — это data moat, не покрытый ничем другим. Связанные B2B-вопросы → #52. Не закрываем — оставляем как отдельный data-moat track.

lekss361 commented

2026-05-16 17:31:31 +00:00

Owner

Status update — ПКК Rosreestr парсер substantially done через bulk cadastre (#168) и job cadastre_ekb_full #20: 39 287 parcels + 37 624 buildings ЕКБ через NSPD bulk API.

Acceptance «≥1000 участков Екбурга с реальной геометрией» перевыполнен ~38× (38 355 с geom через cad_parcels_geom).

Что остаётся:

Sales tracker для шахматок топ-7 застройщиков ЕКБ — НЕ реализован (нет таблиц apartments / sales_history, нет адаптеров для Атомстройкомплекс/Брусника/ТЭН/etc)
Sales tracker — это data moat задача, B2B coordination через #52/#53

POI/Overpass + ДОМ.РФ кеши работают.

Можно reformulate issue: ПКК часть закрыта, sales_tracker — отдельная задача. Issue остаётся валидным для sales_tracker.

Status update — ПКК Rosreestr парсер substantially done через bulk cadastre (#168) и job `cadastre_ekb_full` #20: 39 287 parcels + 37 624 buildings ЕКБ через NSPD bulk API. Acceptance «≥1000 участков Екбурга с реальной геометрией» перевыполнен ~38× (38 355 с geom через `cad_parcels_geom`). **Что остаётся:** - Sales tracker для шахматок топ-7 застройщиков ЕКБ — НЕ реализован (нет таблиц `apartments` / `sales_history`, нет адаптеров для Атомстройкомплекс/Брусника/ТЭН/etc) - Sales tracker — это data moat задача, B2B coordination через #52/#53 POI/Overpass + ДОМ.РФ кеши работают. Можно reformulate issue: ПКК часть закрыта, sales_tracker — отдельная задача. Issue остаётся валидным для sales_tracker.

Rows
Columns