fix(sf-17): rosreestr velocity fallback via cad_quarter (~100% EKB coverage) #289
4 changed files with 195 additions and 33 deletions
|
|
@ -2100,10 +2100,18 @@ def analyze_parcel(
|
|||
# SAVEPOINT защищает outer transaction если velocity SQL падает —
|
||||
# иначе следующие queries (_geotech_risk и пр.) крашатся
|
||||
# с InFailedSqlTransaction.
|
||||
# SF#17: передаём cad_quarter для rosreestr_fallback (первые 3 сегмента cad_num).
|
||||
_cad_parts = cad_num.split(":")
|
||||
_cad_quarter = ":".join(_cad_parts[:3]) if len(_cad_parts) >= 3 else None
|
||||
velocity_data: dict[str, Any] | None = None
|
||||
try:
|
||||
with db.begin_nested():
|
||||
v_result = compute_velocity(db, parcel_geom_wkt=geom_wkt, radius_km=3.0)
|
||||
v_result = compute_velocity(
|
||||
db,
|
||||
parcel_geom_wkt=geom_wkt,
|
||||
radius_km=3.0,
|
||||
cad_quarter=_cad_quarter,
|
||||
)
|
||||
if v_result is not None:
|
||||
velocity_data = v_result.as_dict()
|
||||
except Exception as _ve:
|
||||
|
|
|
|||
|
|
@ -6,10 +6,14 @@ Per #34 D2: утилизация objective_corpus_room_month (еженедель
|
|||
конкурирующих ЖК в радиусе radius_km от участка, нормированный к
|
||||
ЕКБ-медиане по данным Objective.
|
||||
|
||||
Fallback (SF#17): если Objective coverage <50% конкурентов в радиусе,
|
||||
использует rosreestr_deals JOIN по cad_quarter участка (100% coverage по кварталам).
|
||||
|
||||
Foundation: domrf_kn_objects (lat/lon, comm_name, obj_class, region_cd),
|
||||
objective_complex_mapping (domrf_obj_id ↔ objective_complex_name),
|
||||
objective_corpus_room_month (project_name, deals_total_vol_m2,
|
||||
deals_total_count, report_month).
|
||||
Fallback: rosreestr_deals (quarter_cad_number, deal_count, period_start_date).
|
||||
|
||||
Linkage: domrf_kn_objects.obj_id
|
||||
→ objective_complex_mapping.domrf_obj_id
|
||||
|
|
@ -32,6 +36,10 @@ logger = logging.getLogger(__name__)
|
|||
# Эмпирика по ЕКБ: ~4 500 м²/мес на один ЖК (apartments, 2024-2025).
|
||||
_EKB_MEDIAN_FALLBACK_SQM_PER_MONTH: float = 4500.0
|
||||
|
||||
# Порог: если доля конкурентов с Objective-маппингом < этого значения,
|
||||
# пытаемся rosreestr_fallback.
|
||||
_OBJECTIVE_COVERAGE_MIN_RATIO: float = 0.50
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class VelocityResult:
|
||||
|
|
@ -47,9 +55,12 @@ class VelocityResult:
|
|||
period_end: str # YYYY-MM
|
||||
sample_competitors: list[dict[str, Any]] # top-5 для UI
|
||||
by_room_bucket: dict[str, dict[str, Any]] # агрегат по комнатности
|
||||
# True если ≥1 конкурент имеет маппинг в objective_complex_mapping;
|
||||
# False → конкуренты найдены, но данных Objective нет — velocity = 0.
|
||||
# True если данные есть (objective или rosreestr_fallback).
|
||||
# False → нет данных ни из одного источника.
|
||||
velocity_data_available: bool = True
|
||||
# Источник данных: objective (основной), rosreestr_fallback (по кадастровому кварталу),
|
||||
# none (нет данных).
|
||||
velocity_source: Literal["objective", "rosreestr_fallback", "none"] = "objective"
|
||||
|
||||
def as_dict(self) -> dict[str, Any]:
|
||||
return {
|
||||
|
|
@ -63,6 +74,7 @@ class VelocityResult:
|
|||
"sample_competitors": self.sample_competitors,
|
||||
"by_room_bucket": self.by_room_bucket,
|
||||
"velocity_data_available": self.velocity_data_available,
|
||||
"velocity_source": self.velocity_source,
|
||||
}
|
||||
|
||||
|
||||
|
|
@ -72,6 +84,7 @@ def compute_velocity(
|
|||
radius_km: float = 3.0,
|
||||
obj_class: str | None = None,
|
||||
months_window: int = 6,
|
||||
cad_quarter: str | None = None,
|
||||
) -> VelocityResult | None:
|
||||
"""Вычислить velocity-score для участка.
|
||||
|
||||
|
|
@ -79,9 +92,14 @@ def compute_velocity(
|
|||
1. Найти ЖК-конкуренты в радиусе radius_km (через lat/lon ST_DWithin).
|
||||
2. Взять objective_corpus_room_month за последние months_window месяцев
|
||||
через objective_complex_mapping (domrf_obj_id → project_name).
|
||||
3. Посчитать суммарный объём deals_total_vol_m2.
|
||||
3. Если Objective coverage < 50% конкурентов → rosreestr_fallback:
|
||||
считаем сделки DDU/ДКП в cad_quarter участка за окно.
|
||||
4. Нормировать на ЕКБ-медиану → score 0..1.
|
||||
|
||||
Параметры:
|
||||
cad_quarter: кадастровый квартал участка (первые 3 сегмента cad_num,
|
||||
например "66:41:0702048"). Используется только для fallback.
|
||||
|
||||
Возвращает None если parcel_geom_wkt невалиден или конкурентов нет.
|
||||
"""
|
||||
# ── Step 1: конкуренты по lat/lon в радиусе ──────────────────────────────
|
||||
|
|
@ -222,21 +240,21 @@ def compute_velocity(
|
|||
if not sales_rows:
|
||||
return None
|
||||
|
||||
# Проверяем: есть ли хотя бы один конкурент с маппингом (has_mapping=True).
|
||||
# Если нет — возвращаем velocity=0 с явным флагом velocity_data_available=False,
|
||||
# вместо того чтобы отбросить всех конкурентов (старый INNER JOIN поведение).
|
||||
has_any_mapping = any(bool(r["has_mapping"]) for r in sales_rows)
|
||||
if not has_any_mapping:
|
||||
logger.info(
|
||||
"velocity: %d competitors found but none mapped in objective_complex_mapping;"
|
||||
" returning velocity=0 with data_available=False",
|
||||
len(obj_ids),
|
||||
)
|
||||
# ── Step 2a: проверка Objective coverage ─────────────────────────────────
|
||||
# Считаем: mapped_with_data — конкуренты с маппингом И реальными данными.
|
||||
# Если mapped_ratio < _OBJECTIVE_COVERAGE_MIN_RATIO → rosreestr_fallback.
|
||||
n_total_comps = len(obj_ids)
|
||||
mapped_with_data = [
|
||||
r for r in sales_rows if bool(r["has_mapping"]) and (r["total_sqm"] or 0.0) > 0
|
||||
]
|
||||
mapped_ratio = len(mapped_with_data) / n_total_comps if n_total_comps > 0 else 0.0
|
||||
|
||||
ekb_median = (
|
||||
_get_ekb_median(db, months_window=months_window) or _EKB_MEDIAN_FALLBACK_SQM_PER_MONTH
|
||||
)
|
||||
n_comps = len(comp_rows)
|
||||
sample = [
|
||||
sample_no_data = sorted(
|
||||
[
|
||||
{
|
||||
"obj_id": oid,
|
||||
**competitor_meta[oid],
|
||||
|
|
@ -245,7 +263,31 @@ def compute_velocity(
|
|||
}
|
||||
for oid in obj_ids[:5]
|
||||
if oid in competitor_meta
|
||||
]
|
||||
],
|
||||
key=lambda x: x["distance_m"], # type: ignore[index]
|
||||
)
|
||||
|
||||
if mapped_ratio < _OBJECTIVE_COVERAGE_MIN_RATIO:
|
||||
logger.info(
|
||||
"velocity: objective coverage %.0f%% (<%d%%) for %d competitors;"
|
||||
" trying rosreestr_fallback cad_quarter=%s",
|
||||
mapped_ratio * 100,
|
||||
int(_OBJECTIVE_COVERAGE_MIN_RATIO * 100),
|
||||
n_total_comps,
|
||||
cad_quarter,
|
||||
)
|
||||
rr_result = _compute_rosreestr_fallback(
|
||||
db=db,
|
||||
cad_quarter=cad_quarter,
|
||||
months_window=months_window,
|
||||
n_comps=n_comps,
|
||||
ekb_median=ekb_median,
|
||||
sample_competitors=sample_no_data,
|
||||
)
|
||||
if rr_result is not None:
|
||||
return rr_result
|
||||
# Rosreestr тоже пуст — возвращаем none-state.
|
||||
logger.info("velocity: rosreestr_fallback also empty for cad_quarter=%s", cad_quarter)
|
||||
return VelocityResult(
|
||||
competitors_count=n_comps,
|
||||
monthly_velocity_sqm=0.0,
|
||||
|
|
@ -255,9 +297,10 @@ def compute_velocity(
|
|||
months_observed=0,
|
||||
period_start="",
|
||||
period_end="",
|
||||
sample_competitors=sample,
|
||||
sample_competitors=sample_no_data,
|
||||
by_room_bucket={},
|
||||
velocity_data_available=False,
|
||||
velocity_source="none",
|
||||
)
|
||||
|
||||
# ── Step 2b: разбивка по комнатности (room_bucket) ───────────────────────
|
||||
|
|
@ -339,21 +382,24 @@ def compute_velocity(
|
|||
period_start = min(period_start_dates).strftime("%Y-%m") if period_start_dates else ""
|
||||
period_end = max(period_end_dates).strftime("%Y-%m") if period_end_dates else ""
|
||||
|
||||
# ── Step 3: ЕКБ-медиана ──────────────────────────────────────────────────
|
||||
ekb_median = (
|
||||
_get_ekb_median(db, months_window=months_window) or _EKB_MEDIAN_FALLBACK_SQM_PER_MONTH
|
||||
)
|
||||
|
||||
n_comps = len(comp_rows)
|
||||
|
||||
# Если mapped-конкурентов нет данных — partial coverage → velocity=0.
|
||||
# Если mapped-конкурентов нет данных — partial coverage → fallback.
|
||||
if months_observed == 0 or total_sqm <= 0:
|
||||
logger.info(
|
||||
"velocity: %d competitors found, %d mapped, but no sales data in window;"
|
||||
" returning velocity=0 with data_available=False",
|
||||
" trying rosreestr_fallback",
|
||||
len(obj_ids),
|
||||
len(mapped_sales_rows),
|
||||
)
|
||||
rr_result = _compute_rosreestr_fallback(
|
||||
db=db,
|
||||
cad_quarter=cad_quarter,
|
||||
months_window=months_window,
|
||||
n_comps=n_comps,
|
||||
ekb_median=ekb_median,
|
||||
sample_competitors=sample_no_data,
|
||||
)
|
||||
if rr_result is not None:
|
||||
return rr_result
|
||||
sample_partial = sorted(
|
||||
[
|
||||
{
|
||||
|
|
@ -380,13 +426,14 @@ def compute_velocity(
|
|||
sample_competitors=sample_partial,
|
||||
by_room_bucket={},
|
||||
velocity_data_available=False,
|
||||
velocity_source="none",
|
||||
)
|
||||
|
||||
# Среднемесячный объём в расчёте: суммарный по всем конкурентам / месяцев.
|
||||
# Чем больше конкурентов с данными — тем весомее результат.
|
||||
monthly_velocity = total_sqm / months_observed
|
||||
|
||||
# ── Step 4: нормализация → score 0..1 ────────────────────────────────────
|
||||
# ── Step 3: нормализация → score 0..1 ────────────────────────────────────
|
||||
# Логика: сравниваем суммарный velocity радиуса с «нормой» одного ЖК.
|
||||
# Если в радиусе продаётся N × ekb_median → рынок горячий.
|
||||
# Нормируем: score = min(1.0, total_velocity / (n_competitors × ekb_median × 2))
|
||||
|
|
@ -396,7 +443,7 @@ def compute_velocity(
|
|||
denominator = n_with_sales * ekb_median * 2.0 if n_with_sales > 0 else ekb_median * 2.0
|
||||
velocity_score = min(1.0, max(0.0, monthly_velocity / denominator))
|
||||
|
||||
# ── Step 5: confidence ───────────────────────────────────────────────────
|
||||
# ── Step 4: confidence ───────────────────────────────────────────────────
|
||||
mapped_conf: Literal["high", "medium", "low"]
|
||||
if n_comps >= 10 and months_observed >= 5:
|
||||
mapped_conf = "high"
|
||||
|
|
@ -405,7 +452,7 @@ def compute_velocity(
|
|||
else:
|
||||
mapped_conf = "low"
|
||||
|
||||
# ── Step 6: top-5 конкурентов по объёму продаж ───────────────────────────
|
||||
# ── Step 5: top-5 конкурентов по объёму продаж ───────────────────────────
|
||||
sales_by_id: dict[int, float] = {
|
||||
int(r["obj_id"]): float(r["total_sqm"] or 0.0) for r in mapped_sales_rows
|
||||
}
|
||||
|
|
@ -436,6 +483,103 @@ def compute_velocity(
|
|||
sample_competitors=sample,
|
||||
by_room_bucket=by_room_bucket,
|
||||
velocity_data_available=True,
|
||||
velocity_source="objective",
|
||||
)
|
||||
|
||||
|
||||
def _compute_rosreestr_fallback(
|
||||
db: Session,
|
||||
cad_quarter: str | None,
|
||||
months_window: int,
|
||||
n_comps: int,
|
||||
ekb_median: float,
|
||||
sample_competitors: list[dict[str, Any]],
|
||||
) -> VelocityResult | None:
|
||||
"""Fallback velocity через rosreestr_deals JOIN по cad_quarter участка.
|
||||
|
||||
Считает суммарное число сделок DDU/ДКП в кадастровом квартале за окно months_window.
|
||||
Velocity = deal_count / months_window (сделок/мес). Нет разбивки по room_bucket
|
||||
(rosreestr не даёт комнатность).
|
||||
|
||||
Возвращает None если cad_quarter не задан или данных нет.
|
||||
"""
|
||||
if not cad_quarter:
|
||||
return None
|
||||
|
||||
try:
|
||||
with db.begin_nested():
|
||||
row = (
|
||||
db.execute(
|
||||
text(
|
||||
"""
|
||||
SELECT
|
||||
SUM(deal_count) AS total_deals,
|
||||
MIN(period_start_date) AS period_start,
|
||||
MAX(period_start_date) AS period_end
|
||||
FROM rosreestr_deals
|
||||
WHERE quarter_cad_number = :cad_quarter
|
||||
AND period_start_date >= (CURRENT_DATE - CAST(:window_interval AS interval))
|
||||
AND doc_type IN ('ДДУ', 'ДКП')
|
||||
"""
|
||||
),
|
||||
{
|
||||
"cad_quarter": cad_quarter,
|
||||
"window_interval": f"{months_window} months",
|
||||
},
|
||||
)
|
||||
.mappings()
|
||||
.first()
|
||||
)
|
||||
except Exception:
|
||||
logger.warning("velocity: rosreestr_fallback query failed for cad_quarter=%s", cad_quarter)
|
||||
return None
|
||||
|
||||
if row is None or not row["total_deals"] or int(row["total_deals"]) == 0:
|
||||
return None
|
||||
|
||||
total_deals = int(row["total_deals"])
|
||||
# Сделок/мес — грубый аналог velocity (без м², только count).
|
||||
# Умножаем на 45 м² (эмпирика) для совместимости с м²/мес единицами.
|
||||
avg_area_per_deal = 45.0 # м² — консервативная оценка для апартаментов ЕКБ
|
||||
monthly_velocity_sqm = (total_deals * avg_area_per_deal) / months_window
|
||||
|
||||
# Нормализация относительно ekb_median (один ЖК × 2).
|
||||
velocity_score = min(1.0, max(0.0, monthly_velocity_sqm / (ekb_median * 2.0)))
|
||||
|
||||
# Confidence — rosreestr данные менее детализированы, чем Objective.
|
||||
rr_confidence: Literal["high", "medium", "low"]
|
||||
if total_deals >= 50:
|
||||
rr_confidence = "medium" # max medium для rosreestr — нет комнатности
|
||||
else:
|
||||
rr_confidence = "low"
|
||||
|
||||
period_start_date = row["period_start"]
|
||||
period_end_date = row["period_end"]
|
||||
period_start = period_start_date.strftime("%Y-%m") if period_start_date else ""
|
||||
period_end = period_end_date.strftime("%Y-%m") if period_end_date else ""
|
||||
|
||||
logger.info(
|
||||
"velocity: rosreestr_fallback success cad_quarter=%s"
|
||||
" total_deals=%d window=%dm velocity=%.1f sqm/mon",
|
||||
cad_quarter,
|
||||
total_deals,
|
||||
months_window,
|
||||
monthly_velocity_sqm,
|
||||
)
|
||||
|
||||
return VelocityResult(
|
||||
competitors_count=n_comps,
|
||||
monthly_velocity_sqm=monthly_velocity_sqm,
|
||||
ekb_median_sqm=ekb_median,
|
||||
velocity_score=velocity_score,
|
||||
confidence=rr_confidence,
|
||||
months_observed=months_window,
|
||||
period_start=period_start,
|
||||
period_end=period_end,
|
||||
sample_competitors=sample_competitors,
|
||||
by_room_bucket={}, # rosreestr не даёт room_bucket
|
||||
velocity_data_available=True,
|
||||
velocity_source="rosreestr_fallback",
|
||||
)
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -50,6 +50,7 @@ export function VelocityBlock({ velocity }: VelocityBlockProps) {
|
|||
}
|
||||
|
||||
const dataAvailable = velocity.velocity_data_available !== false;
|
||||
const isRosreestrFallback = velocity.velocity_source === "rosreestr_fallback";
|
||||
const confColor = CONFIDENCE_COLOR[velocity.confidence];
|
||||
const scorePct = formatPercent(velocity.velocity_score);
|
||||
const ratio = velocity.monthly_velocity_sqm / velocity.ekb_median_sqm;
|
||||
|
|
@ -71,6 +72,11 @@ export function VelocityBlock({ velocity }: VelocityBlockProps) {
|
|||
нет данных velocity
|
||||
</span>
|
||||
)}
|
||||
{isRosreestrFallback && (
|
||||
<span className="bg-amber-50 text-amber-800 text-xs px-2 py-0.5 rounded">
|
||||
Источник: квартальные сделки
|
||||
</span>
|
||||
)}
|
||||
<span
|
||||
style={{
|
||||
padding: "2px 8px",
|
||||
|
|
|
|||
|
|
@ -244,6 +244,10 @@ export interface Velocity {
|
|||
// True если ≥1 конкурент имеет маппинг в objective_complex_mapping.
|
||||
// False → конкуренты найдены, velocity=0, данных Objective нет.
|
||||
velocity_data_available?: boolean;
|
||||
// SF#17: источник данных velocity.
|
||||
// 'objective' — Objective (основной), 'rosreestr_fallback' — кадастровый квартал,
|
||||
// 'none' — нет данных.
|
||||
velocity_source?: "objective" | "rosreestr_fallback" | "none";
|
||||
}
|
||||
|
||||
// G5 (#32) — Gate verdict: can_build_mkd
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue