Access A1: OSRM-докер + osm.pbf Свердл (routing-engine infra) #39
Closed
opened 2026-05-11 20:16:06 +00:00 by lekss361
·
7 comments
No Branch/Tag specified
main
fix/2013-avito-cohort-null
fix/rbac-test-user2-expired
fix/expire-brusnika-trial-access
feat/tradein-domclick-house-sku-schema
chore/design-sync-tradein
fix/tradein-deploy-scraper-paths-filter
fix/tradein-no-numberless-house-insert
fix/tradein-dedup-fias-pass-no-geoguard
feat/tradein-fias-estimate-frontend
fix/tradein-dedup-by-fias
feat/tradein-fias-tier-matching
fix/tradein-v2-uiux-p1
fix/objective-lots-dedup-1964
fix/audit-followups-1953
feat/concept-house-picker-1965-stage3b
feat/concept-house-catalog-1965-stage3a
feat/concept-live-massing-1965-stage2b
feat/concept-recompute-1965-stage2a
feat/concept-section-1965-stage1
fix/best-layouts-per-object-snapshot-1956
fix/deficit-segmentation-1959
feat/tradein-hedonic-ground-floor
fix/report-map-points-1961
fix/report-microcopy-1963
fix/report-nspd-zoning-1962
fix/report-frontend-display-1953
perf/tradein-estimate-audit
perf/best-layouts-objects-first
fix/171-migration-path
perf/171-objective-crm-report-month-idx
fix/1926-app-log-stdout
fix/estimator-tiebreaker-nanalogs
fix/1917-fetch-json-network-retry
fix/1926-scrape-runs-total-seen
fix/1781-house-fk-source-identity
feat/39-osrm-per-category
feat/1746-utility-infra-map
fix/test-849-savepoint-count
fix/parking-economics-by-class
fix/zouit-engineering-area-gate
fix/zoning-resolution-decouple
feat/dcf-velocity-schedule
feat/zone-regulation-backfill
chore/mock-financial-estimate
fix/finmodel-split-disclosure-threshold
feat/finmodel-financing
feat/finmodel-sitefinder-bridge
feat/finmodel-dcf
feat/finmodel-price-calibration
feat/finmodel-cost-cascade
audit/1871-p2-estimator-dedup-split
audit/1871-p2-avito-coord
audit/1871-p3-uiux
audit/1871-p2-invest-moi
audit/1871-p2-velocity-market
audit/1871-p1-3-isreal-stubs
audit/1871-p1-2-ghost-anchor-guard
audit/1871-p1-scenarios-collapse
revert/site-finder-v2
fix/v2-remove-resource-legend
fix/v2-map-legend-position
feat/site-finder-v2-map-light-polish
rollback/site-finder-home-light
feat/site-finder-v2-cockpit
rollback/sf-old-analysis-design
feat/ptica-tabs-6-6-reports-params
fix/ptica-vri-row
feat/ptica-map-glyphs-sitefinder-dark
fix/ptica-3d-preview-product-verdict
fix/ptica-button-fontsize
fix/ptica-parity-data-mapping
chore/ptica-iso-preview-spin
fix/ptica-inter-map-product
fix/ptica-visual-parity
fix/ptica-left-rail
feat/ptica-cockpit-complete-bottom
feat/ptica-default-and-rich-map
feat/ptica-real-ksit-frontend
feat/tradein-ekb-geoportal-buildings
fix/sf-feedback-batch
feat/avito-newbuilding-sweep
feat/browser-concurrent-pool
fix/backfill-kadastr-column
fix/avito-proactive-ip-rotate
feat/activate-domclick-sweep
feat/avito-newbuilding-capture
fix/house-id-fk-realtime-link
fix/migration-162-table-if-exists
feat/riasurt-sverdl-layers-108
fix/sber-dataset-paths-902
fix/conflict-resolution-freshness-1539
feat/objective-lots-history-writer-307-obj6
feat/velocity-mv-61
fix/objective-mapping-is-reviewed-gate-307-obj2
fix/cian-detail-rich-fields
fix/avito-novostroyki-segment
feat/yandex-novostroyki-newflat
fix/ci-dedup-runner-storm-1709
fix/emiss-pk-granularity-1687
feat/listings-segment-param-1188
fix/inn-regex-word-boundary-1682
fix/excel-deficit-horizon-1590
fix/admin-scrape-validation
fix/admin-leads-interval-cast-1694
fix/dkp-corridor-doc-p10p90-1695
fix/weather-wind-d-allnone
test/residential-zone-rawprops-1681
fix/domrf-badge-regex-narrow-1686
feat/yandex-camoufox-transport
fix/score-sat-factor-1509
fix/base-pace-room-bucket-1593
fix/gate-verdict-no-blocker-1617
fix/confidence-deal-count-window-1637
fix/match-economics-1511-1512
fix/listings-partial-indexes-1398
fix/smart-suggestions-threshold-1503
fix/dkp-corridor-percentile-1520
fix/enrich-economics-window-1513
fix/leads-stats-window-1383
fix/poi-score-scale-1486
fix/geo-weight-floor-1633
fix/inn-regex-context-1640
fix/domrf-status-classify-1609
fix/emiss-period-dedup-1606
fix/cian-paginate-tail-1393
fix/normalize-zero-fill-guard-1638
fix/supply-view-devgroup-key-1650
fix/residential-zone-detect-1353
fix/score-label-threshold-1357
fix/trend-ratio-vprior-zero-1508
fix/district-median-dedup-1352
fix/supply-layers-overlap-1355
fix/pdf-expires-at-1530
fix/quartirography-area-bucket-1406
fix/cad-zones-multipolygon-1344
fix/sold-pct-market-verdict-1407
fix/week-review-finish
fix/week-review-backend-v2
feat/plan-vectorization-spike-299
fix/1668-analyze-confidence
fix/1667-metro-block
fix/1666-layout-velocity-beat
chore/remove-n1-scraper
fix/cian-kitchen-area
feat/yandex-detail-backfill
feat/avito-detail-backfill
fix/best-layouts-bucket-normalization
fix/gknspecial-incremental-commit-per-prefix
fix/okn-objects-full-registry-load
fix/parcel-ird-overlap-except-expand
fix/report-assembler-confounded-keys
fix/job-settings-json-persist-v2
fix/nspd-geo-soft-time-limit-passthrough
fix/nspd-soft-time-limit-v2
fix/pilot-request-modal-validation
fix/recommend-mix-saturation-latest-snapshot
fix/scrape-cadastre-fail-counter-v2
fix/izyatie-ocr-cad-normalize
fix/job-settings-panel-json-state-persist
fix/noise-loader-savepoint-per-row
fix/objective-sync-config-bare-except
fix/parcel-snapshot-mdash-double-escape
fix/poi-loader-leap-year-date-replace
fix/scrape-cadastre-permanent-fail-counter
fix/usermenu-analyst-role-label
feat/location-948b-r
feat/location-entity-948b
feat/insight-entity-948a
feat/analyst-role-audit-962
feat/cbr-inflation-macro-946
feat/cian-zhk-resolve-972
perf/forecast-parallel-horizons-1129
feat/newbuilding-enrich-backfill-972
feat/emiss-macro-indicators-946
feat/rosstat-emiss-macro-946
ci/frontend-vitest-job
chore/frontend-vitest-wkt-tests
feat/forecast-meta-footer
feat/forecast-future-supply-competitors
feat/forecast-docx-pptx-buttons
feat/forecast-scoring-panel
feat/forecast-product-tz-block
feat/market-map-layers-999
feat/forecast-chart-section6
feat/forecast-export-pptx-959
feat/forecast-export-docx-959
feat/forecast-export-ui-959
feat/forecast-export-telegram-959
feat/forecast-export-md-959
feat/analyze-response-contract-961
feat/competitor-velocity-spatial-fallback-968
fix/frontend-healthcheck-hostname
feat/analyze-market-coords-999
fix/site-finder-entry-crash-1001
feat/horizon-selector-996
feat/forecast-section-998
feat/forecast-endpoint-horizon-enqueue
feat/forecast-celery-task-persist
feat/forecast-orchestrator-service
feat/demand-supply-months-of-inventory
feat/wire-district-resolver
feat/district-vocab-reconciliation
fix/affordability-market-spread
fix/backtest-sig-gate
feat/wire-978-almon-rate-regime
feat/backtest-oos-almon-seasonal
ci/forgejo-pytest-gate
fix/tradein-praktika-logo-form-scroll
feat/yandex-exhaustive-price-room
feat/794-sber-time-adjust
chore/bot-harness-tuning
docs/agent-usage-throttle-qa-terminal
fix/avito-sweep-single-run-guard
chore/analyst-inbound-queue-tradein-db
feat/801-preview-full-wt
chore/bot-safety-followups
feat/tradein-avito-imv-fix
feat/tradein-repair-coef-calibration
feat/tradein-avito-houses-fix
feat/tradein-address-precision
feat/tradein-backfill-prioritize-listings
feat/tradein-geocode-deals-nominatim
feat/tradein-geocode-deals-from-houses
feat/tradein-same-building-match
feat/claude-envvars-and-stale-cron
No results found.
Labels
Clear labels
Admin UI / internal tools / pipeline tracker
Аналитика данных / matching
Authentication / authorization / multi-tenancy
Автоматизация / cron / scheduler
Something isn't working
Коммерческая воронка / пилоты / pipeline / реестр ПО
Operational housekeeping
Forgejo Actions / build pipeline
152-ФЗ / реестр ПО / legal / TOS
Data sources, parsers, ETL
Уникальные данные — sales tracker, CRM aggregation
README / runbooks / onboarding
This issue or pull request already exists
Developer experience / build speed
New feature or request
Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)
Feedback from Max (Senior partner)
Generative Design — concept generation engine
Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.
Pending team sync / decision
Human review/decision required
Monitoring / metrics / logs / Sentry / Uptime
Kill-switch — all autonomous bots pause
Latency / throughput / DB query tuning
Critical / production-blocker
High priority
Normal priority
Низкий приоритет (follow-up, tech-debt)
Backend Python — FastAPI, Celery, scrapers
DB migrations, indexes, SQL
docker-compose, Caddy, workflows
Frontend — Next.js, React, TypeScript
Tests, smoke, Playwright
Скрапперы (Avito/Cian/Yandex/Rosreestr)
Security audit / secrets / vulnerabilities
Site Finder scoring quality & data layer
Stage 1: Generative MVP (нед 2-7)
Stage 2: Site Finder MVP (нед 8-12)
Blocked — needs human intervention
Closed, completed
Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)
Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)
PR merged, awaiting smoke test
Ready for pickup by worker bot
PR open, awaiting code review
Work in progress (worker claimed)
Технический долг
Trade-In MVP проект
User experience / responsive / conversion
Week review 1 — находки multi-agent аудита проекта (2026-06-14)
This will not be worked on
Trade-In Estimator — проект оценки вторичного жилья
Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы
admin
Admin UI / internal tools / pipeline tracker
analytics
Аналитика данных / matching
auth
Authentication / authorization / multi-tenancy
automation
Автоматизация / cron / scheduler
bug
Something isn't working
business
Коммерческая воронка / пилоты / pipeline / реестр ПО
chore
Operational housekeeping
ci
Forgejo Actions / build pipeline
compliance
152-ФЗ / реестр ПО / legal / TOS
data
Data sources, parsers, ETL
data-moat
Уникальные данные — sales tracker, CRM aggregation
docs
README / runbooks / onboarding
duplicate
This issue or pull request already exists
dx
Developer experience / build speed
enhancement
New feature or request
Fable 5 ревью
Находки полного мульти-агентного ревью (Claude Fable 5, 2026-06-09)
feedback/max
Feedback from Max (Senior partner)
generative
Generative Design — concept generation engine
GG-форсайт
Новое ТЗ от Ген Геныча (июнь 2026): Site Finder v2 — ИИ-прогноз продуктовой стратегии девелопера. Актуальный приоритет.
needs-discussion
Pending team sync / decision
needs-human
Human review/decision required
observability
Monitoring / metrics / logs / Sentry / Uptime
pause-bots
Kill-switch — all autonomous bots pause
performance
Latency / throughput / DB query tuning
priority/p0
Critical / production-blocker
priority/p1
High priority
priority/p2
Normal priority
priority/p3
Низкий приоритет (follow-up, tech-debt)
scope/backend
Backend Python — FastAPI, Celery, scrapers
scope/db
DB migrations, indexes, SQL
scope/devops
docker-compose, Caddy, workflows
scope/frontend
Frontend — Next.js, React, TypeScript
scope/qa
Tests, smoke, Playwright
scrapers
Скрапперы (Avito/Cian/Yandex/Rosreestr)
security
Security audit / secrets / vulnerabilities
site-finder
Site Finder scoring quality & data layer
stage/1
Stage 1: Generative MVP (нед 2-7)
stage/2
Stage 2: Site Finder MVP (нед 8-12)
status/blocked
Blocked — needs human intervention
status/done
Closed, completed
status/needs-analysis
Raw/fuzzy task filed by human — auto-analyst подхватывает: code-archeology + декомпозиция в actionable scope/* + status/ready (или split на под-issues)
status/needs-fix
Reviewer/QA вернул worker на доработку — worker сам чинит свой PR (fixup), НЕ требует human (в отличие от status/blocked)
status/qa
PR merged, awaiting smoke test
status/ready
Ready for pickup by worker bot
status/review
PR open, awaiting code review
status/wip
Work in progress (worker claimed)
tech-debt
Технический долг
tradein
Trade-In MVP проект
ux
User experience / responsive / conversion
week ревью 1
Week review 1 — находки multi-agent аудита проекта (2026-06-14)
wontfix
This will not be worked on
вторичка
Trade-In Estimator — проект оценки вторичного жилья
ИРД
Исходно-разрешительная документация — слой ограничений участка для analyze-таблицы
No labels
admin
analytics
auth
automation
bug
business
chore
ci
compliance
data
data-moat
docs
duplicate
dx
enhancement
Fable 5 ревью
feedback/max
generative
GG-форсайт
needs-discussion
needs-human
observability
pause-bots
performance
priority/p0
priority/p1
priority/p2
priority/p3
scope/backend
scope/db
scope/devops
scope/frontend
scope/qa
scrapers
security
site-finder
stage/1
stage/2
status/blocked
status/done
status/needs-analysis
status/needs-fix
status/qa
status/ready
status/review
status/wip
tech-debt
tradein
ux
week ревью 1
wontfix
вторичка
ИРД
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
3 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".
No due date set.
Dependencies
No dependencies set.
Reference: lekss361/gendesign#39
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Эшелон: 🟡 Accessibility — routing вместо straight-line
Контекст / проблема
Сейчас в
/analyzedistance до POI — straight-lineST_Distance(geography). Это даёт ложные сигналы там, где между участком и POI есть жд/река/промзона/высокий забор. 1км по прямой может быть 2.5км пешком. Это одна из причин Limit_POI_Factor_Tiny — фильтр обесцвечен.Foundation для A2 (изохроны) и A3 (per-category routing-decay).
Что сделать
osrmвdocker-compose.prod.yml:wgetosm.pbf Свердл (≈1.5GB) с Geofabrikosrm-extract-p /opt/car.lua sverdlovsk.osm.pbfosrm-contractsverdlovsk.osrmAcceptance
curl localhost:5000/route/v1/driving/60.6,56.84;60.65,56.86возвращает корректный маршрутOwner
devops-engineerEffort
1 день
Risks / open
Dependencies
— (foundation для A2, A3)
Status update — НЕ реализовано. Service
osrmвdocker-compose.prod.ymlне добавлен. Foundation для A2/A3 пока заблокирована.Issue остаётся в backlog priority/high. Нужно решение по plan: build на VPS vs scp pre-built artefacts.
Working on this in PR #1929 (infra only — OSRM container + build script + docs; the /analyze integration is a separate follow-up A2/A3).
OSRM routing-engine — INFRA развёрнута и работает на проде (2026-06-27)
PR #1929 (compose
osrm-сервис +scripts/build_osrm.sh+ docs) смержен. Граф собран и поднят на VPS:sverdlovsk.osrm(68M + cells/ebg) в/opt/gendesign/data/osrm/.gendesign-osrm-1Up + healthy, internal-only (http://osrm:5000, нет публичного порта), mem_limit 1.5g. RAM на VPS хватило (6.2Gi free, граф warm ~0.8-1.2G).GET /route/v1/driving/60.6,56.84;60.65,56.86→{"code":"Ok", distance=5413m, duration=505s}. Прямая между точками ~3.7км, дорога 5.4км — ровно та недооценка straight-line, ради которой issue заведён.Acceptance
curl :5000/route/...→ корректный маршрут ✅wget -N, re-runnable; cron-пример в docs/osrm-routing.md) ✅WALK=1 bash scripts/build_osrm.sh→sverdlovsk-foot.osrm*) + блокosrm-walk-сервиса задокументирован в docs. Quick follow-up (не консьюмится пока нет интеграции).Остаётся (follow-up)
/analyze: заменитьST_Distance(geography)на OSRMroute/tableдля distance-to-POI (это и есть value-delivery; #39 был INFRA-foundation). Держу open под walking + интеграцию.Routing-движок готов как foundation. Изохроны (A2) и per-category routing-decay (A3) теперь разблокированы.
A2 — интеграция OSRM в
/analyze+ валидация флипа флага (2026-06-27)PR #1932 смержен и задеплоен:
_apply_osrm_road_distancesзаменяет straight-lineST_Distanceна реальное дорожное (центроид участка → каждый POI) через локальный OSRM/table. Флагuse_osrm_distances= OFF на проде (деплой байт-в-байт нейтрален), любой сбой OSRM → graceful straight-line fallback (/analyzeне падает).Валидация флипа (live prod, реальные POI из
osm_poi_ekb, 4 центра районов ЕКБ)Прогнал точный прод-путь (
_apply_osrm_road_distancesна реальных POI в радиусе 1 км), сравнил road vs straight-line:Выводы:
road<straight(0/1/5/1, <3%, все в ближнем поле) — это OSRM-снап origin/POI к ближайшему ребру дороги, не баг.Это продуктовое решение, не дефолт
Магнитуда такая, что флип — осознанное изменение скоринга, а не тихий апгрейд. Развилка:
WALK=1, сервис задокументирован) или оставить straight-line для walk-категорий.Рекомендация: держу флаг OFF до твоего решения. Варианты:
Склоняюсь к (1) — это и был смысл A3. Скажи, и сделаю walking-профиль + per-category routing-decay. Acceptance walking-профиля (
[ ]выше) закрою тем же заходом.A3 — per-category routing (foot+car) ЗАДЕПЛОЕН + валидирован (2026-06-27)
PR #1935 смержен + задеплоен (main
94d3a98). Пеший граф собран на VPS (CAR=0 WALK=1,sverdlovsk-foot.osrm*, 27 файлов), сервисosrm-walkUp (healthy), backend ходит к нему per-category.Раскладка
profile=foot):bus_stop, kindergarten, metro_stop, park, pharmacy, school, shop_small, shop_supermarket, tram_stopprofile=driving):shop_mall, hospital+ неизвестная/None (безопасный дефолт)Валидация (live prod, реальные POI
osm_poi_ekb, 4 центра районов)Сравнил для walk-POI: foot/straight (новое A3) vs driving/straight (старое A2):
Вывод: foot/straight стабильно ~1.33× — это классический пеший detour-коэффициент (~1.3), физически корректный. Driving завышал пешую доступность в 1.66–2.84× (Уралмаш — кейс из тела issue: авто объезжает жд/реку 2.84×, пешеход переходит напрямую 1.35×). A3 убирает это завышение для пешеходных POI, drive-POI оставляет на car-графе.
Acceptance
curl :5000/route/...(driving) — ✅ (ранее)osrm-walkhealthy, foot-маршруты возвращаются (валидация выше прогнала реальные foot-вызовы)CAR=0 WALK=1foot-only refresh не трогает живой car-граф) — ✅Флаг
use_osrm_distances— по-прежнему OFFA3 не включает флаг сам — это всё ещё осознанное продуктовое изменение скоринга. Но теперь флип честный: при включении пешие POI получат реалистичные ~1.33×, а не завышенные авто-дистанции. Риск флипа сильно снизился (walk-завышение убрано). Рекомендую флип — но оставляю решение за тобой (одно слово «включай» → выставлю
use_osrm_distances=trueв.env.runtime+ recreate backend + post-flip QA).Инфра-фундамент #39 (A1) + интеграция (A2) + per-category (A3) — закрыты. Остаётся только продуктовое решение по флипу. Можно закрывать issue после флипа (или сейчас, если флип трекать отдельно).
🟢 Флаг
use_osrm_distancesВКЛЮЧЁН на проде (2026-06-27, по запросу Anton)/analyzeтеперь считает дистанции до POI по реальной дорожной/пешей сети (per-category: пешие POI → foot-графosrm-walk, авто → car-графosrm), а не по прямой.Как включено:
USE_OSRM_DISTANCES=trueдописан в/opt/gendesign/backend/.env.runtime(бэкап.env.runtime.bak.20260627-osrm-flip, sed-style append — переживаетgit reset --hard),gendesign-backend-1+gendesign-worker-1пересозданы (--force-recreate --no-deps, чтобы перечитать env_file).Verify:
settings.use_osrm_distances = Trueв живом backend ✅gendesign-osrm-1+gendesign-osrm-walk-1— Up (healthy) ✅POST /analyze(cad 66:41:0702048:27) → 200 OK, score=13.39, poi_count=106, без ошибок ✅_apply_osrm_road_distancesпредварительно валидирован на реальных POI (foot/straight ~1.33×, 100% POI маршрутизируются, графы достижимы из backend) ✅Ожидаемый эффект: POI-скоры сдвинутся (дальние-по-дороге POI обесценятся; пешие близкие POI получат честные ~1.3× вместо завышенных авто-дистанций). Это и есть смысл #39.
Минорное наблюдение (follow-up, не блокер): app-level INFO-логи (
logging.getLogger(__name__)) не попадают в stdout контейнера — видны только uvicorn-логгеры. Поэтому INFO-строкаOSRM road-distance applied (...)не видна вdocker logs(хотя путь исполняется). Стоит отдельно настроить логгинг приложения (propagate/level) для observability — заведу при необходимости.#39 закрываю — A1 (инфра) + A2 (интеграция) + A3 (walking/per-category) + флип = весь эшелон Accessibility-routing доставлен и в проде.
On-the-wire подтверждение per-category routing (2026-06-27, после фикса observability #1941)
После #1941 (app-INFO теперь в
docker logs gendesign-backend-1) виден реальный лог применения OSRM в/analyzeна проде:Т.е. флип работает end-to-end: 127 пеших POI → foot-граф (100% замены), 10 авто-POI → car-граф (100%), per-category split живой, покрытие полное, fallback не понадобился. Ровно один лог-лайн на analyze (no double-emit). Это закрывает верификацию флипа на уровне «видно что применяется», а не только «200 OK».