548 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
lekss361	29f94963a7	Merge pull request 'feat(tradein): yandex_realty.py — DOM SERP refactor (vtorichka, 23 cards/page)' (#462) from feat/tradein-yandex-serp-refactor into main	2026-05-23 13:30:36 +00:00
lekss361	5e90797a9f	feat(tradein): SQL 040-046 — matching schema delta (Phase 1.1) (#464)	2026-05-23 13:30:22 +00:00
lekss361	72d2b97ee0	feat(tradein): Stage 4b — IMV benchmark badge + house info card on estimate result (#461)	2026-05-23 13:28:23 +00:00
lekss361	d28bf4e66a	feat(tradein): cian_newbuilding.py — ЖК catalog scraper (chart + reliability + offers, Wave 4 Worker C) (#459) ... Stage 6 / Wave 4 Worker C of CianScraper v1. Cian.ru newbuilding (ЖК) catalog page scraper — extracts newbuilding metadata + 6 sister state containers (realtyValuation chart / reliability / reviews / offers / builders / housesByTurn). Main Stage 6 deliverable: 7-month price dynamics chart → houses_price_dynamics table (cross-source benchmark для Stage 9 estimator). Files: - app/services/scrapers/cian_newbuilding.py (NEW, 548 LOC) - tests/test_cian_newbuilding.py (NEW, 357 LOC, 20 tests) Reviewed: schema match (migrations 020/021/025/029), ON CONFLICT constraint name verified (houses_price_dynamics_dim_key), graceful chart extraction (empty/None/fallback shapes), atomic transaction. Known minor follow-ups (non-blocking): - management_companies UPSERT: ext_id=NULL → potential duplicates (Postgres NULL!=NULL); bounded, document in vault - offers items[] fast path: no dict-only filter / no room_count injection - houses_price_dynamics primary shape stores total price into price_per_sqm column with prices_type='price' discriminator — Stage 9 estimator must respect prices_type filter - house_reliability_checks no UNIQUE → unbounded growth on rescrape (deferred to future migration 030+) Verdict: APPROVE (deep-code-reviewer).	2026-05-23 13:23:11 +00:00
lekss361	2dd76ea5e8	feat(tradein): cian_session cookies management + admin endpoints (Wave 4 Worker A) (#457)	2026-05-23 13:22:00 +00:00
lekss361	ead2ac16c5	feat(tradein): yandex_realty.py — DOM SERP refactor (vtorichka, 23 cards/page) ... Replace dead JSON-state extraction (Yandex moved to chunked/ephemeral state post-hydration) with selectolax DOM parsing using helpers from PR #456. Changes: - New URL: /{city}/kupit/kvartira/vtorichniy-rynok/?page=N (path-based, no geo) - Selector: [data-test="OffersSerpItem"] x ~23 per page - Per-card extraction: offer_id (URL regex), title (rooms/area/floor regex), price/ppm2 (regex + parse_rub), bargain flag, publish_date (parse_ru_date), street address, photos (avatars.mds.yandex domain filter + size upgrade), newbuilding linkage (house_source='yandex_realty_nb' + house_ext_id) - ScrapedLot mapping: lat/lon=None (no coords on SERP — geocode-missing fills later), listing_segment="vtorichka" - Pagination: fetch_around_multi_room -> up to MAX_PAGES=3 pages, dedup by source_id. **kwargs swallow keeps old rooms/sort/pages callers compat. - Preserved: BaseScraper interface, name="yandex" (matches existing rows + avoids breaking dedup_hash; Wave 5 conflict resolution can alias if needed), request_delay_sec=5.0, sleep_between_requests, tenacity retry. Tests: 10 unit tests against hand-crafted fixture HTML (single card / studio / no-price / empty page / multi-card / URL builder / city override) — all pass. Ruff clean.	2026-05-23 16:21:47 +03:00
lekss361	962daf2d47	feat(tradein): yandex_helpers.py — JSON-LD + regex + date + NLP + money helpers (#456)	2026-05-23 13:14:11 +00:00
lekss361	5051ebde2e	feat(tradein): integrate Avito IMV as 5th evaluation source (on-demand cached) (#452)	2026-05-23 13:08:22 +00:00
lekss361	1b3edff6a9	feat(tradein): extend base.py save_listings to persist Cian-specific columns (PR #450 follow-up) (#455)	2026-05-23 13:05:20 +00:00
lekss361	0db71033b4	fix(tradein): 030 — UNIQUE constraint on avito_imv_evaluations.cache_key (unblocks PR #452) (#454) ... Hotfix unblocking PR #452 (Stage 3 IMV estimator integration). Adds 030_avito_imv_cache_key_unique.sql: creates UNIQUE INDEX imv_cache_key_uniq_idx on avito_imv_evaluations(cache_key), allowing save_imv_evaluation's ON CONFLICT (cache_key) DO UPDATE to resolve. Migration 018 only created a non-unique composite index, which would have caused runtime error on first IMV cache write. DELETE-USING dedup guards against historical duplicates (no-op on fresh table). BEGIN/COMMIT atomic; IF NOT EXISTS idempotent; CONCURRENTLY unnecessary (table empty). Lexicographic apply order with PR #453's 030_listings_alter_yandex.sql is safe — different tables, no functional interaction. Reviewed by deep-code-reviewer: APPROVE.	2026-05-23 13:04:21 +00:00
lekss361	f452b132c9	feat(tradein): SQL migrations 030-032 — Yandex schema (listings/houses/history) (#453)	2026-05-23 13:00:54 +00:00
lekss361	eb4764f75a	feat(tradein): scrape_pipeline.py — Avito full orchestrator (search → houses → detail) (#451)	2026-05-23 12:55:13 +00:00
lekss361	4f0319297e	feat(tradein): cian.py SERP refactor — state-based extraction (137 fields, no jitter) (#450)	2026-05-23 12:52:04 +00:00
lekss361	5258a8f023	feat(tradein): avito_houses.py — Houses Catalog parser (state + reviews + history + recs) (#449)	2026-05-23 12:37:24 +00:00
lekss361	7fad898c7f	feat(tradein): SQL migration 029 — extend matching/valuation/dynamics tables (PR #445 follow-up) (#448)	2026-05-23 12:35:03 +00:00
lekss361	9ba776f2ca	feat(tradein): cian_state_parser shared utility + ScrapedLot Cian fields (#447)	2026-05-23 12:35:01 +00:00
lekss361	23e6cbc773	feat(tradein): SQL migrations 019-028 — Cian schema + matching + cookies (#445) ... Stage 1 / Wave 1 of CianScraper v1 — schema foundation for 4 Cian sources (SERP/detail/newbuilding/valuation) + cross-source matching. 10 SQL migrations: - 019-020: ALTER listings/houses with Cian-specific cols - 021-022: management_companies, agents tables - 023-024: offer_price_history, houses_price_dynamics - 025-026: house_reliability_checks, external_valuations cache - 027: cian_session_cookies (pgcrypto encryption) - 028: matching tables (house_sources/listing_sources/house_address_aliases) All migrations are idempotent (BEGIN/COMMIT + IF NOT EXISTS). Reviewed by deep-code-reviewer.	2026-05-23 12:19:28 +00:00
lekss361	7cdde30b13	feat(tradein): avito_detail.py — detail page parser (30+ fields incl. domoteka) (#443)	2026-05-23 12:17:15 +00:00
lekss361	6a2f734356	feat(tradein): avito_imv.py — Avito IMV evaluation API client (2 requests) (#444)	2026-05-23 12:16:47 +00:00
lekss361	1ad2565af1	feat(tradein): SQL migrations 019-028 — Cian schema + matching + cookies ... - 019: ALTER listings (windows_view_type, wcs counts, ceiling_height, repair_type, views, living_area, bedrooms, balconies, loggias, description_minhash, cadastral_number, phones, bargain_allowed, sale_type, house_source/ext_id, metro_stations) - 020: ALTER houses (BTI: series_name, entrances, flat_count, is_emergency, heat/gas/overlap types; Cian: cian_internal_house_id, management_company_id, transport_accessibility_rate, advantages/banks/builders/houses_by_turn jsonb + GIN indexes) - 021: CREATE management_companies + FK to houses.management_company_id - 022: CREATE agents table + agent_id_fk on listings - 023: CREATE offer_price_history (per-listing price change timeline) - 024: CREATE houses_price_dynamics (monthly price/sqm series) - 025: CREATE house_reliability_checks (наш.дом.рф checks) - 026: CREATE external_valuations (unified Avito IMV + Cian Valuation cache) - 027: CREATE EXTENSION pgcrypto + cian_session_cookies (encrypted) - 028: CREATE house_sources, listing_sources, house_address_aliases + address_fingerprint/canonical/merged_into alters Refs: decisions/CianScraper_v1_Implementation_Plan.md Stage 1 decisions/Schema_Cian_SERP_Inventory.md sec 16, 20.3, 26 decisions/Cross_Source_Matching_Strategy.md sec 2	2026-05-23 15:14:49 +03:00
lekss361	a2953e97c4	refactor(security): убрать UI ввода admin token (backend не требует с PR #437) (#442)	2026-05-23 12:06:37 +00:00
lekss361	47f4cc7d58	refactor(tradein): avito search — remove jitter (C-5) + mobile API dead code + parse houseLinks (#441)	2026-05-23 11:55:18 +00:00
lekss361	a2147872ed	feat(tradein): SQL migrations 009-018 — houses + listings extension + IMV cache (#440)	2026-05-23 11:41:44 +00:00
lekss361	43a8ec426e	fix(ui): <Link> вместо <a> для internal nav routes (build error fix)	2026-05-23 11:31:59 +00:00
lekss361	65c77b96b6	feat(ui): добавить Trade-In / Концепция / Админ в landing nav (#438)	2026-05-23 11:11:21 +00:00
lekss361	b233bf91cc	refactor(security): убрать X-Admin-Token (Caddy basic_auth достаточен) (#437)	2026-05-23 10:41:22 +00:00
lekss361	0e294641a1	fix(security): log_credentials + auth_audit.log → username из 401 (#436)	2026-05-23 09:59:50 +00:00
lekss361	5e3ba351a0	fix(tradein): security hotfix — C-3 config default + C-4 empty estimate persist + C-6 PDF URL allowlist (#435)	2026-05-23 09:38:23 +00:00
lekss361	3295808b41	fix(security): caddy/** в deploy paths + username из 401 попытки (#434)	2026-05-23 09:25:41 +00:00
lekss361	de1652a6d8	feat(security): добавить юзера kopylov в basic_auth gate (#433)	2026-05-23 09:07:50 +00:00
lekss361	f4d43d1cfc	fix(security): forwarder PermissionError — убрать USER nobody + deploy automation (#432) ... Hotfix для GlitchTip Issue #71 (PermissionError при чтении /var/log/caddy/gendsgn.ru.log). Changes: - ops/glitchtip-auth-forwarder/Dockerfile — убран USER nobody, форвардер под root - ops/glitchtip-auth-forwarder/forwarder.py — throttle capture_exception (300s) - .forgejo/workflows/deploy.yml — paths-filter + build + force-recreate sidecar - docs/runbooks/basic_auth_management.md — Deploy section Security: caddy_logs mount read-only, нет network listener, нет shell, auth_forwarder_state dedicated volume. Attack surface минимален. После merge deploy.yml автоматически rebuild+recreate sidecar на VPS.	2026-05-23 09:04:00 +00:00
lekss361	03dc8e6735	feat(security): GlitchTip forwarder для basic_auth 401 events (Phase 2 PR #426) (#430)	2026-05-23 08:42:36 +00:00
lekss361	cc2d148967	feat(security): закрыть gendsgn.ru basic_auth gate (multi-user, 11 users) (#426) ... Pilot demo 28.05.2026: closed gendsgn.ru/* (включая trade-in/) basic_auth gate. /health и /preview/* остаются public через route { } wrapper (Caddy 2.x directive ordering fix). 11 users (admin + user1..user10), bcrypt cost=14, snippet в git (audit trail). Scripts: scripts/auth/{add,remove,list}_user.sh. Fixup PR #426 (route{} wrap + log rotation + base64 busybox-compat + runbook audit log fix).	2026-05-23 08:16:10 +00:00
lekss361	99c19f9fbb	Merge pull request 'fix(tradein): PDF — рабочая ссылка на отчёт + «Есть/Нет» для балкона' (#425) from fix/tradein-pdf-link-balcony into main	2026-05-22 11:01:50 +00:00
Light1YT	420057aa02	fix(tradein): PDF — рабочая ссылка на отчёт + «Есть/Нет» для балкона ... «Этот отчёт онлайн» и QR-код в PDF вели на gendsgn.ru/trade-in/trade-in?id=… — двойной /trade-in/: PUBLIC_URL на проде уже = https://gendsgn.ru/trade-in, а код добавлял /trade-in ещё раз → ссылка/QR давали 404. Плюс «Балкон / лоджия» печатался как «1»/«0» (сырое булево) вместо «Есть»/«Нет».	2026-05-22 16:01:12 +05:00
lekss361	7a9b183296	Merge pull request 'fix(tradein): восстановленная оценка показывает этаж/площадь, не 0/0' (#424) from fix/tradein-restore-estimate-params into main	2026-05-22 10:51:04 +00:00
Light1YT	9b2a54788b	fix(tradein): восстановленная оценка показывает этаж/площадь, не 0/0 ... AggregatedEstimate не нёс параметры целевой квартиры (площадь, этаж, комнаты, год, тип дома). HeroSummary брал их из формы-инпута — у свежей оценки работало, но при открытии оценки по ссылке (?id=, из Истории) формы нет → «Сводка» показывала «ЭТАЖ 0/0, Площадь 0 м²». Параметры теперь проходят сквозь весь стек: - AggregatedEstimate + TS-тип получили area_m2/rooms/floor/ total_floors/year_built/house_type/repair_state/has_balcony; - estimate_quality заполняет их из payload, get_estimate — из строки trade_in_estimates (колонки там уже есть); - HeroSummary читает из estimate с откатом на input. Заодно в TS-тип добавлен пропущенный est_days_on_market.	2026-05-22 15:50:19 +05:00
lekss361	7daa2dec55	Merge pull request 'fix(tradein): фото аналога в Сводке больше не скрыто плейсхолдером' (#423) from fix/tradein-hero-photo-visible into main	2026-05-22 10:35:44 +00:00
Light1YT	6041ac8464	fix(tradein): фото аналога в Сводке больше не скрыто плейсхолдером ... В .hero-photo псевдоэлементы ::before/::after рисуют декоративный скелет-плейсхолдер «фасада дома». Они position:absolute, а <img> с фото аналога — position:static, поэтому абсолютные псевдоэлементы рисовались ПОВЕРХ картинки: реальное фото загружалось (naturalWidth есть), но визуально всегда был серый плейсхолдер. Фото (z-index 1) и подпись .photo-meta (z-index 2) теперь над скелетом. Скелет остаётся виден, когда фото нет или оно не загрузилось (onError → display:none).	2026-05-22 15:35:01 +05:00
lekss361	07903b1c36	Merge pull request 'fix(tradein): бюджет по времени в geocode-missing — cron не таймаутит' (#422) from fix/tradein-geocode-time-budget into main	2026-05-22 09:37:42 +00:00
Light1YT	0b14538f7d	fix(tradein): бюджет по времени в geocode-missing — cron не таймаутит ... cron geocode-missing-шаг дёргает эндпоинт через `curl -m 320`, а геокодинг 100 адресов упирается в Nominatim (1 req/sec + typo-тиры на провалах) и выходит за 320с. При таймауте curl cron-loop обрывался — объявления Cian/N1 оставались без координат и были невидимы для оценки (ST_DWithin по geom). Сейчас ~200 таких объявлений в БД. geocode_missing теперь выходит из цикла по бюджету 240с (заведомо меньше cron-таймаута) и возвращает remaining > 0 — cron штатно продолжает следующим чанком. Заодно убран мёртвый import asyncio.	2026-05-22 14:37:15 +05:00
lekss361	389fcb2146	Merge pull request 'fix(tradein): оценка исключает Avito из радиусного поиска аналогов' (#421) from fix/tradein-estimate-exclude-avito into main	2026-05-22 09:26:59 +00:00
Light1YT	8bef0fd872	fix(tradein): оценка исключает Avito из радиусного поиска аналогов ... У Avito-объявлений «координаты» = якорь cron-скрейпа ± jitter (DOM Avito реальных coords не отдаёт). Фейковые точки кучкуются плотными кластерами на 5 якорях ЕКБ — tier-1 радиус (1 км) набирался почти целиком из них: оценка для центра давала sources_used=['avito'], 18 аналогов все Avito, при 1400 живых cian/yandex/n1 в БД. _fetch_analogs теперь исключает source='avito'. Трёхтирный fallback по радиусу доходит до реальных cian/yandex/n1 с настоящей геопривязкой — оценка считается по корректным аналогам.	2026-05-22 14:26:29 +05:00
lekss361	c3df202d8a	Merge pull request 'fix(tradein): N1.ru — честный статус источника вместо хардкод-timeout' (#420) from fix/tradein-n1-source-status into main	2026-05-22 09:16:54 +00:00
Light1YT	14c81dd5ac	fix(tradein): N1.ru — честный статус источника вместо хардкод-timeout ... SourcesProgress хардкодил N1.ru как error («timeout — нет ответа») при готовой оценке — строка никогда не сверялась с sources_used. Но N1 — реальный рабочий источник (224 объявления на проде), и при вкладе в оценку он показывался красным крестом-ошибкой. Теперь строка N1 ведёт себя как cian/avito/yandex: done + счётчик лотов, если источник в sources_used, иначе loading/idle.	2026-05-22 14:16:30 +05:00
lekss361	9713f734d7	Merge pull request 'fix(tradein): Avito-парсер тащит фото и реальный адрес из DOM' (#419) from fix/tradein-avito-photos-address into main	2026-05-22 08:49:37 +00:00
Light1YT	1d788b27d0	fix(tradein): Avito-парсер тащит фото и реальный адрес из DOM-карточек ... DOM-путь (_dom_card_to_lot) — основной для Avito: mobile API отдаёт бан, формат __initialState__ устарел, так что почти все объявления идут через него. Но он не извлекал фото вообще, а адрес брал мёртвым селектором [class*="geo-address"] — поэтому объявления Avito оставались без фото (серый блок в Сводке) и с заглушкой «Екатеринбург (Avito)». Теперь: - фото — из <img itemprop="image"> карточки-слайдера (до 5 шт); - адрес — первый <p> внутри data-marker="item-location" (улица + дом). Селекторы проверены на живой выдаче Avito.	2026-05-22 13:49:09 +05:00
lekss361	65e84913b0	Merge pull request 'fix(tradein): map-picker подставляет уличный адрес, а не название POI' (#418) from fix/tradein-reverse-geocode-street into main	2026-05-22 08:36:28 +00:00
Light1YT	a7a3831ce7	fix(tradein): map-picker подставляет уличный адрес, а не название POI ... Обратный геокодинг (Nominatim /reverse) возвращал display_name, который ведёт с названия ближайшей организации/POI — клик по ЖК Малевич давал «NataliOlympic, 2к1, Трамвайный переулок…» вместо адреса дома. Такой адрес не геокодировался обратно, и оценка находила 0 аналогов. Теперь reverse_geocode собирает адрес из Nominatim address-объекта (улица + дом + город), display_name остаётся фолбэком. Follow-up к #415.	2026-05-22 13:32:39 +05:00
lekss361	e713c1d50e	Merge pull request 'fix(tradein): GET /estimate/{id} возвращает полный набор полей' (#417) from fix/tradein-restore-full-estimate into main	2026-05-22 08:21:11 +00:00