6 commits

Author	SHA1	Message	Date
Light1YT	86e9ea2937	fix(week-review): автофиксы код-ревью — 169 issue (label «week ревью 1») ... Многоагентный аудит + имплементация: один воркер на файл, точечные правки. Верификация: py_compile (47/47 .py) + tsc --noEmit (0 ошибок). Unit-тесты не прогонялись (окружение не поднято: rollup native dep / нет pytest-venv). Полностью исправлено (169): #1336, #1337, #1339, #1340, #1341, #1342, #1343, #1345, #1346, #1348, #1349, #1350, #1351, #1354, #1356, #1358, #1359, #1360, #1362, #1364, #1365, #1366, #1367, #1368, #1369, #1370, #1371, #1372, #1373, #1374, #1375, #1376, #1377, #1378, #1379, #1380, #1381, #1382, #1384, #1385, #1386, #1387, #1388, #1389, #1390, #1391, #1392, #1394, #1395, #1396, #1397, #1399, #1400, #1401, #1402, #1403, #1404, #1408, #1409, #1410, #1411, #1412, #1413, #1414, #1415, #1416, #1417, #1418, #1420, #1423, #1425, #1426, #1427, #1428, #1429, #1430, #1431, #1432, #1433, #1434, #1435, #1437, #1438, #1439, #1440, #1441, #1442, #1443, #1444, #1445, #1446, #1447, #1448, #1449, #1450, #1451, #1452, #1453, #1454, #1455, #1456, #1457, #1458, #1459, #1460, #1461, #1462, #1463, #1464, #1465, #1466, #1467, #1468, #1469, #1471, #1472, #1473, #1474, #1476, #1478, #1479, #1481, #1482, #1483, #1484, #1485, #1487, #1488, #1489, #1490, #1491, #1492, #1493, #1494, #1495, #1496, #1497, #1499, #1500, #1501, #1502, #1504, #1505, #1506, #1507, #1510, #1514, #1515, #1516, #1517, #1518, #1519, #1521, #1522, #1523, #1524, #1525, #1526, #1527, #1528, #1529, #1531, #1532, #1533, #1534, #1535, #1536, #1537, #1538 Частично (9, in-file часть, остаток cross-file): #1361, #1419, #1422, #1424, #1470, #1475, #1477, #1480, #1498 Требуют cross-file (3, не тронуты): #1338, #1363, #1421 Пропущено (1): #1539 Не входило в партию: 22 needs-Leha issue (нужны решения владельца). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-15 20:21:11 +05:00
Light1YT	06c4bb9fd6	fix(workers): count lots_pf failure correctly, no silent 'done' (#1220) ... scrape_objective.sync_objective_group инкрементировал n_requests и reports_ok ДО HTTP-стрима client.stream_report(...). Любая ошибка стрима (ObjectiveAuthError, ObjectiveAPIError — оба ⊂ RuntimeError ⊂ Exception, ijson-сбой, обрыв сети) проглатывалась generic except Exception в lots_pf-ветке без инкремента reports_failed и без re-raise. Внешний except (ObjectiveAuthError|APIError) был НЕДОСТИЖИМ для lots_pf. _finish_run(status='done' if reports_failed==0) помечал run УСПЕШНЫМ при полностью провалившемся главном 600МБ отчёте «Лоты». objective_lots/history оставались stale молча, админка показывала last_run_at, downstream supply-layers L2 видел 'done', rows_lots=0. Patch (зеркалит corp_sum — там паттерн уже правильный): - n_requests/reports_ok перенесены ИЗ pre-HTTP в after-success (после успешного commit'а внутри `with stream_report(...)`). - В except Exception lots_pf-ветке: n_requests += 1 + reports_failed += 1 + logger.exception (с traceback). Graceful (no re-raise) сохранён — sibling jobs продолжают, но статус run теперь честный. - corp_sum ветка не тронута. _finish_run сигнатура не меняется. 5 новых регрессионных тестов: success keeps reports_ok=1, auth-error / api-error / generic Exception в lots_pf инкрементируют reports_failed (не ok), _finish_run status='failed' при reports_failed>0. ruff clean. Closes #1220	2026-06-13 07:34:57 +00:00
lekss361	389e141ec9	fix(scrape-objective): stream-parse lots_pf via ijson to avoid OOM (#315)	2026-05-17 16:37:30 +00:00
lekss361	fce48a8924	fix(scrape-objective): drop redundant self arg in sync_all_groups loop (#313)	2026-05-17 16:13:41 +00:00
lekss361	7c05d0a0d8	feat(objective): full sync pipeline + dynamic admin config ... Objective API (api.objctv.ru) интегрирован как новый source of truth для per-flat данных по новостройкам УрФО. Заменяет промежуточный Anton-SQLite (legacy bootstrap-ETL остался как fallback в свёрнутом блоке UI). Schema (data/sql/68_v2 — applied на проде, 6 таблиц): - objective_lots (UPSERT по lot_id; 303 677 rows) - objective_corpus_room_month (long-формат месяц×корпус×room_bucket; 19 738 rows) - objective_lots_history (append-only weekly snapshots для elasticity) - objective_complex_mapping (Objective ComplexName ↔ domrf_kn_objects.obj_id) - objective_raw_reports (jsonb страховка на смену схемы API) - objective_scrape_runs (журнал прогонов) + data/sql/72_objective_sync_config (single-row динамический конфиг) Backend: - services/scrapers/objective.py: ObjectiveClient — Bearer-токен (Redis + in-memory fallback), retry на 401/429/5xx, Retry-After header support - services/objective_etl.py: ETL SQLite Антона → PG (legacy) - services/objective_sync_config.py: read/update single-row config - workers/tasks/scrape_objective.py: * sync_objective_group: 2 рабочих отчёта (corp_sum, lots_pf), inline-парсинг * sync_all_groups: wrapper, перебирает группы из БД-конфига с inter-group паузой; PATCH-merge explicit args > DB config - workers/tasks/objective_etl.py: Celery task для legacy bootstrap - workers/celery_app.py: beat читает cron из БД при старте (fallback на env) - api/v1/admin_scrape.py: 5 новых endpoints для /objective/* Frontend (frontend/src/app/admin/scrape/objective/page.tsx): - PRIMARY blue блок «🌐 Наш sync» с input для override групп - Collapsible «⚙️ Настройки» с формой (cron + 8 параметров) → PUT в БД - Coverage-панель с PG counts + строка про SQLite Антона как legacy - Collapsible «🛠 Bootstrap ETL» — legacy-инструмент Beat schedule: вторник 06:00 МСК, ~10-15 мин на 4 группы (Свердл.обл + Челябинск + Тюмень + Пермь = ~700K квартир УрФО). Расписание и параметры меняются через админку без редеплоя (cron требует restart beat). Эмпирические находки об API (probe 2026-05-10): - 13 из 21 проверенных group_name доступны на тарифе (включая «Свердловская область», «Челябинск», «Тюмень», «Пермь», но НЕ «Свердловская обл» — формат имени строгий) - ComplexName требует БЕЗ префикса «ЖК» и БЕЗ кавычек - Поле «Банк» для всех 303k = NULL (тариф не отдаёт), но «Тип обременения» работает (36% строк = ипотека) → ipoteka_share возможен, банковская атрибуция — нет Docker: - bind-mount /opt/gendesign/site-finder:/data/anton-sqlite:ro в worker GitHub backlog: добавлены #22-25 (recommend_mix v3 — 4 сабтаска по улучшению алгоритма на основе фидбэка про POI / границы районов / конкурентов / окно данных / success-driven mix). Knowledge graph (memory/memory-gendesign.jsonl): обновлены entities Objective_Integration_May07_2026, Schema_Objective_v2_May07, Objective_API_Findings_May07, Module_Objective_Client + новый Session_End_May07_2026. TODO для прода: прописать OBJECTIVE_API_KEY=<key> в backend/.env + docker compose restart worker beat.	2026-05-10 19:54:15 +03:00
lekss361	aaa5d44e77	feat(objective): integrate api.objctv.ru — auth, schema, weekly sync ... backend/app/services/scrapers/objective.py: ObjectiveClient — GetToken (Bearer cached в Redis 25 min TTL) + GetReport v2 с UseDdu/UseDkp. 4 высокоуровневых метода: report_corpuses_summary, report_lots_summary, report_corpuses_per_flat, report_lots_per_flat. Retry 401/429/5xx, rate-limit 500ms, brotli. backend/app/workers/tasks/scrape_objective.py: Celery task sync_objective_group — еженедельно тянет 4 канон. отчёта по группе, raw payload в objective_raw_reports. celery_app.py: +include + beat «0 5 * * mon». data/sql/68_schema_objective.sql: 6 таблиц — runs, raw_reports (jsonb), oks (готовые ТЭП + escrow/debt), lots, lots_history (per-flat per-day), complex_mapping (Objective ↔ domrf_kn_objects, is_reviewed workflow). data/sql/69_objective_smoke.py: stand-alone GetToken + 4 отчёта → data/raw/objective_smoke/<ts>/. Используется один раз чтобы понять реальную схему payload перед написанием parser-слоя. config: OBJECTIVE_API_KEY, OBJECTIVE_DEFAULT_GROUP=Екатеринбург, OBJECTIVE_SYNC_CRON='0 5 * * mon'.	2026-05-07 21:04:00 +03:00