1253 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
bot-backend	0267d51731	fix(scrapers): renumber migration 114->115 (114 taken by disable_n1_sweep) ... 114_disable_n1_sweep.sql landed on main from #1556 — avoid duplicate prefix. No logic change; rename + test reference update only.	2026-06-16 19:06:13 +03:00
bot-backend	ddd31dce82	feat(scrapers): segment-aware generic deactivate_stale for yandex/cian ... Generalize the avito-only stale-listing deactivation into a per-source, segment-aware task and enable it for yandex/cian vtorichka. Why segment-aware (not blanket TTL like avito): yandex/cian city sweeps do not maintain full inventory coverage (cian_city_sweep disabled, yandex narrow 5-anchor nightly sweep refreshes ~48/day of 3969 active). A blanket TTL would deactivate live inventory — including 9659 active first-party novostroyki — because 'not seen in N days' means 'not re-covered', not 'sold'. So yandex/cian deactivate ONLY listing_segment='vtorichka' at TTL=30; novostroyki and NULL-segment are protected. avito unchanged (all segments, TTL=10). - deactivate_stale_listings(db, run_id, *, listing_source, ttl_days, segments) generic fn; deactivate_stale_avito_listings kept as back-compat wrapper. - scheduler dispatch: source.startswith('deactivate_stale_') -> generic trigger reading listing_source/ttl_days/segments from default_params jsonb. - 114 seed: deactivate_stale_yandex + deactivate_stale_cian (vtorichka, TTL=30). - segments is None => all segments; [] => none (ANY(ARRAY[]) matches nothing). Refs #759	2026-06-16 18:58:38 +03:00
bot-backend	a200025571	Merge pull request 'chore(scrapers): убрать устаревший n1-скраппер (n1.ru → cian), сохранить историч. данные' (#1556) from chore/remove-n1-scraper into main	2026-06-16 11:58:02 +00:00
bot-backend	c07b5d7c5d	chore(tradein): деактивировать N1.ru scraper — источник переехал в Cian ... N1.ru перестал быть самостоятельным источником (переехал в Cian, подтверждено владельцем 2026-06). Активный скрап прекращён; 389 исторических listings в БД сохраняются без изменений. Убрано: - app/services/scrapers/n1.py (удалён) - run_n1_city_sweep + N1CitySweepCounters + N1_SWEEP_MAX_CONSECUTIVE_FAILURES из scrape_pipeline.py - trigger_n1_city_sweep_run + dispatch elif в scheduler.py - POST /scrape/n1 + GET /scrape/n1/runs endpoints из admin.py - N1Scraper из scrape_around dispatch dict и ScrapeRequest.multi_room_n1 - "n1": 5.0 из scraper_settings._DEFAULT_DELAY_BY_SOURCE - tests/test_n1_city_sweep.py, tests/test_n1_floor_parse.py (удалены) Добавлено: - data/sql/114_disable_n1_sweep.sql: UPDATE scrape_schedules SET enabled=false WHERE source='n1_city_sweep' (idempotent, строка сохраняется для audit-истории) Сохранено (историческое): - schemas/search.py Literal[..."n1"] — API-фильтр исторических listings - config.py scrape_allowed_hosts n1.ru / ekaterinburg.n1.ru - exporters/trade_in_pdf.py — цвет/лейбл N1 для отображения старых записей - geocoder.py и admin.py docstring N1-комментарии где не активный код 1802 passed, 2 deselected (test_search_cache_hit, test_cian_valuation.cache_hit)	2026-06-16 14:50:51 +03:00
bot-backend	f160ad3859	Merge pull request 'fix(scrapers): cian detail — извлечение kitchen_area_m2 (part of #1553)' (#1555) from fix/cian-kitchen-area into main	2026-06-16 11:42:35 +00:00
bot-backend	b390c8334c	fix(tradein): cian detail-парсер не извлекал kitchen_area_m2 из offer.kitchenArea ... Добавлено поле kitchen_area_m2 в DetailEnrichment dataclass, извлечение через _parse_float(offer.get("kitchenArea")) в fetch_detail, и COALESCE(CAST(:ka AS double precision), kitchen_area_m2) в UPDATE listings внутри save_detail_enrichment. Имя поля kitchenArea — стандартное cian offer API (live-verify не делался, прокси недоступен в dev-окружении). Closes #1553	2026-06-16 14:37:49 +03:00
bot-backend	d76df54ece	Merge pull request 'feat(scrapers): yandex detail-enrichment — save + ночной backfill через прокси (part of #1553)' (#1554) from feat/yandex-detail-backfill into main	2026-06-16 11:18:18 +00:00
bot-backend	fd4a0d643d	fix(tradein): review minors — scheduler comment + save-error log label ... - scheduler.py: исправлен stale-комментарий yandex_detail_backfill (был: «YandexDetailScraper httpx, no proxy layer»; теперь: fetch via curl_cffi chrome120 + scraper_proxy_url, parse via YandexDetailScraper.parse) - yandex_detail_backfill.py: outer except — сообщение лога изменено на «save/iteration error for listing_id=%d» чтобы отличать save-ошибку от fetch/parse-None путей (run_id убран — он менее важен в этом scope)	2026-06-16 14:14:07 +03:00
bot-backend	e2e0291a0a	fix(tradein): yandex detail backfill — заменить fetch_detail на curl_cffi+proxy ... YandexDetailScraper.fetch_detail использует plain httpx (BaseScraper._http_get) без прокси и без TLS-fingerprinting → на датацентровом IP Yandex отдаёт капчу / shell-HTML → parse всегда None → backfill 0% эффективен. Замена: curl_cffi AsyncSession(chrome120 + scraper_proxy_url), идентично yandex_address_backfill.py (доказано работающий путь на проде). HTTP 200 → YandexDetailScraper.parse(html) (чистая функция, без сети). parse→None считается fail (captcha wall); consecutive None → abort после max_consecutive_blocks. Тесты обновлены: мокается AsyncSession.get + YandexDetailScraper.parse (не fetch_detail). Добавлены кейсы: non-200 → abort, proxy=None → proxies=None.	2026-06-16 14:05:22 +03:00
bot-backend	03e43f12b5	feat(tradein): yandex detail backfill — save_detail_enrichment + nightly task (#1553) ... - yandex_detail.py: добавить save_detail_enrichment(db, listing_id, enrichment) → bool; UPDATE listings COALESCE по 17 полям (rooms/area_m2/floor/total_floors/address/ description/repair_state/publish_date/views_total_yandex/publish_date_relative/ agency_name/agency_founded_year/agency_objects_count/metro_stations/photo_urls/ newbuilding_url/newbuilding_id); metro/photos → jsonb; detail_enriched_at = NOW() - app/tasks/yandex_detail_backfill.py: новый task run_yandex_detail_backfill; snapshot SELECT source='yandex' AND detail_enriched_at IS NULL; YandexDetailScraper async context manager; consecutive None abort (max_consecutive_blocks=5); budget guard; run lifecycle update_heartbeat/mark_done/mark_failed - scheduler.py: trigger_yandex_detail_backfill_run + elif source=='yandex_detail_backfill' в scheduler_loop; window 12-15 UTC (после avito_detail 09-12 UTC) - migration 113: ADD COLUMN IF NOT EXISTS photo_urls jsonb, newbuilding_url text, newbuilding_id text; seed scrape_schedules yandex_detail_backfill enabled=true - tests: 10 тестов (8 backfill + 2 save_detail_enrichment); 1819 passed 0 failed Closes #1553	2026-06-16 13:58:20 +03:00
bot-backend	1fc375c2cc	Merge pull request 'feat(scrapers): ночной avito detail-enrichment backfill для legacy listings (Closes #1551)' (#1552) from feat/avito-detail-backfill into main	2026-06-16 10:32:57 +00:00
bot-backend	227e82dc01	feat(tradein): avito detail-enrichment nightly backfill (#1551) ... - New task app/tasks/avito_detail_backfill.py with run_avito_detail_backfill() * Single snapshot SELECT at start (guarantees termination) * Same proxy/AsyncSession path as scrape_pipeline.py step 5 * Budget guard (budget_sec), consecutive block abort (mark_done not mark_failed) * rotate_ip() on every AvitoBlockedError; rollback on generic Exception (#1368) * start = time.monotonic() initialized before try so except can reference it - Scheduler wiring: trigger_avito_detail_backfill_run() + elif in scheduler_loop() - Migration 112: scrape_schedules INSERT window 09-12 UTC, batch_size=800, budget_sec=3600, request_delay_sec=6, max_consecutive_blocks=5 - 7 unit tests (no pytest-mock, unittest.mock only): all 7 passing, full CI suite 1809 passed	2026-06-16 13:25:29 +03:00
lekss361	b968b811cb	Merge pull request 'fix(scrapers): geocode-missing listings nightly scheduler — listings geom coverage backfill (all sources)' (#1549) from fix/geocode-missing-listings-scheduler into main ... Reviewed-on: #1549	2026-06-16 08:32:22 +00:00
lekss361	6747ce941b	Merge pull request 'fix(scrapers): avito detail parser — захват Жилая площадь / Высота потолков / Отделка' (#1550) from fix/avito-detail-apartment-fields into main ... Reviewed-on: #1550	2026-06-16 08:32:14 +00:00
bot-backend	e76a8dcaef	fix(tradein): review minors — ceiling_height_m numeric(5,2) + strengthen finishing test ... - Migration 111: ceiling_height_m numeric → numeric(5,2) (schema consistency with living_area_m2/kitchen_area_m2) - test_finishing_stored_lowercase_stripped: fixture now uses padded uppercase ' Чистовая ' to actually exercise .strip().lower(), asserts finishing == 'чистовая'	2026-06-16 10:24:20 +03:00
bot-backend	5285a03c98	fix(tradein): avito detail parser — добавить living_area_m2/ceiling_height_m/finishing ... STEP 0 (живая проверка 2026-06-16): три страницы EKB квартир вернули HTTP 200. Подтверждены метки: "Жилая площадь" (напр. "12.6 м²"), "Высота потолков" ("2.7 м"), "Отделка" (напр. "чистовая"). "Стоимость ремонта" — не обнаружена. - RUS_FIELD_MAP: добавлены три записи. - DetailEnrichment: новые поля living_area_m2/ceiling_height_m/finishing (в dataclass attrs и в locals-блоке parse_detail_html). - parse_detail_html: ветки elif для трёх полей; helper _parse_height_m(). - save_detail_enrichment: COALESCE-строки + params-dict для новых полей. - migration 111: ADD COLUMN IF NOT EXISTS ceiling_height_m, finishing (living_area_m2 уже существовала, migration не нужна). - Тесты: 5 новых кейсов в test_avito_detail_parse.py + 5 unit-тестов _parse_height_m. Полный suite: 1795 passed, 2 deselected.	2026-06-16 10:19:09 +03:00
bot-backend	17fa6544a2	fix(geocode): set geocode_tried_at on successful geocode UPDATE ... Add geocode_tried_at = NOW() to the success UPDATE SET clause so successfully-geocoded listings record their attempt time, matching the per-ID admin endpoint contract and the column spec.	2026-06-16 10:07:51 +03:00
bot-backend	a56420bdfb	fix(tradein): wire nightly geocode backfill для listings в in-app scheduler ... Root cause: 7674 avito/yandex/n1 listings з null-geom мають ненульовий address, але geocode_tried_at IS NULL — OS cron геокодує тільки deals, ніколи listings. Parts: - geocode_missing.py: WHERE додає geocode_tried_at IS NULL OR tried_at < 7d (loop-safe); при failure (geo=None / exception) позначаємо tried_at=NOW(). Новий run_geocode_missing_listings: batch loop з wall-clock budget (30m), update_heartbeat / mark_done / mark_failed lifecycle через scrape_runs. - scheduler.py: trigger_geocode_missing_listings_run + dispatch elif. - migration 110: seed scrape_schedules row (enabled=true, window 06-09 UTC). - tests: оновлено 2 тести (commit на tried_at UPDATE); +7 нових тестів. 1794 passed.	2026-06-16 10:01:49 +03:00
lekss361	aab07845f6	Merge pull request 'fix(tradein): починить 3 теста-регрессии из #1543 — разблокировать deploy gate' (#1548) from fix/week-review-test-regressions into main ... Reviewed-on: #1548	2026-06-16 06:08:12 +00:00
bot-backend	55049046b1	fix(tradein): починить 3 теста-регрессии из #1543 (sber rollback mock, matching tier0, cian price history) — deploy gate green	2026-06-16 09:03:27 +03:00
lekss361	7d39aebbd4	Merge pull request 'fix(tradein): hotfix миграции 108 — deploy red (typo + collision-safe репойнт)' (#1547) from fix/migration-108-collision-safe into main ... Reviewed-on: #1547	2026-06-16 05:48:38 +00:00
bot-backend	dca3de10e6	fix(tradein): миграция 108 — typo cl.cluster_key + collision-safe репойнт (dup-vs-dup) ... Деплой упал на 108: (1) c.cluster_key → cl.cluster_key (несуществующий алиас); (2) дедуп-перед-репойнтом сравнивал дубль только с каноном, но два разных дубля одного кластера с одинаковым unique-ключом коллизили при репойнте на канон. Переписаны 3c/houses_price_dynamics, 3d/house_imv_evaluations, 3e/house_suggestions, 3i/address_mismatch_audit на collision-safe паттерн (дедуп по целевому ключу, канон-строка выживает). address_mismatch_audit имеет UNIQUE(house_id,audit_batch) — заголовок ошибочно помечал «нет UNIQUE». Валидировано dry-run против прод-данных (4478 реальных дублей): houses 13456 → 8978, clusters_merged=3878, чисто end-to-end.	2026-06-16 08:46:44 +03:00
lekss361	8d1a13ee5e	Merge pull request 'fix(week-review): аудит код-ревью — 181 фиксов (label week ревью 1)' (#1543) from fix/week-review-audit into main ... Reviewed-on: #1543	2026-06-16 05:46:11 +00:00
lekss361	91c2f6a6a8	Merge pull request 'fix(tradein): avito houses dedup через match_or_create_house + merge-миграция дублей (108)' (#1546) from fix/avito-houses-dedup-merge into main ... Reviewed-on: #1546	2026-06-16 05:38:23 +00:00
bot-backend	bc504d9519	fix(tradein): M1 review — short_address для match_or_create_house (alias keyspace)	2026-06-16 08:35:38 +03:00
bot-backend	be70cacf18	test: выровнять weather_cache/nspd_geo тесты под #1377/#1336 (CI red→green) ... backend-tests CI упал на 4 стейл-тестах — код автофиксов обновили, тесты нет: - test_weather_cache: фикстура _make_air_response отдавала hourly-форму, а код (#1377) теперь читает current-bucket → current.time пуст → None. Фикстура → current. - test_nspd_geo: 2 теста стерегли ошибочный ST_Transform(3857→4326), который #1336 убрал (геометрия уже WGS84, иначе Null Island). Ассерты через _strip_sql_comments (как сиблинг parcel-тест) → ST_SetSRID(...,4326) без ST_Transform. Переименованы. Локально: 38 passed (оба файла).	2026-06-16 08:35:14 +03:00
bot-backend	b72af1cc49	fix(tradein): avito houses dedup через match_or_create_house + merge-миграция дублей (108) ... Корень проблемы: avito_houses.py обходил канонический matching-путь через прямой INSERT ON CONFLICT(source, ext_house_id), создавая дубли для физически одного дома (~33% таблицы houses = ~4479 лишних строк). Forward fix: upsert_house/upsert_house_with_url → _persist_house(db, h, url), который вызывает match_or_create_house (3-tier: source_exact→fingerprint→geo→new, с pg_advisory_xact_lock) и затем UPDATE с enrichment-полями. avito-авторитетные поля (rating, developer, технические хар-ки) перезаписываются напрямую; address/lat/lon/year_built — через COALESCE чтобы не затирать canonical-данные. Merge-миграция 108: cluster_key по cadastral/address/geo → canonical (max не-NULL полей, geom присутствует, min(id)) → репойнт всех 11 зависимых таблиц с обработкой UNIQUE-коллизий → DELETE дублей → backfill house_sources/aliases.	2026-06-15 22:40:46 +03:00
bot-backend	edfdd04923	fix(frontend): regen api-types.ts — rate_ms в BulkGeoEnqueueRequest ... Бэкенд-схема BulkGeoEnqueueRequest получила поле rate_ms (int, default 600), но api-types.ts не был перегенерён → CI openapi-codegen-check (drift-gate) RED. Добавлено сгенерированное поле (проверено: openapi-typescript 7.13.0 + prettier defaults даёт байт-идентичный результат).	2026-06-15 22:32:21 +03:00
bot-backend	c6bfce3d1a	fix(migrations): живые миграции для прод-фиксов #1361/#1419/#1364 ... Правки уже-применённых миграций (85/062/080) не долетают до прода через _schema_migrations. Дописаны отдельные миграции на живых таблицах: - 158: pzz_zones_ekb UNIQUE NULLS NOT DISTINCT (rosreestr_id) (#1361) - tradein 108: повторный backfill Avito-адресов улучшенным regexp (#1419) - tradein 109: пересчёт asking_to_sold_ratios secondary-only (#1364/#1186) Все три dry-run (BEGIN..ROLLBACK) против прод-схемы: PSQL_RC=0.	2026-06-15 21:31:28 +03:00
lekss361	291c000792	Merge pull request 'fix(tradein): yandex newbuilding rating drift — «4.3из 5» без пробела (#974)' (#1545) from fix/yandex-nb-rating-drift into main ... Reviewed-on: #1545	2026-06-15 18:31:12 +00:00
bot-backend	278dafba76	fix(tradein): yandex newbuilding rating drift — "4.3из 5" без пробела (#974) ... Валидационный yandex_newbuilding_sweep (run 80) заполнял ratings_count / text_reviews_count / developer_name / lat-lon, но rating оставался NULL для всех ЖК. Live-диагностика (прод-браузер, ЖК Татлин/Рио 2026-06-15): рейтинг рендерится как «4.3из 5» / «4,5из 5» — БЕЗ пробела перед «из» (nbsp внутри «из 5»), а RE_RATING требовал \s+ перед «из» → match=None. - RE_RATING: (\d[.,]\d)\s+из\s+5 → (\d[.,]\d)\s*из\s+5 (пробел перед «из» опционален). \s уже матчит nbsp, поэтому «из\xa05» обрабатывался; ломал именно отсутствующий разделитель перед «из». - test_parse_rating_no_space_before_iz: регрессия на обе дрейфовые формы. Существующие rating-тесты («4,3 из 5» с пробелом) остаются зелёными (\s* ⊇ \s+). Refs #974	2026-06-15 21:29:43 +03:00
lekss361	0f95a15c8e	Merge pull request 'fix(tradein): cian newbuilding MFE/reliability drift — initialState extraction (#972)' (#1544) from fix/cian-newbuilding-mfe-drift into main ... Reviewed-on: #1544	2026-06-15 18:13:45 +00:00
bot-backend	891598a5d7	fix(tradein): cian newbuilding MFE/reliability drift — initialState extraction (#972) ... Cian переименовал MFE ЖК-карточки и переместил reliability-контейнер, из-за чего fetch_newbuilding получал initialState=None → failed_fetch для всех домов (verified live 2026-06-15 на прод-браузере через мобильный egress): - MFE: 'newbuilding-card-desktop-fichering-frontend' → 'newbuilding-card-desktop-frontend' (старое имя на странице отсутствует → extract_state=None → backfill succeeded=0) - reliability: initialState.reliability → initialState.reliabilityState.reliability (inner dict сохранил форму {checkStatus, details[], banner, actions}) Проверено на ЖК «Светлый» (nb 17556): newbuilding.id, realtyValuation chart (27 точек), reliabilityState.reliability.checkStatus + 2 details — всё извлекается. test_fetch_newbuilding_parses_state: fixture обновлён под reliabilityState.reliability. Полный suite зелёный (1779 passed; 2 несвязанных env-only локальных падения — cian_valuation cache / search_api auth — в CI проходят). Refs #972	2026-06-15 21:12:05 +03:00
bot-backend	479f01ae1a	Merge remote-tracking branch 'forgejo/main' into HEAD ... # Conflicts: # backend/app/services/site_finder/gate_verdict.py	2026-06-15 21:07:05 +03:00
lekss361	483fdb0caa	Merge pull request 'feat(tradein): scheduler-источник cian_city_sweep (newbuilding Phase 4), seed dormant (#973)' (#1296) from feat/cian-city-sweep-schedule into main ... Reviewed-on: #1296	2026-06-15 17:48:33 +00:00
lekss361	a77a175f66	Merge pull request 'fix(tradein): обновить test_scraper_proxy под BrowserFetcher-транспорт fetch_newbuilding' (#1542) from fix/cian-newbuilding-proxy-tests into main ... Reviewed-on: #1542	2026-06-15 17:48:12 +00:00
Light1YT	7fd69e90cd	fix(site-finder/compare): thread velocityDataAvailable into compare columns (#1422)	2026-06-15 21:33:10 +05:00
bot-backend	1241d7fe4d	fix(tradein): переименовать seed-миграцию 101→103 (коллизия с gendesign_reader #976)	2026-06-15 19:10:20 +03:00
bot-backend	b0a4df48e1	feat(tradein): scheduler-источник cian_city_sweep (newbuilding Phase 4), seed dormant (#973)	2026-06-15 19:09:26 +03:00
bot-backend	35bc792cf2	fix(tradein): обновить test_scraper_proxy под BrowserFetcher-транспорт fetch_newbuilding — зелёный CI-гейт (#972)	2026-06-15 19:02:13 +03:00
lekss361	b3e7a9f9fa	Merge pull request 'fix(tradein): cian fetch_newbuilding через BrowserFetcher (camoufox) — initialState под анти-ботом (#972)' (#1540) from fix/cian-newbuilding-browser-fetch into main ... Reviewed-on: #1540	2026-06-15 15:44:42 +00:00
lekss361	3859624d1d	Merge pull request 'feat(tradein): yandex_newbuilding sweep-entrypoint + market-схема enrichment, seed dormant (#974)' (#1541) from feat/yandex-newbuilding-sweep into main ... Reviewed-on: #1541	2026-06-15 15:44:27 +00:00
bot-backend	c9daf8e268	fix(tradein): yandex sweep — guard ext_id=NULL перед fetch_jk + cleanup httpx (#974 review M1/M3) ... M1: добавлен guard перед вызовом fetch_jk — если ext_id пустой/None при наличии jk_slug, логируем warning, incrementим failed_fetch и пропускаем (continue). Пустой jk_id формирует битый URL /{slug}-/ и коллизию на UNIQUE ext_id=''. M3: в admin.py /scrape/yandex-newbuilding заменён `async with YandexNewbuildingScraper()` на прямое `scraper = YandexNewbuildingScraper()` — fetch_jk использует внутренний BrowserFetcher, httpx-клиент BaseScraper открывался вхолостую. Тесты: добавлен test_sweep_slug_present_but_ext_id_null_skips_fetch.	2026-06-15 18:41:08 +03:00
Light1YT	8279b0ee1f	fix(week-review): cross-file добивка код-ревью (#1338, #1363, #1419, #1421, #1424, #1480) ... - #1338 concepts.py: geometry.generate вынесен в run_in_threadpool (не блокирует event loop) - #1363 house_imv_backfill.py + scrape_pipeline.py: периодический heartbeat в долгих IMV-фазах (reap_zombies не помечает живой sweep zombie) - #1419 site-finder-api.ts: placeholderData keepPreviousData для bbox-запроса (KPI не мигает «0/0» при пане/зуме) - #1421 site-finder-api.ts: area_ha nullable + адаптер не подставляет 0; null-гейт потребителей EntryMap.tsx, ParcelDrawer.tsx - #1424/#1480 EstimateResult.tsx: блок «Параметры объекта» скрыт при восстановлении по shared-ссылке (нет мусора «0 м²/Студия/Этаж 0 из 0») Верификация: tsc --noEmit 0 ошибок; py_compile OK.	2026-06-15 20:29:00 +05:00
bot-backend	feab585ad5	feat(tradein): yandex_newbuilding sweep-entrypoint + market-схема enrichment, seed dormant (#974) ... - SQL 105: CREATE SCHEMA market + market.yandex_jk_enrichment (ext_id UNIQUE, upsert-ready), houses.yandex_jk_slug, GRANT gendesign_reader на market-слой - SQL 106: seed scrape_schedules yandex_newbuilding_sweep (enabled=false dormant, окно 02-05 UTC) - yandex_newbuilding.py: fetch_jk → BrowserFetcher (camoufox), add resolve_yandex_jk_slug (SERP siteId query через BrowserFetcher, slug из _JK_SLUG_RE href) - tasks/yandex_newbuilding_sweep.py: enrich_yandex_newbuilding_sweep (resolve slug → fetch_jk → UPSERT market.yandex_jk_enrichment, SAVEPOINT per house, dry_run, resumable) - admin.py: POST /scrape/yandex-newbuilding-sweep + GET .../runs - scheduler.py: trigger_yandex_newbuilding_sweep_run + dispatch elif branch - tests: 8 task tests + 3 scheduler dispatch tests (20 pass)	2026-06-15 18:28:58 +03:00
Light1YT	86e9ea2937	fix(week-review): автофиксы код-ревью — 169 issue (label «week ревью 1») ... Многоагентный аудит + имплементация: один воркер на файл, точечные правки. Верификация: py_compile (47/47 .py) + tsc --noEmit (0 ошибок). Unit-тесты не прогонялись (окружение не поднято: rollup native dep / нет pytest-venv). Полностью исправлено (169): #1336, #1337, #1339, #1340, #1341, #1342, #1343, #1345, #1346, #1348, #1349, #1350, #1351, #1354, #1356, #1358, #1359, #1360, #1362, #1364, #1365, #1366, #1367, #1368, #1369, #1370, #1371, #1372, #1373, #1374, #1375, #1376, #1377, #1378, #1379, #1380, #1381, #1382, #1384, #1385, #1386, #1387, #1388, #1389, #1390, #1391, #1392, #1394, #1395, #1396, #1397, #1399, #1400, #1401, #1402, #1403, #1404, #1408, #1409, #1410, #1411, #1412, #1413, #1414, #1415, #1416, #1417, #1418, #1420, #1423, #1425, #1426, #1427, #1428, #1429, #1430, #1431, #1432, #1433, #1434, #1435, #1437, #1438, #1439, #1440, #1441, #1442, #1443, #1444, #1445, #1446, #1447, #1448, #1449, #1450, #1451, #1452, #1453, #1454, #1455, #1456, #1457, #1458, #1459, #1460, #1461, #1462, #1463, #1464, #1465, #1466, #1467, #1468, #1469, #1471, #1472, #1473, #1474, #1476, #1478, #1479, #1481, #1482, #1483, #1484, #1485, #1487, #1488, #1489, #1490, #1491, #1492, #1493, #1494, #1495, #1496, #1497, #1499, #1500, #1501, #1502, #1504, #1505, #1506, #1507, #1510, #1514, #1515, #1516, #1517, #1518, #1519, #1521, #1522, #1523, #1524, #1525, #1526, #1527, #1528, #1529, #1531, #1532, #1533, #1534, #1535, #1536, #1537, #1538 Частично (9, in-file часть, остаток cross-file): #1361, #1419, #1422, #1424, #1470, #1475, #1477, #1480, #1498 Требуют cross-file (3, не тронуты): #1338, #1363, #1421 Пропущено (1): #1539 Не входило в партию: 22 needs-Leha issue (нужны решения владельца). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-15 20:21:11 +05:00
bot-backend	480fbba3ca	fix(tradein): cian fetch_newbuilding через BrowserFetcher (camoufox) — initialState под анти-ботом (#972) ... curl_cffi получает zhk-*.cian.ru без initialState; tradein-browser (camoufox) тянет страницу с 1.17MB initialState. Заменяем транспорт только для page-fetch; session= param сохранён для backward-compat вызывающих. resolve_cian_zhk_url_via_search остаётся на curl_cffi SERP. Тесты: 21 passed.	2026-06-15 18:19:32 +03:00
bot-backend	cab19020a9	perf(site-finder): pushdown obj_pricing CTE to nearby competitors (#70/#307) (#1335)	2026-06-14 16:58:43 +00:00
bot-backend	863577beb6	feat(sql): corroborated trgm backfill objective_complex_mapping +17 (#307 OBJ-2 r2) (#1333)	2026-06-14 16:45:55 +00:00
bot-backend	5bf30570a5	perf(sql): geography GIST + covering index для analyze-пути Site Finder (157) (#1334)	2026-06-14 16:45:22 +00:00