1639 commits

This branch

This branch

All branches

Author	SHA1	Message	Date
bot-backend	533299ea47	feat(tradein/scrapers): full_load пропускает листинги обновлённые сегодня при повторном прогоне (skip_seen_today)	2026-06-20 12:13:32 +03:00
lekss361	7d92411347	Merge pull request 'feat(tradein-browser): per-provider page-interval override (#1812 follow-up)' (#1826) from feat/browser-per-provider-pacing into main ... Reviewed-on: #1826	2026-06-20 08:47:06 +00:00
lekss361	89590424f5	Merge pull request 'fix(tradein/db): widen offer_price_history.diff_percent (5,2)→(8,2) + clamp в триггере (краш full_load)' (#1827) from fix/tradein-diff-percent-overflow into main ... Reviewed-on: #1827	2026-06-20 08:46:58 +00:00
bot-backend	89cbddf318	fix(tradein/db): widen offer_price_history.diff_percent numeric(5,2)→(8,2) + clamp в триггере (краш full_load)	2026-06-20 11:43:23 +03:00
bot-backend	3f30c1c924	feat(tradein-browser): per-provider page-interval override (BROWSER_MIN_PAGE_INTERVAL_S_{PROVIDER}) — #1812 follow-up	2026-06-20 10:44:00 +03:00
lekss361	68f6dad62f	Merge pull request 'fix(scrapers/ui): дедуп queryKey cian test-auth + a11y (Phase-1 polish)' (#1824) from fix/scrapers-phase1-frontend into main ... Reviewed-on: #1824	2026-06-20 07:21:30 +00:00
lekss361	298b43e399	Merge pull request 'fix(scrapers/backend): socks5 health-probe + status Literal + #1820 ext_id=0 dedup' (#1825) from fix/scrapers-phase1-backend into main ... Reviewed-on: #1825	2026-06-20 07:21:20 +00:00
lekss361	6176028237	Merge pull request 'feat(tradein/ui): две равноправные hero-цены (выставить/получить) + компактный ряд бенчмарков' (#1823) from fix/tradein-estimate-hero-restructure into main ... Reviewed-on: #1823	2026-06-20 07:18:12 +00:00
bot-backend	8361961a44	fix(scrapers/backend): socks5 health-probe (httpx[socks]) + status Literal whitelist + #1820 ext_id=0 dedup-гард ... - pyproject.toml: httpx[socks]>=0.27.0 — тянет socksio, socks5:// прокси в _probe_current_ip работает прозрачно - admin.py list_scrape_runs_unified: status Literal["done","running","banned","zombie","failed","cancelled"] вместо str|None — невалидные значения → 422 - avito_houses.py save_house_catalog_enrichment: гард ext_id=0 + нет адреса → skip without DB touch; два id-less novostroyka URL не схлопываются в bogus avito:0 в house_sources - тесты: test_unified_runs_invalid_status_422 + test_unified_runs_valid_statuses_200; test_save_house_catalog_enrichment_skips_zero_ext_id_no_address + *_with_address_persists	2026-06-20 10:17:37 +03:00
bot-backend	fa65c3f212	fix(scrapers/ui): дедуп queryKey cian test-auth + a11y (th scope, табы ARIA, статус-точки aria-label) ... - cian/page.tsx: отдельный queryKey ["cian-test-auth", "manual"] для ручного testAuthQuery в CianCookiesSection — устраняет кросс-контаминацию с автопуллингом useTestAuth() (refetchInterval:60s) и ручной кнопкой "Test Current Session" - RunsTable.tsx, ScraperPage.tsx (RunsLogSection), ProxyHealthCard.tsx: scope="col" на все <th> в thead — соответствие WCAG SC 1.3.1 (Info and Relationships) - Topbar.tsx: aria-current="page" на активный nav-link вместо tablist/tabpanel — корректный паттерн для link-based навигации между отдельными страницами - ProxyHealthCard.tsx: role="img" + aria-label на цветовые dot-индикаторы статуса browser-инстансов — цвет больше не единственный носитель смысла (WCAG 1.4.1)	2026-06-20 10:14:58 +03:00
bot-backend	44fdab2d5e	feat(tradein/ui): две равноправные hero-цены (выставить/получить) + компактный ряд бенчмарков, убрать дубли	2026-06-20 10:14:27 +03:00
lekss361	7639dfe5fd	Merge pull request 'fix(scrapers): avito pipeline — новостройки house graceful + AvitoBlockedError per-item не крашит прогон (#1820)' (#1822) from fix/avito-pipeline-novostroyki-blocks into main ... Reviewed-on: #1822	2026-06-20 06:57:55 +00:00
lekss361	dae2b5a5d9	Merge pull request 'fix(tradein/ui): убрать debug cache-key, гейт тонких графиков, разграничить динамику цен' (#1821) from fix/tradein-estimate-ui-cleanup-v2 into main ... Reviewed-on: #1821	2026-06-20 06:55:03 +00:00
bot-backend	cd91d5e279	fix(scrapers): avito pipeline — новостройки house graceful (без housePage), AvitoBlockedError per-item не крашит прогон (#1820)	2026-06-20 09:53:46 +03:00
bot-backend	237c18597f	fix(tradein/ui): убрать debug cache-key, гейт тонких графиков, дедуп динамики цен	2026-06-20 09:49:15 +03:00
lekss361	86f4602f1d	Merge pull request 'feat(tradein-frontend): единая scrapers-страница — табы, proxy-health+rotate, runs-история (scrapers UI Phase 1)' (#1819) from feat/scrapers-unified-page into main ... Reviewed-on: #1819	2026-06-20 06:40:55 +00:00
lekss361	3fa35be26e	Merge pull request 'feat(admin): unified scrape/runs + scraper/health + rotate-ip API (scrapers UI Phase 1)' (#1818) from feat/scraper-admin-apis into main ... Reviewed-on: #1818	2026-06-20 06:40:35 +00:00
bot-backend	dd339d3302	feat(tradein-frontend): единая scrapers-страница — табы Avito/Cian/Yandex, proxy-health+rotate, runs-история, консолидация триггеров, удалён cian-cookies редирект	2026-06-20 09:33:07 +03:00
bot-backend	2f88a71915	feat(admin): unified scrape/runs + scraper/health + rotate-ip API для единой scrapers-страницы	2026-06-20 09:25:57 +03:00
lekss361	faa1af9c56	Merge pull request 'fix(tradein/estimator): расширить corridor-clamp slack 0.25→0.40 для премиума без own-листингов' (#1817) from fix/tradein-corridor-slack-040 into main ... Reviewed-on: #1817	2026-06-20 06:19:13 +00:00
bot-backend	3cb11355e6	fix(tradein/estimator): расширить corridor-clamp slack 0.25→0.40 для премиума без own-листингов	2026-06-20 09:16:00 +03:00
lekss361	3ff4e067e2	Merge pull request 'fix(scrapers): avito_detail_backfill — снапшот ЕКБ+active, detail browser-only без curl-fallback на бан (#1814)' (#1815) from fix/avito-detail-backfill-ekb-browser-only into main ... Reviewed-on: #1815	2026-06-20 05:34:18 +00:00
bot-backend	37fc50ad08	fix(scrapers): avito_detail_backfill — снапшот ЕКБ+active, detail browser-only без curl-fallback на бан (#1814)	2026-06-19 21:58:35 +03:00
lekss361	2402287d64	Merge pull request 'feat(browser): per-provider page pacing + resource-block tuning — снизить proxy fan-out (#1812)' (#1813) from feat/browser-reduce-page-fanout into main ... Reviewed-on: #1813	2026-06-19 18:30:13 +00:00
bot-backend	59b5d15752	feat(browser): block font/media + per-provider page pacing — снизить proxy fan-out (#1812)	2026-06-19 21:28:09 +03:00
lekss361	ebdd70a38d	Merge pull request 'feat(scrapers): avito SERP дефолт на BrowserFetcher (camoufox), curl_cffi fallback (#1805)' (#1809) from feat/avito-serp-browser-default into main ... Reviewed-on: #1809	2026-06-19 17:53:12 +00:00
lekss361	65cec74cca	Merge pull request 'feat(scrapers): cian SERP на BrowserFetcher (camoufox), снят code-side rotate (#1806)' (#1810) from feat/cian-serp-browser into main ... Reviewed-on: #1810	2026-06-19 17:51:59 +00:00
lekss361	c88170b680	Merge pull request 'fix(tradein-frontend): Мера estimate — hydration #418 + photos 422 (#1803 #1804)' (#1808) from fix/mera-estimate-ui-artifacts into main ... Reviewed-on: #1808	2026-06-19 17:49:44 +00:00
bot-backend	cbc20cfe54	fix(tradein-frontend): Мера estimate — hydration #418 + photos 422 graceful (#1803 #1804) ... #1803 HeroTransparency: formatRuDateTime добавляет timeZone:"UTC" (SSR Node UTC vs клиент Europe/Moscow давали разный час → React minified error #418). Date.now() fallback (data_freshness_minutes без last_scraped_at) вынесен в useEffect/useState — не выполняется при SSR. #1804 PhotoUpload: guard isRealEstimateId() проверяет UUID4 regex и отклоняет preview-0000-... — GET/POST /photos с фейковым ID больше не слаются → нет 422. Счётчик показывает «— / 12» вместо «0 / 12», input disabled в preview-режиме.	2026-06-19 20:44:28 +03:00
bot-backend	93f7c9ae3f	feat(scrapers): avito SERP дефолт на BrowserFetcher (camoufox), curl_cffi fallback (#1805)	2026-06-19 20:42:04 +03:00
bot-backend	b1fb0c5711	feat(scrapers): cian SERP на BrowserFetcher (camoufox), снят code-side rotate (#1806)	2026-06-19 20:41:44 +03:00
lekss361	abbe0b871d	Merge pull request 'fix(tradein/estimator): clamp premium headline к коридору сделок + робастный anchor (#1795)' (#1807) from fix/tradein-estimator-premium-clamp-1795 into main ... Reviewed-on: #1807	2026-06-19 17:37:58 +00:00
bot-backend	494f2e00e0	fix(tradein/estimator): clamp premium headline к коридору сделок + робастный anchor (#1795)	2026-06-19 20:34:48 +03:00
lekss361	a534dece06	Merge pull request 'test(browser): удалить устаревшие pool-routing тесты (CI red после #1793)' (#1802) from fix/remove-obsolete-browser-pool-tests into main ... Reviewed-on: #1802	2026-06-19 17:13:50 +00:00
bot-backend	8467cc647f	test(browser): remove obsolete pool-routing tests (FEATURE_BROWSER_POOL_ENABLED/_build_proxy_map removed in #1793 per-provider rewrite; routing covered by browser/test_server.py)	2026-06-19 20:12:51 +03:00
lekss361	2e3291abc9	Merge pull request 'fix(scrapers): cian_detail — ceiling из offer.building.ceilingHeight, repair из decoration (#1791)' (#1800) from feat/cian-detail-field-mapping into main ... Reviewed-on: #1800	2026-06-19 17:07:14 +00:00
lekss361	95069a3daf	Merge pull request 'fix(scrapers): yandex_detail — area/ceiling/kitchen из INITIAL_STATE, покрытие area 63%→~95% (#1792)' (#1799) from feat/yandex-detail-field-coverage into main ... Reviewed-on: #1799	2026-06-19 17:07:02 +00:00
bot-backend	2d3ca78b0b	fix(scrapers): cian_detail — ceiling/repair актуальные пути state (#1791) ... ceiling_height на detail-странице лежит в offer.building.ceilingHeight, а не offer.ceilingHeight (всегда null) → было 0% покрытия. repairType часто пустой, структурное значение приходит как offer.decoration ('preFine'/...) — читаем оба + добавлен preFine->needs_repair и case-insensitive lookup в нормализаторе. kitchen/description пути уже верны (offer.kitchenArea/offer.description) — низкое покрытие = мёртвый CIAN_PROXY_URL, не маппинг. Регресс-тест на реальной карточке 330982715.	2026-06-19 19:57:18 +03:00
lekss361	7c9a3cf09d	Merge pull request 'fix(tradein-browser): camoufox hardening — block_images/webrtc + форс МСК tz (#1796)' (#1798) from fix/tradein-browser-camoufox-hardening into main ... Reviewed-on: #1798	2026-06-19 16:50:24 +00:00
bot-backend	b5f439a095	fix(tradein-browser): camoufox hardening — block_images/webrtc + forced MSK tz ... Со всеми знаниями из ресёрча camoufox (#1796 Avito anti-bot): - block_images=True — быстрее грузит (HTML/JSON, без рендера картинок). - block_webrtc=True — закрывает WebRTC-leak реального IP мимо прокси. - config timezone=Europe/Moscow — форсим +3 МСК: geoip+БэкКоннект (ротация IP на каждый запрос) давал геолик tz↔IP (Ульяновск UTC+4 при выходе МСК/СПб).	2026-06-19 19:49:14 +03:00
bot-backend	0084efc12a	fix(scrapers): yandex_detail — area/ceiling из структурного блока, покрытие area 63%->~95% (#1792)	2026-06-19 19:37:51 +03:00
lekss361	059fa83589	Merge pull request 'fix(scrapers): avito_houses — отзывы/история/тип ЖК долетают (виджет-payload вложен глубже) (#1789)' (#1797) from feat/avito-houses-mfe-state into main ... Reviewed-on: #1797	2026-06-19 16:27:03 +00:00
bot-backend	464e9faf7b	fix(scrapers): avito_houses читает MFE props-вложенность виджетов — отзывы/история/тип ЖК теперь долетают (#1789)	2026-06-19 19:21:49 +03:00
lekss361	4755f8bd13	Merge pull request 'feat(browser): per-provider concurrency — параллель между поставщиками, ≤1 коннект на поставщика (#1793)' (#1794) from feat/browser-per-provider-concurrency into main ... Reviewed-on: #1794	2026-06-19 16:02:13 +00:00
lekss361	fb7b3323e4	Merge pull request 'fix(tradein): verify=False для WFS геопортала ЕКБ (российский CA-серт)' (#1788) from fix/tradein-ekb-geoportal-ssl-verify into main ... Reviewed-on: #1788	2026-06-19 16:02:04 +00:00
bot-backend	1578dd5a5d	fixup(browser): source-fallback routing, lazy launch, test stability (#1793 review)	2026-06-19 19:00:10 +03:00
bot-backend	77ae4ca779	feat(browser): per-provider concurrency — параллель между поставщиками, ≤1 коннект на поставщика (#1793)	2026-06-19 18:52:55 +03:00
bot-backend	112e5cc2f1	fix(tradein): verify=False for EKB geoportal WFS (Russian-CA cert) ... The geoportal serves a Russian national-CA (Минцифры) TLS cert absent from httpx's default trust store → CERTIFICATE_VERIFY_FAILED, loader fetched 0. Public read-only data → verify=False (same as the curl -k used in recon).	2026-06-19 18:19:03 +03:00
lekss361	7494255180	Merge pull request 'fix(tradein): чинит main-red — патч _geoportal_house_match в cadastral-тесте (хвост #1786)' (#1787) from fix/tradein-geoportal-test-cadastral into main ... Reviewed-on: #1787	2026-06-19 15:07:31 +00:00
bot-backend	91b04a1851	test(tradein): patch _geoportal_house_match in cadastral-before-yandex test ... #1786 merged before the test fix landed → main red on test_geocode_uses_cadastral_before_yandex. The new geoportal house-match tier runs first in geocode(); this legacy cadastral test must mock it to None so it exercises the cadastral forward path (else the MagicMock db row leaks through the new tier as lat=1.0).	2026-06-19 18:06:28 +03:00