gendesign/backend/tests/services/scrapers
bot-backend bc8d00ea43
All checks were successful
CI Trade-In / changes (pull_request) Successful in 18s
CI / changes (pull_request) Successful in 20s
CI Trade-In / backend-tests (pull_request) Has been skipped
CI Trade-In / browser-tests (pull_request) Has been skipped
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Successful in 3m45s
CI / backend-tests (pull_request) Successful in 16m44s
test(scrapers/krt): вернуть в прогон проверку многоблочной страницы (#2778)
`TestMultiSiteCountFromDump` читал `.playwright-mcp/ekb-docs/krt_page_raw.html`
и пропускался всегда: файла нет ни в репозитории, ни на дисках (шесть каталогов
`.playwright-mcp` — ни в одном нет `ekb-docs/`), ни на прод-VPS (`find / -xdev`
по имени и по каталогу — пусто).

Восстановить из БД тоже нельзя, хотя выглядит будто можно: на проде
`ekb_krt_sites` = 15 строк с непустым `raw_block`, но там лежит НЕ HTML —
`raw_block=block_text[:4000]` (ekb_krt_registry.py:338), то есть уже очищенный
от тегов текст. Вход парсера из него не собрать.

Зато свойство, ради которого тесты писались, от дампа не зависит: страница
собирается из блоков, которые УЖЕ лежат в этом тест-файле (`_BRUSNIKA_BLOCK` +
`_BABUSHKINA_BLOCK` + третий, «нежилой»), обёрнутых в один `<div>`. Проверяется:
  • три блока в двух годовых секциях → три площадки;
  • нумерация на реальной странице начинается заново каждый год, поэтому «2.»
    встречается дважды — и site_name обязан остаться уникальным;
  • границы блоков не текут: договор 1-2/21.7-14 и «Брусника» остаются у своей
    площадки, не прилипая к соседям;
  • вид КРТ читается поблочно (третий — «нежилой застройки»).

Плюс это первый тест, который проходит через ветку `_extract_krt_section` с
`find_parent` (контейнер `<div>`); одиночные блоки её не касаются вовсе.

ЧЕГО ЗАМЕНА НЕ ПРОВЕРЯЕТ — сказано вслух в комментарии у теста и в #2778:
утверждение «на живой странице ≥14 площадок» синтетикой не заменяется. Оно
вернётся, когда в репозитории появится образец страницы.

Сторож пропусков: две строки убраны из tests/skip_allowlist.txt — иначе он ждал
бы пропуска, которого больше нет. Оставшиеся 6 (PDF-образец ППТ) переписаны с
указанием, какой файл нужен, от кого и что оживёт: #2778.

Верификация: tests/services/scrapers/ — 292 passed, 6 skipped, exit 0. Все 6
пропусков названы в логе (`-rs`) и учтены сторожем. В самом
test_ekb_krt_registry.py пропусков больше нет: 31 passed.

Refs #2778
2026-08-07 13:57:26 +05:00
..
__init__.py feat(22d): domrf_catalog_object scraper — fill ~25 NULL kn_objects cols from SSR __NEXT_DATA__ (#335) 2026-05-17 21:26:22 +00:00
test_domrf_catalog_browsersession_throttle.py fix(scrapers): WAF-guard эндпоинтов + throttled catalog BrowserSession (#2445-D1/D2) (#2459) 2026-07-05 20:09:06 +00:00
test_domrf_catalog_object.py feat(22d): domrf_catalog_object scraper — fill ~25 NULL kn_objects cols from SSR __NEXT_DATA__ (#335) 2026-05-17 21:26:22 +00:00
test_domrf_catalog_object_browsersession_throttle.py fix(scrapers): WAF-guard эндпоинтов + throttled catalog BrowserSession (#2445-D1/D2) (#2459) 2026-07-05 20:09:06 +00:00
test_domrf_catalog_parse.py fix(scrapers): narrow domrf Level-1 status badge-class regex (#1609 follow-up) 2026-06-17 21:21:56 +03:00
test_domrf_flat_plan_url.py feat(scrapers): extract + download DOM.РФ flat plan images (#2440) (#2441) 2026-07-05 16:23:29 +00:00
test_domrf_kn_isolation.py fix(scrapers): разблокировать domrf_kn flats — изоляция flats от poison-extras + throttle (#1945) (#2050) 2026-06-28 13:03:43 +00:00
test_domrf_kn_normalize.py feat(scrapers): wire per-flat DOM.РФ catalog scraper + propagate catalog_url_hash (#2442) (#2444) 2026-07-05 17:00:58 +00:00
test_domrf_kn_upsert_sql.py fix(analytics): de-inflate domrf_kn snapshot counts (8.49×) + backfill UPSERT columns (#2464) (#2470) 2026-07-08 07:30:12 +00:00
test_ekb_krt_registry.py test(scrapers/krt): вернуть в прогон проверку многоблочной страницы (#2778) 2026-08-07 13:57:26 +05:00
test_ekb_ppt_tep_parser.py fix(tests): починить и вычистить проверки, которые не исполнялись ни разу (#2744) 2026-08-06 16:57:28 +00:00
test_flat_plan_download.py feat(scrapers): extract + download DOM.РФ flat plan images (#2440) (#2441) 2026-07-05 16:23:29 +00:00
test_gisogd_so_client.py feat(sf): ingest функц.зон генплана ЕКБ-2045 из ГИСОГД-СО WFS → ekb_genplan_functional_zone (#1137) 2026-06-07 12:03:39 +00:00
test_izyatie_ocr.py fix(workers): izyatie per-doc isolation + newbuilding-crossload breadcrumb (#2445-D5/D6) (#2460) 2026-07-05 20:09:12 +00:00
test_okn_egrkn_client.py fix(scrapers): rate-limit/backoff/circuit-breaker для ОКН EGRKN-скрапера (#2445-D3) (#2461) 2026-07-05 20:09:18 +00:00
test_page_reservation_parser.py feat(sf): ПАГЕ-парсер изъятия/резервирования → land_reservation (#1118) 2026-06-07 10:15:03 +00:00
test_stealth_throttle_proxy.py fix(scrapers): разблокировать domrf_kn flats — изоляция flats от poison-extras + throttle (#1945) (#2050) 2026-06-28 13:03:43 +00:00