gendesign/backend/tests/services/scrapers
bot-backend 3267120499
All checks were successful
CI Trade-In / changes (pull_request) Successful in 9s
CI Trade-In / backend-tests (pull_request) Has been skipped
CI Trade-In / frontend-checks (pull_request) Has been skipped
CI / changes (pull_request) Successful in 10s
CI Trade-In / browser-tests (pull_request) Has been skipped
CI / frontend-tests (pull_request) Has been skipped
CI / openapi-codegen-check (pull_request) Successful in 2m10s
CI / backend-tests (pull_request) Successful in 17m21s
docs(ptica): докстрока не обещает защиты, которой нет, и не шлёт на мёртвый хост (#2464)
`_page_contains_table` документировалась как «hint-только режим (оглавление,
перекрёстные ссылки) даёт false positive и подавляется». Кода подавления в
функции никогда не было — это `bool(cap.search(text))`. Обещание защиты,
которой нет, опаснее её отсутствия: читающий не станет её добавлять.

Замер уточнил и сам пункт эпика. Приведённый в нём пример перекрёстной
ссылки «показатели приведены в таблице 12» регекс НЕ ловит: он требует
именительное «Таблица N», поэтому «в таблице 12», «см. Таблицу 12»,
«табл. 12» дают False. Опасно ровно ОГЛАВЛЕНИЕ — там падеж тот же
именительный, и «Таблица 11 Баланс территории ..... 34» неотличима от
подписи. Это зафиксировано характеризующим тестом, чтобы следующая
попытка подавления целилась в признаки оглавления (точки-выноски, номер
страницы в конце), а не в падежи.

Подавление здесь не реализовано сознательно: `ekb_ppt_tep` на проде пуста
(0 строк), URL в `_SEED_DOCS` — заглушка, живых PDF нет. Эвристику отсева
не на чем откалибровать, а правило, придуманное без образцов, ловит ровно
те случаи, которые придумали вместе с ним.

Отдельно исправлен комментарий сида: хост `gisogd.ekburg.ru`, названный
там местом, «где лежит реальный URL», НЕ СУЩЕСТВУЕТ — DNS не резолвит его
ни с рабочей машины, ни с прод-хоста (20.08.2026). Комментарий отправлял
искать документ на портале, которого нет. Назван живой портал
`gisogd66.midural.ru` и способ перечислить его разделы.

Двусторонне: против origin/main два гейта красные — «докстрока обещает
подавление, а в теле только поиск подстроки» и «комментарий сида не
предупреждает, что хост мёртв». Характеризующие тесты зелёные с обеих
сторон: они фиксируют фактическое поведение, а контроль
test_docstring_names_the_actual_behaviour ловит «починку» через
вычёркивание неудобной фразы.

Гейт ищет обещание по слову, поэтому старая формулировка в докстроке
пересказана, а не процитирована — иначе он не отличил бы цитату от
утверждения; это оговорено прямо в тексте.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-20 22:36:23 +05:00
..
__init__.py feat(22d): domrf_catalog_object scraper — fill ~25 NULL kn_objects cols from SSR __NEXT_DATA__ (#335) 2026-05-17 21:26:22 +00:00
test_2464_act_date_citation.py fix(ptica): act_date — дата акта об изъятии, а не первой попавшейся ссылки (#2464) 2026-08-20 21:24:32 +05:00
test_2464_catalog_batch_commits.py fix(ptica): успехи батча каталога фиксируются по ходу, а не одним commit'ом в конце (#2464) (#2960) 2026-08-20 08:54:26 +00:00
test_2464_catalog_skipped_counter.py fix(ptica): «объекта нет в БД» считается пропуском, а не сбоем (#2464) (#2974) 2026-08-20 11:59:39 +00:00
test_2464_catalog_waf_breaker.py fix(ptica): серия WAF-блоков прерывает батч каталога, а не гонит его до конца (#2464) (#2971) 2026-08-20 10:54:11 +00:00
test_2464_detect_kind_position.py fix(ptica): тип постановления — по первому упоминанию, а не по порядку проверок (#2464) 2026-08-20 17:49:03 +05:00
test_2464_status_negation.py fix(ptica): «не продана» перестаёт означать «продана» (#2464) 2026-08-20 17:45:04 +05:00
test_2464_tep_docstring_truth.py docs(ptica): докстрока не обещает защиты, которой нет, и не шлёт на мёртвый хост (#2464) 2026-08-20 22:36:23 +05:00
test_domrf_catalog_browsersession_throttle.py fix(scrapers): WAF-guard эндпоинтов + throttled catalog BrowserSession (#2445-D1/D2) (#2459) 2026-07-05 20:09:06 +00:00
test_domrf_catalog_object.py feat(22d): domrf_catalog_object scraper — fill ~25 NULL kn_objects cols from SSR __NEXT_DATA__ (#335) 2026-05-17 21:26:22 +00:00
test_domrf_catalog_object_browsersession_throttle.py fix(scrapers): WAF-guard эндпоинтов + throttled catalog BrowserSession (#2445-D1/D2) (#2459) 2026-07-05 20:09:06 +00:00
test_domrf_catalog_parse.py fix(scrapers): narrow domrf Level-1 status badge-class regex (#1609 follow-up) 2026-06-17 21:21:56 +03:00
test_domrf_flat_plan_url.py feat(scrapers): extract + download DOM.РФ flat plan images (#2440) (#2441) 2026-07-05 16:23:29 +00:00
test_domrf_kn_isolation.py fix(scrapers): разблокировать domrf_kn flats — изоляция flats от poison-extras + throttle (#1945) (#2050) 2026-06-28 13:03:43 +00:00
test_domrf_kn_normalize.py feat(scrapers): wire per-flat DOM.РФ catalog scraper + propagate catalog_url_hash (#2442) (#2444) 2026-07-05 17:00:58 +00:00
test_domrf_kn_upsert_sql.py fix(analytics): de-inflate domrf_kn snapshot counts (8.49×) + backfill UPSERT columns (#2464) (#2470) 2026-07-08 07:30:12 +00:00
test_ekb_krt_registry.py test(scrapers/krt): вернуть в прогон проверку многоблочной страницы (#2778) (#2781) 2026-08-07 09:48:52 +00:00
test_ekb_ppt_tep_parser.py fix(tests): починить и вычистить проверки, которые не исполнялись ни разу (#2744) 2026-08-06 16:57:28 +00:00
test_flat_plan_download.py feat(scrapers): extract + download DOM.РФ flat plan images (#2440) (#2441) 2026-07-05 16:23:29 +00:00
test_gisogd_so_client.py feat(sf): ingest функц.зон генплана ЕКБ-2045 из ГИСОГД-СО WFS → ekb_genplan_functional_zone (#1137) 2026-06-07 12:03:39 +00:00
test_izyatie_ocr.py fix(workers): izyatie per-doc isolation + newbuilding-crossload breadcrumb (#2445-D5/D6) (#2460) 2026-07-05 20:09:12 +00:00
test_okn_egrkn_client.py fix(scrapers): rate-limit/backoff/circuit-breaker для ОКН EGRKN-скрапера (#2445-D3) (#2461) 2026-07-05 20:09:18 +00:00
test_page_reservation_parser.py feat(sf): ПАГЕ-парсер изъятия/резервирования → land_reservation (#1118) 2026-06-07 10:15:03 +00:00
test_stealth_throttle_proxy.py fix(scrapers): разблокировать domrf_kn flats — изоляция flats от poison-extras + throttle (#1945) (#2050) 2026-06-28 13:03:43 +00:00