bot-backend
cdf493f345
All checks were successful
Deploy / changes (push) Successful in 9s
Deploy Trade-In / changes (push) Successful in 13s
Deploy / build-frontend (push) Has been skipped
Deploy / deploy-caddy (push) Has been skipped
Deploy Trade-In / build-frontend (push) Has been skipped
Deploy Trade-In / build-browser (push) Has been skipped
Deploy / build-backend (push) Successful in 2m23s
Deploy Trade-In / test (push) Successful in 3m56s
Deploy / build-worker (push) Successful in 4m16s
Deploy Trade-In / build-backend (push) Successful in 1m19s
Deploy / deploy (push) Successful in 1m49s
Deploy / deploy-status (push) Successful in 1s
Deploy / perimeter-smoke (push) Successful in 12s
Deploy Trade-In / deploy (push) Successful in 2m25s
Deploy Trade-In / deploy-status (push) Successful in 1s
Deploy Trade-In / perimeter-smoke (push) Successful in 11s
111 lines
5.7 KiB
Python
111 lines
5.7 KiB
Python
"""Отрицательные формы не дают ОБРАТНЫЙ статус продажи (#2464).
|
||
|
||
`_STATUS_KW_RE` искал ключевые слова без защиты от отрицания, поэтому русские
|
||
отрицательные формы классифицировались наоборот:
|
||
|
||
«нереализована» → содержит «реализована» → sold
|
||
«не продана» → содержит «продана» → sold
|
||
«не забронирована» → содержит «забронирована» → reserved
|
||
«не в продаже» → содержит «в продаже» → free
|
||
|
||
То есть свободная квартира могла попасть в базу проданной. Отрицание теперь
|
||
гасит токен, а не переворачивает его: «не забронирована» не значит ни sold, ни
|
||
free, а «не продана → free» — вывод, а не факт со страницы. Лучше отсутствие
|
||
статуса, чем неверный.
|
||
|
||
Тесты идут через `parse_catalog_flat` (полный путь разбора HTML), а не только
|
||
через хелпер: инвертированный статус — это то, что доехало бы до БД.
|
||
|
||
Текущий эффект на проде — НУЛЕВОЙ, и это проверено, а не предположено:
|
||
`catalog_updated_at` пуст у всех 983 088 строк `domrf_kn_flats`, таска
|
||
`scrape_kn_catalog_flats` закомментирована в beat_schedule.py (WAF-cooldown).
|
||
Правка предупредительная: при включении пути дефект инвертировал бы статусы молча.
|
||
"""
|
||
|
||
from __future__ import annotations
|
||
|
||
import pytest
|
||
|
||
from app.services.scrapers.domrf_catalog import (
|
||
STATUS_FREE,
|
||
STATUS_RESERVED,
|
||
STATUS_SOLD,
|
||
parse_catalog_flat,
|
||
)
|
||
|
||
|
||
def _html_with_badge(badge_text: str, nav_text: str = "") -> str:
|
||
"""Тот же каркас, что в test_domrf_catalog_parse.py: nav + статус-бейдж."""
|
||
return (
|
||
"<!doctype html><html><body>"
|
||
f'<nav><a href="/catalog">Все квартиры</a><span>{nav_text}</span></nav>'
|
||
f'<div class="status-badge">{badge_text}</div>'
|
||
"<p>Площадь 45 м²</p>"
|
||
"</body></html>"
|
||
)
|
||
|
||
|
||
@pytest.mark.parametrize(
|
||
"badge,было_бы",
|
||
[
|
||
("Нереализована", STATUS_SOLD),
|
||
("Не реализована", STATUS_SOLD),
|
||
("Не продана", STATUS_SOLD),
|
||
("Квартира не продана", STATUS_SOLD),
|
||
("Не забронирована", STATUS_RESERVED),
|
||
("Не в продаже", STATUS_FREE),
|
||
],
|
||
)
|
||
def test_negated_form_does_not_invert_status(badge: str, было_бы: str) -> None:
|
||
"""Головной: отрицание не должно давать статус, тем более противоположный.
|
||
|
||
На origin/main каждый случай возвращает `было_бы` — ровно обратное значение.
|
||
"""
|
||
result = parse_catalog_flat(_html_with_badge(badge))
|
||
got = result.get("status")
|
||
assert got != было_бы, (
|
||
f"«{badge}» классифицировано как {got!r} — отрицание перевёрнуто в свою "
|
||
"противоположность и уехало бы в domrf_kn_flats.status"
|
||
)
|
||
assert got is None, f"«{badge}» дало статус {got!r}; ожидали отсутствие статуса"
|
||
|
||
|
||
@pytest.mark.parametrize(
|
||
"badge,ожидаем",
|
||
[
|
||
("Продана", STATUS_SOLD),
|
||
("Продано", STATUS_SOLD),
|
||
("Реализована", STATUS_SOLD),
|
||
("Забронирована", STATUS_RESERVED),
|
||
("Бронь", STATUS_RESERVED),
|
||
("В продаже", STATUS_FREE),
|
||
("Свободна", STATUS_FREE),
|
||
],
|
||
)
|
||
def test_positive_forms_unchanged(badge: str, ожидаем: str) -> None:
|
||
"""Контроль от переусердствования: обычные формы распознаются как раньше.
|
||
|
||
Ловит «починку» через грубое гашение всего, что рядом со словом «не».
|
||
"""
|
||
result = parse_catalog_flat(_html_with_badge(badge))
|
||
assert result.get("status") == ожидаем, f"«{badge}» перестало распознаваться"
|
||
|
||
|
||
def test_negation_does_not_swallow_a_real_status_in_same_block() -> None:
|
||
"""Контроль: отрицание гасит СВОЙ токен, а не весь блок.
|
||
|
||
«Квартира не продана. Статус: в продаже» — настоящий статус в блоке есть.
|
||
Разбор по первому совпадению вернул бы None и потерял бы его.
|
||
"""
|
||
result = parse_catalog_flat(_html_with_badge("Квартира не продана. Статус: в продаже"))
|
||
assert result.get("status") == STATUS_FREE, (
|
||
f"настоящий статус в блоке потерян: {result.get('status')!r}"
|
||
)
|
||
|
||
|
||
def test_ne_inside_another_word_is_not_a_negation() -> None:
|
||
"""Контроль границы слова: «не» внутри другого слова не считается отрицанием."""
|
||
result = parse_catalog_flat(_html_with_badge("Цене снижена, квартира продана"))
|
||
assert result.get("status") == STATUS_SOLD, (
|
||
f"«не» в хвосте слова «Цене» съело настоящий статус: {result.get('status')!r}"
|
||
)
|