feat(tradein/avito): полный обход качает вторичку родным фильтром пути (#3033) #3039

Merged

bot-backend merged 1 commit from feat/3033-avito-native-secondary into main

2026-08-21 14:22:48 +00:00

bot-backend commented

2026-08-21 14:16:08 +00:00

Collaborator

Summary

fetch_all_secondary(secondary_only=True) строил URL общей выдачи (/kvartiry/prodam/<room-ASgB…>): 100 % страниц (46 573 объявления в ЕКБ), новостройки — в корзину после разбора. Теперь _build_rooms_url в secondary-режиме (флаг на инстансе на время вызова, сброс в finally) строит читаемый путь /{city}/kvartiry/prodam/{room_readable}/vtorichka — Авито канонизирует редиректом (проверено автором issue вживую: 2 551 vs 46 573). Query (s, p, pmin, pmax) без изменений — бисекция по цене работает как раньше, но по распределению вторички (побочно чинится калибровка брекетов).
Post-parse фильтр оставлен как страховка и счётчик: last_dropped_nb → AvitoFullLoadCounters.dropped_novostroyki (зеркало cian #1781). При работающем пути ≈0; рост = площадка перестала уважать путь — видно по числу в scrape_runs.counters, а не по тишине.
Редиректы: browser-режим (camoufox) следует сам; curl_cffi — allow_redirects по умолчанию True (проверено в workspace-venv, явных переопределений в serp.py/_base.py нет).
Не трогал fetch_around (city-sweep по якорям) и fetch_by_rooms (вызовов нет): постановка про полный обход; city-sweep по геоточкам намеренно берёт оба сегмента.

Test plan

backend/tests/test_3033_avito_native_secondary_filter.py (workspace-venv, без сети: подмена _fetch_serp_html): probe-URL всех seed-брекетов = /ekaterinburg/kvartiry/prodam/1-komnatnye/vtorichka + s/p/pmin; secondary_only=False — прежний URL; режим не течёт за вызов; все 7 комнатностей → читаемый префикс без ASgB; счётчик в to_dict(). На origin/main 4/6 красных по значению, 2 контроля зелёные.
существующие test_serp_city_location_urls / test_avito_serp_city_slug / test_1781 / test_avito_newbuilding_sweep — 26 passed; ruff check зелёный (scraper-kit форматтером не трогал — он не в хуке и не нормализован).
Живая приёмка возможна только когда Авито пускает (сейчас SERP-баны 37–83 %, #2827/#3034): первый avito_full_load после деплоя — unique_fetched ≈ прежний, страниц впятеро меньше, dropped_novostroyki ≈ 0. Если dropped_novostroyki остаётся в сотнях — редирект ведёт на общую выдачу, откатывать.

Refs #3033

## Summary - `fetch_all_secondary(secondary_only=True)` строил URL **общей** выдачи (`/kvartiry/prodam/<room-ASgB…>`): 100 % страниц (46 573 объявления в ЕКБ), новостройки — в корзину после разбора. Теперь `_build_rooms_url` в secondary-режиме (флаг на инстансе на время вызова, сброс в `finally`) строит **читаемый путь** `/{city}/kvartiry/prodam/{room_readable}/vtorichka` — Авито канонизирует редиректом (проверено автором issue вживую: 2 551 vs 46 573). Query (`s`, `p`, `pmin`, `pmax`) без изменений — бисекция по цене работает как раньше, но по распределению вторички (побочно чинится калибровка брекетов). - Post-parse фильтр **оставлен** как страховка и счётчик: `last_dropped_nb` → `AvitoFullLoadCounters.dropped_novostroyki` (зеркало cian #1781). При работающем пути ≈0; рост = площадка перестала уважать путь — видно по числу в `scrape_runs.counters`, а не по тишине. - Редиректы: browser-режим (camoufox) следует сам; curl_cffi — `allow_redirects` по умолчанию `True` (проверено в workspace-venv, явных переопределений в serp.py/_base.py нет). - Не трогал `fetch_around` (city-sweep по якорям) и `fetch_by_rooms` (вызовов нет): постановка про полный обход; city-sweep по геоточкам намеренно берёт оба сегмента. ## Test plan - [x] `backend/tests/test_3033_avito_native_secondary_filter.py` (workspace-venv, без сети: подмена `_fetch_serp_html`): probe-URL всех seed-брекетов = `/ekaterinburg/kvartiry/prodam/1-komnatnye/vtorichka` + `s/p/pmin`; `secondary_only=False` — прежний URL; режим не течёт за вызов; все 7 комнатностей → читаемый префикс без `ASgB`; счётчик в `to_dict()`. **На origin/main 4/6 красных по значению**, 2 контроля зелёные. - [x] существующие `test_serp_city_location_urls / test_avito_serp_city_slug / test_1781 / test_avito_newbuilding_sweep` — 26 passed; `ruff check` зелёный (scraper-kit форматтером не трогал — он не в хуке и не нормализован). - [ ] **Живая приёмка возможна только когда Авито пускает** (сейчас SERP-баны 37–83 %, #2827/#3034): первый `avito_full_load` после деплоя — `unique_fetched` ≈ прежний, страниц впятеро меньше, `dropped_novostroyki ≈ 0`. Если `dropped_novostroyki` остаётся в сотнях — редирект ведёт на общую выдачу, откатывать. Refs #3033

Rows
Columns