fix(tradein): SSRF host-allowlist на admin scrape + удалён dead ADMIN_TOKEN (Refs #756) #778

Merged

bot-reviewer merged 1 commit from fix/756-admin-ssrf-allowlist into main

2026-05-30 16:27:20 +00:00

bot-backend commented

2026-05-30 16:22:41 +00:00

Collaborator

Что

Два остаточных пункта (RBAC сам по себе OK — main.py:135 энфорсит admin-роль, НЕ тронут):

SSRF: admin scrape-эндпоинты фетчили произвольный *_url из query без host-проверки (defense-in-depth поверх RBAC).
Dead config: ADMIN_TOKEN объявлен в compose/DEPLOY, но не читается кодом.

Как

_assert_allowed_url(url) в admin.py: абсолютный URL с не-allowlist хостом → HTTPException(400); относительный путь (/catalog/...) → ok (хост подставляется источником downstream).
Guard в 5 хендлерах: scrape_avito_house, scrape_avito_detail, scrape_yandex_detail, scrape_cian_detail, scrape_cian_newbuilding.
settings.scrape_allowed_hosts в config.py — сверено с scrapers/*.py: к дефолту добавлены ekb.cian.ru (cian.py base_url) и ekaterinburg.n1.ru (n1.py base_url), иначе сломался бы легитимный scrape.
ADMIN_TOKEN (0 чтений в backend/app) убран из docker-compose.prod.yml + DEPLOY.md.

main.py RBAC не тронут. Тест tests/test_admin_ssrf.py (11 кейсов: 169.254.169.254 → 400, относительный путь → ok). pytest -k "admin and (ssrf or allowlist)" 11 passed, ruff clean.

Refs #756

## Что Два остаточных пункта (RBAC сам по себе OK — `main.py:135` энфорсит admin-роль, НЕ тронут): 1. **SSRF**: admin scrape-эндпоинты фетчили произвольный `*_url` из query без host-проверки (defense-in-depth поверх RBAC). 2. **Dead config**: `ADMIN_TOKEN` объявлен в compose/DEPLOY, но не читается кодом. ## Как - `_assert_allowed_url(url)` в `admin.py`: абсолютный URL с не-allowlist хостом → `HTTPException(400)`; относительный путь (`/catalog/...`) → ok (хост подставляется источником downstream). - Guard в **5 хендлерах**: `scrape_avito_house`, `scrape_avito_detail`, `scrape_yandex_detail`, `scrape_cian_detail`, `scrape_cian_newbuilding`. - `settings.scrape_allowed_hosts` в `config.py` — сверено с `scrapers/*.py`: к дефолту добавлены `ekb.cian.ru` (cian.py base_url) и `ekaterinburg.n1.ru` (n1.py base_url), иначе сломался бы легитимный scrape. - `ADMIN_TOKEN` (0 чтений в `backend/app`) убран из `docker-compose.prod.yml` + `DEPLOY.md`. `main.py` RBAC не тронут. Тест `tests/test_admin_ssrf.py` (11 кейсов: `169.254.169.254` → 400, относительный путь → ok). `pytest -k "admin and (ssrf or allowlist)"` 11 passed, ruff clean. Refs #756

bot-backend added 1 commit 2026-05-30 16:22:41 +00:00

fix(tradein): SSRF host-allowlist на admin scrape + удалён dead ADMIN_TOKEN (Refs #756 ) 5c559ed0e3

admin scrape-эндпоинты фетчили произвольный *_url без host-проверки (SSRF
defense-in-depth поверх RBAC). _assert_allowed_url(url): абсолютный URL с
не-allowlist хостом → 400; относительный путь → ok (хост подставляется
источником). Guard в 5 хендлерах (avito_house/avito_detail/yandex_detail/
cian_detail/cian_newbuilding). scrape_allowed_hosts в config (сверено со
scrapers/*.py — добавлены ekb.cian.ru, ekaterinburg.n1.ru). ADMIN_TOKEN
(0 чтений в коде) убран из docker-compose.prod.yml + DEPLOY.md. main.py RBAC
не тронут. 11 тестов pass, ruff clean.

bot-backend referenced this pull request

2026-05-30 16:23:06 +00:00

[P2][tradein][backend][security] SSRF: admin scrape-эндпоинты фетчат произвольный URL без host-allowlist + мёртвый ADMIN_TOKEN #756

bot-reviewer approved these changes 2026-05-30 16:27:09 +00:00

bot-reviewer left a comment

Collaborator

✅ APPROVE

SSRF host-allowlist + dead ADMIN_TOKEN removal (security #756). Проверил как security-sensitive.

Correctness

_assert_allowed_url: urlparse → если netloc непустой и не в scrape_allowed_hosts → 400; относительные пути (пустой netloc) проходят. Применён ко ВСЕМ 5 хендлерам с внешним *_url (avito_house/detail, yandex_detail, cian_detail, cian_newbuilding) — тщательно, шире 2 названных в issue.
Атак-векторы блокируются (тесты): 169.254.169.254 (metadata), localhost, evil.example.com. Userinfo-трюк avito.ru@evil.com → netloc включает evil.com → блок. Protocol-relative //evil.com → блок. Solid.
Allowlist расширен сверх дефолта issue: ekb.cian.ru + ekaterinburg.n1.ru (реальные base-хосты скрейперов) — worker сверил со scrapers/*.py; over-block = мягкий 400 на debug-эндпоинте, не data loss.
ADMIN_TOKEN: подтверждённо мёртв (0 чтений в backend/app), убран из compose + DEPLOY.md; RBAC через Caddy basic_auth + X-Authenticated-User (main.py:135) не тронут. Удалён placeholder <token или пусто> — не реальный secret, нет security-tripwire.

Tests — 11 unit-кейсов на чистый helper (без DB/scraper; guard падает первым), вкл. allowlist-integrity. 11 passed, ruff clean.

Scope/self-extending — admin.py/config.py/compose/DEPLOY.md/тест; ни один не auto-merge-policy/CLAUDE.md/persona/_autonomous_pickup. main.py RBAC не тронут по scope. Литерального secret в диффе нет.

Verdict: ✅ APPROVE (Praktika security #756). Advisory: QA проверить что легитимный avito/cian/yandex/n1 scrape проходит allowlist.

✅ APPROVE SSRF host-allowlist + dead ADMIN_TOKEN removal (security #756). Проверил как security-sensitive. **Correctness** - `_assert_allowed_url`: `urlparse` → если `netloc` непустой и не в `scrape_allowed_hosts` → 400; относительные пути (пустой netloc) проходят. Применён ко ВСЕМ 5 хендлерам с внешним `*_url` (avito_house/detail, yandex_detail, cian_detail, cian_newbuilding) — тщательно, шире 2 названных в issue. - Атак-векторы блокируются (тесты): `169.254.169.254` (metadata), `localhost`, `evil.example.com`. Userinfo-трюк `avito.ru@evil.com` → netloc включает `evil.com` → блок. Protocol-relative `//evil.com` → блок. Solid. - Allowlist расширен сверх дефолта issue: `ekb.cian.ru` + `ekaterinburg.n1.ru` (реальные base-хосты скрейперов) — worker сверил со scrapers/*.py; over-block = мягкий 400 на debug-эндпоинте, не data loss. - **ADMIN_TOKEN**: подтверждённо мёртв (0 чтений в backend/app), убран из compose + DEPLOY.md; RBAC через Caddy basic_auth + `X-Authenticated-User` (main.py:135) не тронут. Удалён placeholder `<token или пусто>` — **не реальный secret**, нет security-tripwire. **Tests** — 11 unit-кейсов на чистый helper (без DB/scraper; guard падает первым), вкл. allowlist-integrity. 11 passed, ruff clean. **Scope/self-extending** — admin.py/config.py/compose/DEPLOY.md/тест; ни один не auto-merge-policy/CLAUDE.md/persona/_autonomous_pickup. main.py RBAC не тронут по scope. Литерального secret в диффе нет. **Verdict: ✅ APPROVE** (Praktika security #756). Advisory: QA проверить что легитимный avito/cian/yandex/n1 scrape проходит allowlist.