feat(tradein): #3 — источник ДомКлик #400

New issue

Closed

opened 2026-05-22 05:21:30 +00:00 by lekss361 · 2 comments

lekss361 commented

2026-05-22 05:21:30 +00:00

Owner

Парсер площадки ДомКлик как ещё один источник listings.

Отложено — приоритет ниже текущих задач.

Парсер площадки ДомКлик как ещё один источник `listings`. **Отложено** — приоритет ниже текущих задач.

lekss361 added the

enhancement

вторичка

labels 2026-05-22 05:21:30 +00:00

bot-backend commented

2026-06-26 08:21:45 +00:00

Collaborator

Статус (триаж 2026-06-26): остаётся blocked — ДомКлик-скрапер мёртв (#1846: VPS-IP заблокирован QRATOR + редизайн сайта → нужен чистый RU-прокси + rewrite на новый /api/offers/v1). Reverse-eng нового API требует чистого IP для наблюдения live-трафика (paid-resource + ops). avito+cian+yandex покрывают вторичку ЕКБ; ДомКлик — опциональный доп.источник, deprioritized (p3). Оставляю open под #1846.

Статус (триаж 2026-06-26): остаётся **blocked** — ДомКлик-скрапер мёртв (#1846: VPS-IP заблокирован QRATOR + редизайн сайта → нужен чистый RU-прокси + rewrite на новый `/api/offers/v1`). Reverse-eng нового API требует чистого IP для наблюдения live-трафика (paid-resource + ops). avito+cian+yandex покрывают вторичку ЕКБ; ДомКлик — опциональный доп.источник, deprioritized (p3). Оставляю open под #1846.

lekss361 added the

scope/backend

scrapers

tradein

labels 2026-08-16 10:24:52 +00:00

lekss361 commented

2026-08-16 10:36:32 +00:00

Author

Owner

Закрываю по итогам разбора трекера 16.08.2026

Вердикт: сделано кодом.

Парсер ДомКлик реализован, заведён в расписание свипов, имеет сессии, прокси-аффинность и тесты. Текущая недоступность — это отдельная задача про бан QRATOR (#1846), а не отсутствие источника.

Доказательство: tradein-mvp/backend/app/services/domclick_session.py; app/tasks/domclick_detail_backfill.py; data/sql/122_enable_domclick_city_sweep.sql и 208_reenable_domclick_detail_backfill.sql; тесты tests/scrapers/test_domclick_detail.py, tests/test_2687_domclick_ban_kind.py

Независимая проверка. Вердикт отдельно проверялся вторым проходом, задачей которого было именно опровергнуть закрытие, а не подтвердить его:

Проверено своими глазами и подтверждено: парсер живёт в tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/domclick/ (serp.py + detail.py), сессии — backend/app/services/domclick_session.py, добор карточек — app/tasks/domclick_detail_backfill.py, сиды расписаний backend/data/sql/122_enable_domclick_city_sweep.sql и 208_reenable_domclick_detail_backfill.sql (в вердикте путь указан как data/sql/, фактически tradein-mvp/backend/data/sql/ — только путь, не суть), тесты tests/scrapers/test_domclick_detail.py и tests/test_2687_domclick_ban_kind.py на месте. На ПРОДЕ (tradein-postgres): scrape_schedules domclick_city_sweep и domclick_detail_backfill enabled=true, last_run_at 16.08.2026; listings source='domklik' — 6911 всего, 788 с last_seen_at за 7 дней, последняя запись 16.08.2026 03:35; из 808 свежих 808 активны и 806 привязаны к домам. Источник интегрирован по всему стеку (estimator.py, exporters/trade_in_pdf.py, deactivate_stale_avito.py). Оговорка, которая вердикт НЕ ломает: 7 из 14 последних прогонов свипа и 10 прогонов детали — статус banned (последний успешный done 05.08), но это ровно бан/охват, ведомый отдельными ОТКРЫТЫМИ задачами #2854, #2855, #2657, #2800, а не отсутствие источника, о котором #400.

Если что-то из перечисленного всё же живо — переоткройте задачу, разбор мог упустить частный случай.

## Закрываю по итогам разбора трекера 16.08.2026 **Вердикт:** сделано кодом. Парсер ДомКлик реализован, заведён в расписание свипов, имеет сессии, прокси-аффинность и тесты. Текущая недоступность — это отдельная задача про бан QRATOR (#1846), а не отсутствие источника. **Доказательство:** tradein-mvp/backend/app/services/domclick_session.py; app/tasks/domclick_detail_backfill.py; data/sql/122_enable_domclick_city_sweep.sql и 208_reenable_domclick_detail_backfill.sql; тесты tests/scrapers/test_domclick_detail.py, tests/test_2687_domclick_ban_kind.py **Независимая проверка.** Вердикт отдельно проверялся вторым проходом, задачей которого было именно опровергнуть закрытие, а не подтвердить его: > Проверено своими глазами и подтверждено: парсер живёт в tradein-mvp/packages/scraper-kit/src/scraper_kit/providers/domclick/ (serp.py + detail.py), сессии — backend/app/services/domclick_session.py, добор карточек — app/tasks/domclick_detail_backfill.py, сиды расписаний backend/data/sql/122_enable_domclick_city_sweep.sql и 208_reenable_domclick_detail_backfill.sql (в вердикте путь указан как data/sql/, фактически tradein-mvp/backend/data/sql/ — только путь, не суть), тесты tests/scrapers/test_domclick_detail.py и tests/test_2687_domclick_ban_kind.py на месте. На ПРОДЕ (tradein-postgres): scrape_schedules domclick_city_sweep и domclick_detail_backfill enabled=true, last_run_at 16.08.2026; listings source='domklik' — 6911 всего, 788 с last_seen_at за 7 дней, последняя запись 16.08.2026 03:35; из 808 свежих 808 активны и 806 привязаны к домам. Источник интегрирован по всему стеку (estimator.py, exporters/trade_in_pdf.py, deactivate_stale_avito.py). Оговорка, которая вердикт НЕ ломает: 7 из 14 последних прогонов свипа и 10 прогонов детали — статус banned (последний успешный done 05.08), но это ровно бан/охват, ведомый отдельными ОТКРЫТЫМИ задачами #2854, #2855, #2657, #2800, а не отсутствие источника, о котором #400. Если что-то из перечисленного всё же живо — переоткройте задачу, разбор мог упустить частный случай.

lekss361 closed this issue

2026-08-16 10:36:32 +00:00