Прокси для парсинга Циан и Яндекс.Маркета

Циан и Яндекс.Маркет — две самые частые цели парсинга в рунете: цены на недвижимость и товары нужны риелторам, аналитикам и продавцам. Обе площадки это знают и защищаются: антибот-системы считают запросы с каждого IP, анализируют поведение и показывают капчу всем подозрительным. Разберём рабочую конфигурацию прокси под обе площадки.

Почему эти площадки сложно парсить

У Циан и Маркета разные защиты, но одинаковая логика: обе площадки зарабатывают на данных и не хотят отдавать их бесплатно чужим скриптам.

Циан следит за частотой запросов с IP, проверяет браузерные заголовки и куки, а при подозрении показывает капчу или пустые страницы. Особенность площадки — жёсткая привязка к региону: выдача московской квартиры и краснодарской формируется по-разному, и парсить «всю Россию» с одного московского IP бессмысленно.

Яндекс.Маркет использует антибот-стек Яндекса: SmartCaptcha, поведенческий анализ, проверку согласованности фингерпринта. Маркет агрессивнее Циан реагирует на серверные IP и на запросы без «человеческих» заголовков. Цены и наличие у Маркета тоже региональные: один и тот же товар в Москве и Новосибирске может отличаться.

Какие прокси подходят, а какие нет

Резидентские динамические прокси решают обе проблемы сразу: IP принадлежат домашним провайдерам (Ростелеком, МТС, Дом.ру), поэтому площадки видят обычных пользователей, а ротация каждые 10–15 минут не даёт ни одному адресу перевыполнить лимит. Почему это работает — объясняем в статье «Резидентские прокси простым языком».

Лимиты и задержки: рабочие значения

Точные пороги площадки не публикуют и периодически меняют, но рабочие ориентиры на 2026 год такие:

Два правила важнее конкретных цифр. Первое: задержки должны быть случайными — ровный интервал «раз в 2,0 секунды» это метка робота. Второе: при получении капчи или 403 не долбите тот же IP — смените адрес и продолжите. Настройка ротации по триггерам описана в статье «Настройка ротации IP».

Гео-нюанс: парсить регионы регионами

Циан показывает разные объявления в зависимости от региона посетителя, а Маркет — разные цены и наличие. Если вам нужна выгрузка по 10 городам, правильная схема такая: распределите запросы каждого города на IP этого города или хотя бы региона. Московский IP для парсинга новосибирского Маркета даст московские цены — данные будут корректно скачаны и бесполезны.

Поэтому при выборе провайдера смотрите не только на количество IP, но и на географию пула: наши резидентские прокси покрывают всю Россию, что позволяет собирать региональные выдачи корректно. Больше про гео — в статье «Гео-таргетинг прокси».

Сколько портов нужно: считаем на калькуляторе

Формула из статьи «Сколько прокси нужно для парсинга»: количество портов = (запросов в час / лимит на IP) × 1,5. Коэффициент 1,5 — запас на повторные запросы, ротацию и пиковые часы. Посчитайте свою конфигурацию:

Пример: нужно снимать цены с 20 000 карточек Маркета в час. При лимите 100 запросов/час на IP: 20 000 / 100 × 1,5 = 300 портов. Тот же объём на Циан (лимит 60): 20 000 / 60 × 1,5 = 500 портов. Если цифра пугает — уменьшайте её честными способами: кэшируйте страницы, парсите только изменения, разносите выгрузку по суткам.

Что делать с капчей

Капча на этих площадках — не приговор, а сигнал: площадка говорит «этот IP работает слишком быстро». Правильная реакция по порядку:

1. Смените IP и продолжите работу — при ротации это происходит автоматически.
2. Снизьте скорость на 20–30%: если капчи сыплются регулярно, вы работаете выше лимита.
3. Проверьте заголовки: User-Agent, Accept-Language, Referer должны выглядеть как у обычного браузера и не противоречить друг другу.
4. Решайте капчу только для критичных запросов через сервисы распознавания — массовое решение капч дороже дополнительных портов.

Если капча идёт сплошным потоком с самого старта — проблема не в скорости, а в типе IP: скорее всего, вы зашли с серверных адресов. Возвращайтесь к разделу про выбор прокси.

Чек-лист перед запуском

• Резидентские динамические прокси РФ, гео пула покрывает нужные регионы.
• Лимиты: ≤60 запросов/час на IP для Циан, ≤100 для Маркета; случайные задержки.
• Браузерные заголовки, поддержка кук, отключённый WebRTC в парсере на Selenium.
• Обработчик ошибок: 403/капча → смена IP, а не повторный запрос.
• Контроль качества данных: сверяйте выгрузку с ручной проверкой по 10–20 позициям — региональные цены легко собрать «не того города».
• Тест на малом объёме: 500–1000 страниц перед полным запуском.

Примеры кода для requests, Scrapy и Selenium с подключением прокси — в статье «Прокси в Python: requests, Scrapy, Selenium». А если парсите ещё и Авито, у нас есть отдельный разбор: «Парсинг Авито через прокси».

Заключение

Циан и Яндекс.Маркет парсятся стабильно, если не экономить на типе прокси и уважать лимиты площадок. Резидентские динамические IP с ротацией, 30–100 запросов в час с адреса, правильное региональное гео и обработка капчи через смену IP — эта конфигурация работает годами. Посчитайте количество портов в калькуляторе выше и возьмите тест на 24 часа: на реальной выборке вы за день увидите и проходимость, и итоговую смету.

Часто задаваемые вопросы

Вопрос: Это легально — парсить Циан и Маркет?

Парсинг открытых данных, опубликованных без ограничения доступа, сам по себе не запрещён. Запрещены обход технических защит, нарушение авторских прав на базы данных и создание нагрузки, мешающей работе сервиса. Работайте в разумных лимитах, используйте данные для анализа, а не для копирования чужих баз — и консультируйтесь с юристом под вашу конкретную модель.

Вопрос: Хватит ли мобильных прокси для парсинга Маркета?

Хватит, но это переплата: мобильные IP нужны там, где сайт доверяет только операторам, — соцсети, мессенджеры. Маркету и Циан достаточно резидентских адресов, которые заметно дешевле при больших объёмах.

Вопрос: Почему выгрузка отличается от того, что я вижу в браузере?

Чаще всего — гео: вы смотрите страницу с московского IP, а парсер работает с адресов другого региона (или наоборот). Проверьте гео IP парсера и сравните с вашим браузером через ipinfo.io.

Вопрос: Сколько времени уходит на выгрузку 100 000 страниц Циан?

При лимите 60 запросов/час на IP и 100 портах — 100 000 / (60 × 100) ≈ 17 часов. С 200 портами — около 8–9 часов. Считайте свою конфигурацию в калькуляторе выше.