Автоматический парсинг ЦИАН

О клиенте

К нам обратился представитель крупной строительной компании, которой требовался парсинг ЦИАН — это сайт с объявлениями о недвижимости. Иных способов собрать сразу все предложения из конкретного города не было — выгрузка информации по API из данного сервиса невозможна.

Так как сам по себе сбор данных из открытых источников законом не запрещен — программы просто автоматизируют то, что маркетолог может сделать вручную. Поэтому мы пошли на встречу и разработали парсер, который, как и требовалось заказчику, собирал все объявления о продаже недвижимости в трех городах — Орле, Калуге и Липецке. Подобный функционал может потребоваться и другим компаниям, поэтому мы добавили его в общее развитие в виде веб-поставщика. Далее опишем процесс как мы это реализовали.

Создание парсера

Для того получать данные с других сайтов есть раздел Веб-Поставщики, это скрипты которые ежедневно получают данные с других сайтов путем парсинга или через публичные API и накапливают данных в базе. Если сайта нет, то можно добавить нового веб-поставщика через сообщение в личном кабинете сервиса, через письмо в техническую поддержку или через обратный звонок. Мы подключили нового поставщика в течение нескольких дней, предварительно оценив сложность реализации парсера. После реализации веб-поставщик стал доступен для использования.

Создание личного кабинета

Для входа в личный кабинет достаточно нажать кнопку «Вход/Регистрация» или «Попробовать» на главной странице сайта PartScanner. После заполнения необходимых данных, на электронную почту придет уведомление, подтверждающее создание личного кабинета. Кроме того в нем будет пароль для входа.

Личный кабинет разрабатывался таким образом, чтобы навигация по нему была интуитивно понятной даже для новых пользователей сервиса. Поэтому освоение ключевых функций не займет много времени.

Веб-поставщики

В разделе «Веб-поставщики» можно в удобной форме работать с готовыми парсерами, подключая их самостоятельно. Их перечень постоянно растет — на текущий момент есть поставщики одежды, табачной продукции, автозапчастей и недвижимости. В этом списке есть нужные нам веб-поставщики "Циан" разделенные на города.

Загрузка объявлений от веб-поставщика Cian

В разделе «Прайс-листы» добавляются прайс-листы из разных источников. Обычно это файлы с информацией о товарах/объявлениях поставщика.

В нашем примере — прайс-листы с недвижимостью сразу по 3 городам: Калуге, Липецку и Орлу, полученный в результате парсинга данных с cian.ru.

В процессе настройки прайс-листа можно указывать срок актуальности — количество дней, через которые он будет считаться просроченным.

Есть функция «Планировщик». После ее активации необходимо указать, как часто должен обновляться прайс-лист. Можно выбрать конкретные дни недели и время обновления данных, либо указать периодичность.

Далее, при загрузке указываем:

Название поставщика. В нашем примере — cian.ru;
Источник. Тут указывается, откуда загружаются данные — вручную через форму, по ссылке, с почтового или FTP-сервера или из сервиса «Мой Склад», либо, как в нашем примере — от веб-поставщика Cian;
Название файла. Можно указать вручную, или оставить название по умолчанию.

Создание групп

Переходим в раздел группы. Тут можно создать из данных поставщика создать группы применив различные фильтры. Например, нам нужно три города г.Калуга, г. Орел и г. Липецк. Можно создать группы применив фильтрацию по типу жилья, площади, комнатности или району. Все зависит от потребности клиента.

Отправка отчёта на почту

Для этого нужно перейти в раздел Выгрузки и создать экспорт и файл для экспорта. Есть возможность выбрать, какие колонки должны быть включены в документ и выбрать формат файла.

Экспортировать файл можно по электронной почте, на FTP-сервер или на OZON (когда прайс-лист выгружается для продажи товаров на маркетплейсах). При отправке по электронной почте, помимо списка e-mail нужно указать тему и текст письма, к которому будет прикреплен файл.

В конечном итоге получилось несколько настроек ассортимента недвижимости, которые обновляются в определенные дни получая данные по недвижимости с сайта «ЦИАН», формируют отчёты в виде файлов и отправляют на электронный адрес менеджера.

Результат

Благодаря возможностям сервиса PartScanner, у нашего клиента появилась возможность автоматизировать анализ данных с cian.ru — крупнейшего сайта с объявлениями о продаже и аренде недвижимости и отправлять отчёты на электронную почту.

Отзыв клиента

"С помощью PartScanner стало намного легче и быстрее получать данные о вторичном рынке в регионах.
Также, автоматизация выгрузок сервиса помогает сэкономить время на обработке большого массива данных.
У PartScanner удобный интерфейс, легкое управление личным кабинетом и стабильная бесперебойная работа сервиса.
Работу с создателем данного сервиса, и, PartScanner в целом, оцениваем на "отлично", все наши пожелания были выполнены в полном объеме."