Как мы автоматизировали выгрузку объявлений о недвижимости с сайта «ЦИАН»

Недвижимость 

К нам обратился представитель крупной строительной компании, которой требовался парсер сайта с объявлениями о недвижимости «ЦИАН». Иных способов собрать сразу все предложения из конкретного города не было — выгрузка информации по API из данного сервиса невозможна.

Так как сам по себе сбор данных из открытых источников законом не запрещен — программы просто автоматизируют то, что маркетолог может сделать вручную. Поэтому мы пошли на встречу и разработали парсер, который, как и требовалось заказчику, собирал все объявления о продаже недвижимости в трех городах — Орле, Калуге и Липецке. Подобный функционал может потребоваться и другим компаниям, поэтому мы добавили его в общее развитие в виде веб-поставщика. Далее опишем процесс как мы это реализовали.

Создание парсера

Для  того получать данные с других сайтов есть раздел Веб-Поставщики, это прайс-листы которые ежедневно получают данные с других сайтов путем парсинга или через публичные API. Если сайта нет, то можно добавить нового веб-поставщика через сообщение в личном кабинете сервиса, через письмо в техническую поддержку или через обратный звонок. Мы подключили нового поставщика в течение нескольких дней, предварительно оценив сложность реализации. После реализации веб-поставщик стал доступен для использования.

Создание личного кабинета

Для входа в личный кабинет достаточно нажать кнопку «Вход/Регистрация» или «Попробовать» на главной странице сайта PartScanner. После заполнения необходимых данных, на электронную почту придет уведомление, подтверждающее создание личного кабинета. Кроме того в нем будет пароль для входа.

Личный кабинет разрабатывался таким образом, чтобы навигация по нему была интуитивно понятной даже для новых пользователей сервиса. Поэтому освоение ключевых функций не займет много времени.

Проекты

В разделе «Проекты» добавляются типы ассортимента, с которыми вам предстоит работать с помощью PartScanner. Проектов можно создавать несколько, но в данном случае нам нужен один - недвижимость.

Поставщики

В разделе «Поставщики» можно в удобной форме работать с поставщиками, добавляя их самостоятельно, или выбирая из числа веб-поставщиков, подключенных в процессе разработки сервиса. Их перечень постоянно растет — на текущий момент есть поставщики одежды, табачной продукции, автозапчастей и недвижимости. В этом списке есть нужные нам веб-поставщики "Циан" разделенные на города.

веб-поставщики

Ассортимент

В разделе «Ассортимент» добавляются прайс-листы из разных источников. Обычно это файлы с информацией о товарах от поставщика.

В нашем примере — прайс-лист с недвижимостью сразу по 3 городам: Калуге, Липецку и Орлу, полученный в результате парсинга данных с cian.ru.

В процессе настройки прайс-листа можно указывать срок актуальности — количество дней, через которые он будет считаться просроченным.

Есть функция «Планировщик». После ее активации необходимо указать, как часто должен обновляться прайс-лист. Можно выбрать конкретные дни недели и время обновления данных, либо указать периодичность.

Планировщик PartScanner

Далее, в отдельной вкладке указываются:

  • Название поставщика. В нашем примере — cian.ru;
  • Валюта. У нас это рубль;
  • Источник. Тут указывается, откуда загружаются данные — вручную через форму, по ссылке, с почтового или FTP-сервера или из сервиса «Мой Склад», либо, как в нашем примере — от веб-поставщика;
  • Название файла. Можно указать вручную, или оставить название от загруженного документа.

Загрузка от веб-поставщика

Далее, обязательно в отдельной вкладке настраивается разметка.

Разметка файла

Последняя вкладка называется «Номенклатура». В ней можно просмотреть список всех позиций загруженных из прайс-листа и использовать их для отправки на почту.

Для этого в этой вкладке можно создать файл для экспорта. Есть возможность выбрать, какие колонки должны быть включены в документ и выбрать формат.

Отправка файла на почту

Экспортировать файл можно по электронной почте, на FTP-сервер или на OZON (когда прайс-лист выгружается для продажи товаров на маркетплейсах). При отправке по электронной почте, помимо списка e-mail нужно указать тему и текст письма, к которому будет прикреплен файл.

В конечном итоге получилось несколько настроек ассортимента недвижимости, которые обновляются в определенные дни получая данные по недвижимости с сайта «ЦИАН», формируют отчёты в виде файлов и отправляют на электронный адрес менеджера.

Ассортимент недвижимости

Результат

Благодаря возможностям сервиса PartScanner, у нашего клиента появилась возможность автоматизированной анализ данных с cian.ru — крупнейшего сайта с объявлениями о продаже и аренде недвижимости.

Отзыв клиента

Отзыв Извеков Федор "С помощью PartScanner стало намного легче и быстрее получать данные о вторичном рынке в регионах.
Также, автоматизация выгрузок сервиса помогает сэкономить время на обработке большого массива данных.
У PartScanner удобный интерфейс, легкое управление личным кабинетом и стабильная бесперебойная работа сервиса.
Работу с создателем данного сервиса, и, PartScanner в целом, оцениваем на "отлично", все наши пожелания были выполнены в полном объеме."
Извеков Федор

ООО «ОДСК»

28
июля
2023
Поделитесь с друзьями:

Поделитесь с друзьями: