К нам обратился представитель крупной строительной компании, которой требовался парсинг ЦИАН — это сайт с объявлениями о недвижимости. Иных способов собрать сразу все предложения из конкретного города не было — выгрузка информации по API из данного сервиса невозможна.
Так как сам по себе сбор данных из открытых источников законом не запрещен — программы просто автоматизируют то, что маркетолог может сделать вручную. Поэтому мы пошли на встречу и разработали парсер, который, как и требовалось заказчику, собирал все объявления о продаже недвижимости в трех городах — Орле, Калуге и Липецке. Подобный функционал может потребоваться и другим компаниям, поэтому мы добавили его в общее развитие в виде веб-поставщика. Далее опишем процесс как мы это реализовали.
Для того получать данные с других сайтов есть раздел Веб-Поставщики, это скрипты которые ежедневно получают данные с других сайтов путем парсинга или через публичные API и накапливают данных в базе. Если сайта нет, то можно добавить нового веб-поставщика через сообщение в личном кабинете сервиса, через письмо в техническую поддержку или через обратный звонок. Мы подключили нового поставщика в течение нескольких дней, предварительно оценив сложность реализации парсера. После реализации веб-поставщик стал доступен для использования.
Для входа в личный кабинет достаточно нажать кнопку «Вход/Регистрация» или «Попробовать» на главной странице сайта PartScanner. После заполнения необходимых данных, на электронную почту придет уведомление, подтверждающее создание личного кабинета. Кроме того в нем будет пароль для входа.
Личный кабинет разрабатывался таким образом, чтобы навигация по нему была интуитивно понятной даже для новых пользователей сервиса. Поэтому освоение ключевых функций не займет много времени.
В разделе «Веб-поставщики» можно в удобной форме работать с готовыми парсерами, подключая их самостоятельно. Их перечень постоянно растет — на текущий момент есть поставщики одежды, табачной продукции, автозапчастей и недвижимости. В этом списке есть нужные нам веб-поставщики "Циан" разделенные на города.
В разделе «Прайс-листы» добавляются прайс-листы из разных источников. Обычно это файлы с информацией о товарах/объявлениях поставщика.
В нашем примере — прайс-листы с недвижимостью сразу по 3 городам: Калуге, Липецку и Орлу, полученный в результате парсинга данных с cian.ru.
В процессе настройки прайс-листа можно указывать срок актуальности — количество дней, через которые он будет считаться просроченным.
Есть функция «Планировщик». После ее активации необходимо указать, как часто должен обновляться прайс-лист. Можно выбрать конкретные дни недели и время обновления данных, либо указать периодичность.
Далее, при загрузке указываем:
Переходим в раздел группы. Тут можно создать из данных поставщика создать группы применив различные фильтры. Например, нам нужно три города г.Калуга, г. Орел и г. Липецк. Можно создать группы применив фильтрацию по типу жилья, площади, комнатности или району. Все зависит от потребности клиента.
Для этого нужно перейти в раздел Выгрузки и создать экспорт и файл для экспорта. Есть возможность выбрать, какие колонки должны быть включены в документ и выбрать формат файла.
Экспортировать файл можно по электронной почте, на FTP-сервер или на OZON (когда прайс-лист выгружается для продажи товаров на маркетплейсах). При отправке по электронной почте, помимо списка e-mail нужно указать тему и текст письма, к которому будет прикреплен файл.
В конечном итоге получилось несколько настроек ассортимента недвижимости, которые обновляются в определенные дни получая данные по недвижимости с сайта «ЦИАН», формируют отчёты в виде файлов и отправляют на электронный адрес менеджера.
Благодаря возможностям сервиса PartScanner, у нашего клиента появилась возможность автоматизировать анализ данных с cian.ru — крупнейшего сайта с объявлениями о продаже и аренде недвижимости и отправлять отчёты на электронную почту.
ООО «ОДСК»