Парсинг коммерческой недвижимости в Москве на ЦИАН

Недавно в нашу компанию обратился клиент с задачей: спарсить объявления коммерческой недвижимости в Москве. На первый взгляд, задача казалась довольно простой — исследовать рынок и собрать данные о предложениях. Однако мы столкнулись с некоторыми ограничениями, которые требовали нестандартного подхода.

Проблема парсинга ЦИАН

ЦИАН, как один из ведущих агрегаторов недвижимости в России, предоставляет огромное количество информации, что делает его ценным ресурсом для агентов и клиентов. В процессе анализа данных на сайте Циан мы обнаружили, что общее количество объявлений о коммерческой недвижимости в Москве составляет около 18 тысяч. Однако, у нас возникла проблема с ограничением на количество объявлений для парсинга: не более 1300 за раз.

Стратегия сегментации территории

Для того, чтобы эффективно обработать все 18 тысяч объявлений, мы приняли решение о сегментации карты на 18 частей - каждый из которых охватывал определенную географическую область и содержал приблизительно равное количество объявлений (не более 1000). Это позволило нам систематизировать процесс парсинга и свести к минимуму риски, связанные с блокировкой.

Авторизация и подключение веб-поставщика

После успешной авторизации в системе PartScanner, мы переходим к разделу «Веб-поставщики», категорию "недвижимость". В этом разделе мы добавили парсер, названный "Москва (Аренда недвижимости)".

Подключение парсера является простым и удобным. Клиенту достаточно нажать кнопку "Подключить", после чего он может просмотреть ассортимент и доступные объявления.

Загружаемые данные и работа с ними

После того как подключили веб-поставщика, клиент создал поставщика Циан и добавил соответствующий прайс-лист. В качестве источника для получения данных был указан необходимый веб-поставщик. Таким образом, позиции объявлений попадают в базу данных. Клиент может просматривать объявления и применять фильтры по различным параметрам, включая площадь, цену и другие характеристики.

Экспорт данных

Мы предусмотрели несколько вариантов экспорта данных. В данном случае клиент использует два формата:

• Публичная ссылка: Выгруженные данные могут быть доступны через публичную ссылку в удобном формате (json,xls,csv,xml), которую удобно прикреплять или отправлять заинтересованным лицам.
• Отправка на почту: Также предусмотрена возможность отправки выгруженных данных по электронной почте. Для этого необходимо указать адрес электронной почты и формат, в котором нужно отправить файл. Это может быть Excel, CSV или другой формат, удобный для клиента.

Заключение

В результате нашей работы клиент получил доступ к большому объему актуальных данных, что значительно упростило его дальнейший анализ и принятие решений. Метод сегментации и автоматизации парсинга показал свою эффективность и может быть применен для работы с другими регионами и типами недвижимости. Мы не просто обеспечиваем доступ к информации, а подключаем эффективные инструменты для её обработки и анализа в нашем сервисе PartScanner.