Автоматизация загрузки 100 000 товаров в интернет-магазин за 24 часа

Клиенты работающие с поставщиками промышленного оборудования ожидают видеть актуальные остатки со всех складов поставщиков. Однако для прямой синхронизация такого объема данных нужны специализированные интернет решения требующих значительных финансовых затрат. Мы нашли способ бюджетно обеспечить и достоверность информации, и высокую скорость работы: реализовали единую точку входа для данных через сервис PartScanner с последующей интеграцией на сайт.

О клиенте

Заказчик — растущий дистрибьютор промышленного оборудования с обширной базой российских поставщиков, обратился к нам с комплексным запросом. В связи с планами по увеличению числа поставщиков, необходимо было не только разработать новый сайт, но и организовать в нём автоматическое получение и оперативное обновление товарных данных.

Для решения задачи была предложена реализация сбора информации с сайта поставщиков с помощью веб-парсинга, создание интернет-магазина и дальнейшей интеграцией интернет-магазина с сервисом PartScanner.

Парсинг

Парсинг сайтов является обычной задачей для сервиса PartScanner так как его основная задача это — получение и обработка информации из различных источников.

Была проведена комплексная оценка проекта, включающая анализ сложности парсинга, выбор методов обхода систем защиты и подсчет примерного объема товарных позиций. По итогам оценки сформировано детализированное техническое задание. В результате его выполнения был создан веб-парсер, интегрированный с сервисом PartScanner для последующего автоматического формирования прайс-листов с номенклатурой поставщиков  промышленного оборудования.

Разработка интернет-магазина

 Клиентом был предоставлен макет в Figma в котором были отражены все требуемые элементы дизайна.

Мы создали полнофункциональный магазин на базе нашей отлаженной системы Diamond CMS, которая специально создана для быстрого запуска онлайн-торговли с любым ассортиментом.

Что реализовали:

📦 Полноценный каталог с ключевыми функциями:

🚀 SEO-оптимизация для быстрого роста:

Преимущество нашего подхода:
Используя проверенную Diamond CMS, мы создали не просто сайт, а готовый к масштабированию торговый инструмент — без технических долгов и с гарантией быстрого выхода в поиск.

Итог

После разработки интернет-магазина, мы предоставили клиенту доступ в личный кабинет PartScanner, произвели загрузку товаров с сайта донора который были спаршены в течение нескольких дней, далее сформировали нужные группы товаров и запустили синхронизацию. В результате были выгружены 100 000 товаров в течение 24 часов.

Что синхронизировалось автоматически:

✅ 100 000 товаров с тех. характеристиками
✅ Цены от поставщика (обновление каждые 24 часа)
✅ Остатки на складах
✅ Фото и документация
✅ Сроки поставки