Очередь импорта CSV, XML, YML, CommerceML для маркетплейса Cs-Cart Multi-Vendor

Модуль Очередь импорта CSV, XML, YML, CommerceML (программы компании "1С", "МойСклад", "Класс365")

Модуль формирует очередь из файлов импорта, полученных от продавцов, предотвращая появление ошибок при параллельной записи в базу данный, а также исключает перегруз сервера, снижает риск возникновения ошибок во время параллельной работы нескольких модулей импорта.

Как упорядочить импорт товаров от разных продавцов?

По мере роста маркетплейса, увеличивается и количество продавцов, а, следовательно, и товаров. Большинство из них предпочитают импортировать информацию о своих товаров одним из двух способов:

• Загрузка файла в формате CSV - (Текстовый формат, предназначенный для представления табличных данных);
• Загрузка файла в формате XML - (файлы написаны на специальном языке разметки чем-то похожим на HTML веб-страниц);
• Загрузка файла в формате YML - (Стандарт YML (Yandex Market Language) разработан Яндексом и основан на стандарте XML);
• Загрузка файла из программ складского учета в формате CommerceML – (Единый стандарт обмена коммерческой информацией в формате XML. Стандартом предусматривается использование схем XML, в частности, для обмена: каталогами товаров в системах управления каталогом.)

Это удобно и для продавца, и для маркетплейса, позволяет загрузить информацию о товарах или обновить остатки быстро и без лишних хлопот и затрат.

Однако одновременная загрузка большого количества импортов может повлечь за собой несколько проблем.

• Во-первых, когда одновременно 10 процессов обращается к базе данных, перезаписывает информацию в ней, велик риск, что возникнут ошибки: какая-то информация будет искажена, какие-то новые данные не будут или будут сохранены с ошибками.
• Во-вторых, покупатель, открывая на сайте карточку товара, также инициирует запросы к базе данных. Но к ней в этот же момент обращается несколько сотен параллельных процессов из модуля импорта. Это сильно снижает скорость ответа на запрос. Покупателю приходится долго ждать, когда же карточка товара наконец загрузится. Многие покупатели просто устанут ждать и уйдут к конкурентам. А этого никак допустить нельзя.

И если с 10 импортами через файлы вы еще можете что-то сделать, установив в настройках разное время загрузки файлов. Но когда у вас их сотни, а также выгрузку делает сам продавец из своих программ автоматически, то частоту и время синхронизации выгрузки своей программы складского учета, продавец настраивает сам. И, чаще всего, синхронизацию настраивают на начало рабочего дня. И вот десятки менеджеров продавцов приходят к 9 утра на работу, включают свои компьютеры, а программы складского учета начинают синхронизацию. Ресурсы сервера просядут под валом одновременных запросов.

Функционал модуля «Очередь импорта CSV, XML, YML, CommerceML (Мой Склад, 1С, Класс365)

В качестве решения мы предлагаем купить и установить модуль «Очередь импорта».

Модуль выстраивает процессы импорта в очередь, один за другим, что уже само по себе снижает нагрузку на базу данных. Одновременно загружается только один файл. Ограничивается количество обращений к базе данных, снижается риск возникновения ошибок.

Кроме того, модуль регулирует время запуска импортов. Вы можете настроить регулярную автоматическую загрузку импортов на время наименьшей нагрузки на сервер со стороны покупателей.

При необходимости вы можете запустить загрузку импортов в очереди вручную – нажатием кнопки. 

Подробная инструкция по работе с модулем

Инструкция актуальна на момент публикации. Модуль регулярно обновляется и улучшается. Возможны незначительные отличия в управлении модулем.

Очередь импорта CSV, XML, CommerceML (МойСклад, 1С, Класс365)

Модуль выстраивает очередность импорта для снижения нагрузки на базу данных.

СФЕРА ПРИМЕНЕНИЯ

Подходит для маркетплейсов с большим количеством вендоров, самостоятельно загружающих товары на сайт через 1С или с применением интеллектуального импорта.

ПРИМЕР ПРИМЕНЕНИЯ

В случае, когда большое количество продавцов загружает большое количество товаров, модуль автоматически ставит импорт в очередь и проводит его постепенно, тем самым не нагружая систему.

ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ

• Организует очередь импорта;
• Позволяет проводить импорт вне очереди;
• Позволяет очистить очередь импорта;
• Настраивает CRON очереди и удаления импортов.

СВЯЗЬ С ДРУГИМИ МОДУЛЯМИ

Взаимодействует с модулями "Импорт с модерацией и автосозданием характеристик" и "Обмен 1С".

НАСТРОЙКИ МОДУЛЯ

1. Для настройки модуля перейдите во вкладку "Модули", во всплывающем меню выберите пункт "Управление модулями" и раздел "MAURISWEB".

2. В открывшемся списке выберите интересующий вас модуль и нажмите на его название, выделенное синим или чёрным цветом.

3. На открывшейся странице выберите вкладку "Основные". В случае, если лицензионный ключ не выставлен автоматически и настройки модуля будут заблокированы, пройдите в ваш аккаунт на www.maurisweb.ru скопируйте лицензионный ключ и вставьте его в соответствующий пункт. Ключ так же отправлен на вашу электронную почту.

4. В разделах "Доступные домены" и "Тестовые домены" проверьте верность указанных доменов. Вы можете добавить дополнительные домены, нажав на белую кнопку "Добавить домен" в правой стороне страницы. Общее количество доменов не должно превышать трёх.

5. Опуститесь ниже, выберите раздел "Основные настройки" и отметьте галочкой пункт "Сохранить данные при удалении модуля", чтобы не потерять их при переустановке модуля.

6. Перейдите во вкладку "CRON" и в пункте "Период удаления завершенных импортов" раскройте список и выберите нужный период, когда будут удаляться уже законченные импорты: "День", "3 дня", "Неделя", "2 недели", "Месяц", "Полгода", "Год".

7. Чтобы настроить импорт из очереди по CRON, введите соответствующую команду в планировщик.

8. Чтобы настроить очистку очереди, введите соответствующую команду в планировщик.

9. Сохраните настройки модуля, нажав на синюю кнопку "Сохранить" в правой верхней части панели.

ФУНКЦИОНАЛ МОДУЛЯ

1. Чтобы настроить очередь импорта, пройдите во вкладку "Администрирование", выберите пункт "Импорт данных" и "Очередь импорта".

2. На появившейся странице откроется таблица с перечислением всех импортов, которые были проведены через 1С или загружены форматом CSV (через модули "Обмен 1С" или "Импорт с модерацией и автосозданием характеристик"). В столбце "Название" отобразятся наименования импортов, "Поставлен в очередь" - дата обработки импорта модулем, "Начал работу" - начало работы с импортом, "Закончил работу" - окончание работы с импортом.

3. Чтобы удалить конкретный импорт, нажмите кнопку в форме синей шестерёнки в правой части строки и выберите функцию "Удалить".

4. Чтобы удалить несколько импортов, выделите их галочками в крайнем левом столбце, нажмите на кнопку в форме синей шестерёнки в правом верхнем углу панели и выберите функцию "Удалить выбранные". Чтобы выбрать все, поставьте галочку рядом со столбцом "Название".

5. Чтобы провести импорт вне очереди, нажмите на белую кнопку "Импорт" в правом верхнем углу панели. В остальных случаях, очередь импорта будет проходить по CRON.