211 761 товар в 1С: как мы перестраивали обмен с интернет-магазином под нагрузкой

Значимый прорыв формирует отрасль ИИ: Большой каталог сам по себе еще не делает интеграцию сложной. В нашем проекте интеграции сайта с 1С сейчас 211 761 позиция номенклатуры. Передать такой объем можно, вопрос скорее в том, сколько ресурсов и времени на это потребуется.

Проблемы начинаются позже: когда данные нужно не просто выгрузить, а отобрать, обработать, регулярно обновлять и доставить в другую систему. Проект работает на связке 1С:Управление торговлей + интернет-магазин на Bitrix. Источником основных данных остается 1С: там находятся номенклатура, склады, цены и остатки, а сайт в основном работает как витрина.

Технические детали

В обратную сторону с сайта в 1С приходят заказы. Изначально для этой связки использовали типовой обмен. Но проект развивался: появились дополнительные отборы и обработка данных, разные сущности стали требовать разной скорости обновления.

В какой-то момент часть данных начала приходить на сайт с задержкой. Мы не стали переписывать интеграцию целиком. Архитектура менялась постепенно, по мере того как в production проявлялось очередное ограничение.

Сначала оказалось, что тяжелая полная выгрузка конкурирует с оперативными изменениями. Когда их развели по времени, уперлись в скорость обработки на стороне сайта. Когда начали разделять большой обмен на отдельные потоки, нашли bottleneck уже внутри 1С.

Позже появились новые потребители данных, 1С:Шина и новый вопрос — как контролировать доставку при асинхронной передаче. Ниже — этот путь в том порядке, в котором мы его проходили с командой ASAP.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.