MIND uStor: модель хранения данных, алгоритм ввода-вывода и отказоустойчивость

Вот важная новость с фронта ИИ: Архитектура — это не список функций. Это набор инженерных решений, которые определяют, где система выиграет, где проиграет и почему. Большинство распределенных хранилищ при заполнении примерно на 95% начинают работать в 2-3 раза медленнее.

В наших тестах производительность упала всего на 4–9%. Причина в архитектуре MIND uStor. В этой статье разберем, как устроена модель хранения данных, как организован ввод-вывод и за счет чего система сохраняет производительность даже при высокой утилизации дискового пространства.

Технические детали

В первой статье мы рассмотрели типичные проблемы программно-определяемых хранилищ (SDS): падение производительности по мере заполнения, дополнительные затраты на отказоустойчивость и сложность эксплуатации. Эти ограничения характерны для большинства систем такого класса, поэтому при разработке uStor нам пришлось искать баланс между производительностью, надежностью, эффективностью использования дискового пространства и сложностью реализации. Здесь разберем, как устроено размещение данных, каким образом кластер сохраняет производительность при заполнении свыше 90%, как работают RF- и EC-пулы, а также почему iSCSI-таргет реализован в пространстве пользователя.

Отдельно остановимся на компромиссах, которых потребовала реализация этих решений.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.