Ищем замену MinIO в условиях импортозамещения: опыт тестирования трех S3-совместимых хранилищ

В сфере искусственного интеллекта произошло заметное событие. Привет, я - Иван Засухин, DataOps Лаборатории искусственного интеллекта департамента больших данных Россельхозбанка. Мы одна из команд платформы RAISA (RSHB AI Systems and Applications), отвечаем за инструменты, которые связаны с данными и их обработкой: Оркестрация (Apache Airflow), Compute( Apache Spark и Apache Trino), Хранение (S3 и Qdrant), интерфейсы взаимодействия с источниками данных (python-модули и кастомные операторы).

В команде я занимаюсь развитием инструментов и их дальнейшим сопровождением. Как эффективно заменить MinIO, если это одно из главных объектных хранилищ команды и ИИ-платформы большого банка?

Технические детали

В этой статье поделюсь результатами двух этапов тестирования S3-совместимых хранилищ. Сравнивали три решения: коммерческую российскую разработку «Закрома», опенсорс-решения RustFS и SeaweedFS.

Тесты проводились на реальных стендах с нагрузками, приближенными к боевым. Спойлер: однозначного победителя нет, но у каждого кандидата есть четкие сценарии применения.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.