S3 Архипелаг: разворачиваем объектное хранилище за 15 минут

В сфере искусственного интеллекта произошло заметное событие. diasoft 30 минут назад S3 Архипелаг: разворачиваем объектное хранилище за 15 минут 18 мин 1. 2K Блог компании Диасофт Программирование * Хранение данных * IT-инфраструктура * Data Engineering * На связи Илья Шуйков, руководитель продукта «Фабрика данных» компании Диасофт. В прошлой статье мы рассказали, зачем понадобилось строить свое объектное хранилище, и как устроен S3 Архипелаг изнутри.

Теперь — практика: берем дистрибутив и разворачиваем рабочее хранилище. Коротко о дистрибутивеS3 Архипелаг входит в состав «Фабрики данных» (Digital Q. DataFactory) – нашего промышленного решения класса Data Lakehouse.

Технические детали

Но использовать его можно и отдельно как самостоятельное S3-хранилище. У S3 Архипелаг есть бесплатная лицензия на 500 ГБ – скачивайте и пользуйтесь без ограничений по функциональности. S3 API, монтирование через FUSE, Erasure Coding, tiered storage – все включено.

Лицензия бессрочная – хватит для тестов, пилотов и небольших продуктивных инсталляций. Возможности:Полная совместимость с S3 API – работает с любыми S3-клиентами и SDKErasure Coding – экономия дискового пространства до 50% по сравнению с репликациейTiered storage – автоматическое перемещение данных между горячим и холодным хранилищемFUSE/HDFS – монтируйте хранилище как файловую системуГоризонтальное масштабирование – добавляйте узлы без остановки кластераДва режима развертывания: Standalone для быстрого старта и Kubernetes для production. Времени понадобится минут 15.

S3 Архипелаг состоит из нескольких компонентов:Master – координатор кластера, управляет топологией и репликациейVolume Server – хранит данные, упакованные в томаFiler – слой метаданных, работает с PostgreSQLS3 Gateway – S3-совместимый API для приложенийAdmin UI – веб-интерфейс администрированияSFTP Server – доступ к файлам по SFTP (опционально)В Standalone-режиме все это запускается через Docker Compose. В Kubernetes – через Helm-чарты с полной отказоустойчивостью. Где взять дистрибутивЗаходим на страницу продукта, жмем «Скачать бесплатно», вводим имя и почту.

Отраслевые последствия

Через пару секунд начнется загрузка архива. В архиве:- Docker-образ (qs3archipelago-. gz)- Helm-чарт для Kubernetes- Документация по установкеЗагрузка Docker-образаЗагрузите образ из архива в локальный Docker:# Распаковка и загрузка образаgunzip -c qs3archipelago-.

gz | docker load# Проверка загрузкиdocker images | grep qs3archipelagoПосле загрузки образ будет доступен локально. Если вам нужно использовать его на нескольких машинах или в Kubernetes, опубликуйте образ в ваш container registry:# Тегируем образ для вашего registrydocker tag qs3archipelago:latest your-registry. com/qs3archipelago:latest# Публикуем в registrydocker push your-registry.

com/qs3archipelago:latestПримечание: Замените your-registry. com на адрес вашего container registry (Harbor, Nexus, GitLab Registry и т. Часть 1: Standalone-режимИдеально для разработки, тестирования или небольших инсталляций до 10-20 TB.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.