Как мы научили СХД TATLIN.OBJECT мигрировать данные из S3-хранилища MinIO

Вот важная новость с фронта ИИ: obruk 37 минут назад Как мы научили СХД TATLIN. OBJECT мигрировать данные из S3-хранилища MinIO Простой 10 мин 1. 7K Блог компании YADRO Хранение данных * Резервное копирование * IT-инфраструктура * Кейс Привет, Хабр.

Меня зовут Ори Брук, я ведущий инженер в департаменте разработки объектных хранилищ YADRO. Раньше мы не писали о TATLIN. OBJECT, нашей децентрализованной системе хранения данных (СХД).

Технические детали

Исправляемся, ведь у нас есть повод — релиз новой функциональности S3-зеркалирования. Она позволяет бесшовно переносить данные из S3-совместимого хранилища MinIO в нашу СХД. Впрочем, функция может работать с любым S3-совместимым хранилищем в качестве источника данных в рамках поддерживаемых вызовов.

Разберемся, как устроено децентрализованное хранилище, как работает S3 прокси-мигратор, и посмотрим на результаты замеров его производительности на примере MinIO. Что такое объектное хранилище TATLIN. OBJECT — это программно-аппаратный комплекс с децентрализованным движком хранения данных, который был разработан в YADRO.

Децентрализация позволяет масштабировать СХД, добавляя новые узлы хранения в любых локациях. Также она обеспечивает доступ и сохранность данных во многих неприятных сценариях: от отказа одного узла до заметных сбоев интернета. Решение поддерживает протоколы S3, HTTP(S) и gRPC, стандартные Amazon SDK для S3, а также собственные SDK для Go, С#, Python и Java для работы по нативному протоколу gRPC.

Отраслевые последствия

Аппаратная платформаTATLIN. OBJECT работает на базе серверных решений YADRO, таких как VEGMAN. СХД заказчик устанавливает во внутреннем контуре компании (on-premises) и поэтому сохраняет полный контроль над хранящимися данными.

Пример размещения узлов децентрализованной СХД TATLIN. OBJECT в стойкеДля запуска TATLIN. OBJECT в компании достаточно всего четырех узлов хранения.

Затем систему можно наращивать с кратностью в один узел и вплоть до сотни узлов. Пример организации кластера из четырех узлов храненияСостав узла хранения:2 × CPU x86256 ГБ RAMЛибо 6/12 × NL SAS HDD 16 TБ + 4 × SATA SSD 1,92 TБ (гибридные узлы)Либо 6/12 x SAS SSD 7,68 ТБ (узлы all-SSD)2 × 10/25 Гбит с Ethernet для внутренней сети2 × 10/25 Гбит с Ethernet для доступа к данным1 × 1 Гбит с Ethernet для сети управления1 × 1 Гбит с Ethernet для локального сервисного доступаРазберем основные особенность TATLIN. OBJECT с точки зрения ПО — отечественного движка хранения данных, разработанного с нуля.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.