Переезд S3 без простоя и без привязки к одному облаку: rclone union + serve s3 на практике

Значимый прорыв формирует отрасль ИИ: Maksimkk 2 минуты назад Объяснить с Переезд S3 без простоя и без привязки к одному облаку: rclone union + serve s3 на практике Средний 5 мин 3 Хранение данных * DevOps * Системное администрирование * Облачные сервисы * Резервное копирование * Туториал Задача: сделать объектное хранилище, которое переживает отказ провайдера целиком, а не отдельного диска или зоны. «Три зоны доступности» внутри одного облака и два разных провайдера — две большие разницы. В обычной текущий провайдер работает, и к нему нужно добавить второй.

В аварийной облако после сбоя отдаёт данные медленно и только на чтение, и из него надо уезжать. В обоих случаях — без простоя и без правок в коде приложения. Решение целиком собрано из rclone.

Технические детали

Его обычно знают как «rsync для облаков»: rclone copy и rclone sync между диском и бакетом. Но у rclone есть ещё два слоя, о которых вспоминают редко. Первый — виртуальные бэкенды.

Это remote’ы, которые сами ничего не хранят, а собираются из других: union склеивает несколько хранилищ в одно, combine раскладывает разные хранилища по каталогам, а crypt, chunker и compress шифруют, режут и сжимают на лету. Из них, как из конструктора, складывается одно логическое хранилище поверх любых из примерно семидесяти поддерживаемых бэкендов: S3 любого провайдера, SFTP, WebDAV, локального диска. Второй — rclone serve.

Любой remote, включая собранный из виртуальных, rclone умеет отдавать наружу как сервер: по HTTP, WebDAV, FTP, SFTP, NFS, для restic — и по S3 API. rclone serve s3 превращает rclone в S3-совместимый прокси: приложение ходит в него обычным SDK и не знает, что за ним несколько провайдеров. Отсюда схема: один S3-endpoint для приложения, за ним несколько провайдеров.

Отраслевые последствия

Конфигурация у обеих ситуаций общая, различаются состав union и перенос данных. Схема type = s3 provider = Other endpoint = force_path_style = true no_check_bucket = true access_key_id = ... secret_access_key = ...

type = s3 provider = Selectel endpoint = region = ru-1 access_key_id = ... secret_access_key = ... type = s3 provider = Other endpoint = access_key_id = ...

secret_access_key = ... Имена бакетов у провайдеров разные, поэтому у каждого сначала собирается одинаковое дерево через combine: type = combine upstreams = media=webshield:u42-media dumps=webshield:u42-dumps type = combine upstreams = media=sel:acme-media dumps=sel:acme-dumps type = combine upstreams = media=old:media dumps=old:dumps А поверх — union, который делает из нескольких деревьев одно.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.