Скованные одним цефом: как тестируем Ceph в MWS Cloud Platform

В сфере искусственного интеллекта произошло заметное событие. Running_thru 10 минут назад Скованные одним цефом: как тестируем Ceph в MWS Cloud Platform Уровень сложности Средний Время на прочтение 13 мин Охват и читатели 181 Блог компании MWS Cloud Разработка публичных облаков * Хранение данных * IT-инфраструктура * Серверное администрирование * Кейс Смело предположу, что каждый инженер, на регулярной основе работающий с SDS Сeph, не единожды находился в состоянии фрустрации от сложности и неоднозначности этой технологии. Я хотел бы попробовать помочь и поделиться своим опытом решения проблем с производительностью. В этой статье я кратко расскажу про некоторые инструментальные подходы к решению возникающих задач.

Меня зовут Александр Пивкин, я ведущий SRE-инженер в MWS Cloud Platform . Сейчас Ceph — основная технология хранения данных в MWS Cloud Platform, и поэтому она должна работать хорошо. Сегодня сфокусируемся на инструментах диагностики и устранения проблем производительности в Ceph-кластерах.

Технические детали

Введение Наверняка вы знакомы с Ceph, поэтому не буду подробно разбирать, что это такое, а лишь напомню основные положения: Ceph — это распределённая программно-определяемая система хранения данных с открытым исходным кодом. Почему Ceph так привлекателен для крупных компаний: Экономическая эффективность по сравнению с проприетарными решениями. А значит, помимо очевидной вендор-лок ловушки, Ceph, при наличии квалифицированных инженеров, сравнительно недорогой в обслуживании.

А концепция open source позволяет модифицировать готовый продукт под свои нужды, а не вести разработку с нуля. Гибкость и масштабируемость для растущих инфраструктур. Популярность облачного хранения данных в последние 10 лет демонстрирует устойчивый рост, и предпосылок для перелома тренда не просматривается в ближайшем будущем.

Это значит, что объём данных будет неизменно расти. Поэтому возможность гибкой и быстрой адаптации к текущим требованиям становится важнейшим качеством как бизнес, так и технической составляющей любого облачного провайдера. Поддержка различных сценариев использования в одной системе.

Отраслевые последствия

Ceph, как всем известно, является, пожалуй, лучшим комбайном для всех популярных распределённых технологий хранения — ФС, объектного хранилища S3 и сетевых блочных устройств. Развитие проекта и активное сообщество. Проект активно развивается и постоянно совершенствуется.

Без поддержки со стороны разработчиков пользователи не останутся. Выбор Ceph крупными бизнесами — лучшая похвала для технологии. Если ряд технологических компаний-гигантов доверяют Ceph свои данные — это говорит о надёжности системы больше, чем любые утверждения маркетологов.

Размеры их кластеров поистине гигантские. Лично на меня в своё время большое впечатление произвёл своими размерами кластер CERN (> 110PB). Кстати, ознакомиться с публичной информацией о различных кластерах мира можно по ссылке.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.