Непридуманная история о том, как мы перетащили 300 ТБ key-value данных в облако без простоя

Значимый прорыв формирует отрасль ИИ: viciious 46 минут назад Непридуманная история о том, как мы перетащили 300 ТБ key-value данных в облако без простоя Сложный 12 мин 2. 4K Блог компании VK Облачные сервисы * DevOps * IT-инфраструктура * Tarantool * Кейс Привет, Хабр! Меня зовут Виктор Лучиц, я архитектурный лид в отделе инфраструктурной разработки рекламных технологий VK.

Я расскажу, как наша команда осуществила конвергенцию двух наших core-технологий, как справлялись с инцидентами и что в итоге получили. Это не столько рассказ о самих технологиях, сколько попытка частичной систематизации нашего опыта работы со сложными системами. Этим опытом нам хотелось бы поделиться с читателями Хабра, и надеемся, что он покажется вам полезным.

Технические детали

О том, как работает хранилище данных, о котором далее пойдёт речь, вы можете более подробно почитать в ранее выходившей на Хабре статье. Внутри компании это высоконагруженное распределённое key-value хранилище называется «Tarantella», оно построено на основе Tarantool. По сути это надстройка над большим количеством экземпляров Tarantool, которая позволяет распредёленно хранить данные по ключам, получать их как отдельными записями, так и списками.

Система отслеживает доступность данных, позволяет соблюдать факторы репликации для них и поддерживает распределённость по data-центрам для обеспечения отказоустойчивости. Можно для разных целей запускать несколько не связанных между собой кластеров. Например, один кластер может хранить данные для таргетингов рекламы, а другой — данные с аналитикой.

Самый большой кластер на момент переезда имел объём 150 ТБ, где на экземпляры с данными приходилось порядка 30 миллионов запросов на чтение в секунду. Показатели надёжности работы этого кластера влияют на выручку рекламного департамента, что называется, в режиме реального времени. One-Cloud — внутреннее облако VK, о котором коллеги уже тоже рассказывали.

Отраслевые последствия

О конвергенции этих двух технологий дальше и пойдёт речь. Что мы выигрываем от переезда в облакоУдобство масштабирования. Запуски новых инсталляций Tarantool на bare metal исторически сопряжены с определёнными сложностями.

Например, если закончились ресурсы на железной машине, то вам нужно докупить новую, и нужно ещё найти под неё место в стойке, дождаться установки и так далее. Или обратная ситуация: у вас освободилось место, и вы хотите им с кем-то поделиться. Когда у вас система управляется централизованно по bare metal хостам, то всё это может оказаться достаточно сложно.

Появляется возможность делиться ресурсами в моменты времени, когда кластер менее загружен. Например, ночью, когда загрузка кластера минимальна, вы можете предоставлять свои вычислительные ресурсы для аналитических задач, которые планировщик One-Cloud посчитает возможным к вам подселить. Автоматизация и управляемость.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.