Как Cloudflare отодвинул закупку железа на 8 месяцев: сэмплирование, агрегации и zstd в конвейере данных

Вот важная новость с фронта ИИ: opium 17 минут назад Объяснить с Как Cloudflare отодвинул закупку железа на 8 месяцев: сэмплирование, агрегации и zstd в конвейере данных Средний 10 мин 796 DevOps * Программирование * Big Data * Облачные вычисления * Кейс Перевод Автор оригинала: Cloudflare Data team За Cloudflare сидит больше 20% интернета, команда Data отвечает за конвейер данных, который перегоняет эти данные (и не только их) из глобальной сети в центральные дата-центры. Сеть Cloudflare — распределённая система из десятков тысяч серверов. Через неё и наш конвейер идут данные для Cloudflare Logs, SQL API, observability, внутренней аналитики и многого другого.

В мае этого года конвейер доставлял примерно два миллиарда событий в секунду. Это и трафик клиентов, и данные внутренних команд. Из года в год мы решаем одну и ту же задачу: трафик растёт экспоненциально, а железо — линейно.

Технические детали

Чтобы расходы на ресурсы не вышли из-под контроля, приходится реагировать. За пять лет мы сделали ряд улучшений, которые равносильны отсрочке двух с половиной лет расширения парка серверов. В этой статье они описаны по порядку: разделение монолитной схемы данных в 2022 году, смена сжатия в 2024-м, перестройка репликации в конвейере весной 2026-го, децентрализация сэмплирования летом 2026-го и добавление агрегаций в конвейер осенью 2026-го.

Исходная архитектураКонвейер начинается с внутреннего сервиса Logfwdr. Он собирает данные из сильно распределённых источников (например, Workers и FL). Дальше данные уходят на набор центральных приёмников, а те складывают их в нашу буферную систему Buftee.

Потребители забирают данные из Buftee и раздают по конечным точкам, например в ClickHouse, на который мы сильно опираемся. Упрощённая схема архитектурыУпрощённая схема. Logfwdr принимает события от источников и пересылает их на центральные приёмники.

Отраслевые последствия

Приёмники ставят их в очередь буферной системы, откуда забирают данные нижестоящие потребители. Разбираем монолитВ 2022 году мы разобрали нашу единственную схему данных. Раньше был один поток со всеми полями всех продуктов, и внутренние потребители Cloudflare вынуждены были принимать всё подряд, а затем разделять записи или отбрасывать лишнее фильтрами.

Тогда большинство наших продуктов данных строилось на метаданных HTTP, безопасности и CDN. В 2021 году схема сообщения выглядела так:Схема сообщения 2021 годаЧасть полей относилась к одному продукту, а часть вообще никак не была связана друг с другом. Гипотеза была такой: ни одной команде не нужны 100% полей монолитной схемы.

Значит, можно делать небольшие сообщения только с теми полями, которые нужны каждому продукту. Часть полей при этом дублировалась, некоторые даже в каждом сообщении. Но замена общего потока схемами под продукты всё равно сократила использование пропускной способности магистрали на 35–40%.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.