Как мы сэкономили 100 ТБ за счёт оптимизации DNS-кэша сервиса 1.1.1.1

Вот важная новость с фронта ИИ: Платформа Big Pineapple — на базе которой работают 1. 1, Gateway DNS, DNS Firewall, AS112 и ряд других DNS-сервисов Cloudflare — в любой отдельный момент времени хранит 250 млрд.

При таких масштабах использование даже одного лишнего байта на запись стоит нашему парку машин более 250 ГБ памяти. Озадачившись этой проблемой, мы последовательно внесли пять изменений в механизм сохранения кэш-записей, сократив объём памяти, необходимый для хранения одной такой записи, более чем вдвое.

Технические детали

В общей сложности нам удалось освободить примерно 100 ТБ по всему парку, что равнозначно объёму RAM в 130 из наших серверов 13-го поколения. При этом также ускорилась работа кэша.

Пропускная способность при вставке записей выросла на 43%, а задержка поиска упала на 19%. Причём за счёт сокращения числа аллокаций и повышения локальности данных жертвовать скоростью ради экономии памяти не пришлось.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.