pg_ilm — гибрид кладовщика с градусником для ваших данных (Information Lifeсycle Management в Tantor Postgres 18)

Вот важная новость с фронта ИИ: BuggAi 1 час назад pg_ilm — гибрид кладовщика с градусником для ваших данных (Information Lifeсycle Management в Tantor Postgres 18) 12 мин 2. 1K Блог компании Тантор Лабс PostgreSQL * Базы данных * Системное администрирование * IT-инфраструктура * Обзор Забегая впередЭто первая из трех статей о расширении, которое появилось в 18 версии СУБД Tantor Postgres и которое может значительно упростить жизнь всем причастным к организации размещения данных и оптимизации хранилищ баз данных. Во-первых, оно предоставляет дополнительные инструменты и функции, которые упрощают контроль за состоянием данных с точки зрения их жизненного цикла (Горячие данные —> Остывающие данные —> Холодные данные).

Во-вторых, расширение частично автоматизирует перенос таблиц и партиций, в которых хранятся данные, в колоночное хранилище и/или на более дешевый носитель — и не как повезет, а согласно заданным правилам. А теперь — знакомство и небольшая история о том, как все начиналось, к чему мы пришли в процессе разработки, наглядная демонстрация возможностей этого расширения с живыми примерами и пара слов о дальнейших планах. Рад знакомствуВсем привет, меня зовут Артем Бугаенко, я разработчик СУБД в Тантор Лабс.

Технические детали

Мы можем быть знакомы по PG BootCamp в Казани или Екатеринбурге. В этом году с выступлением на PG BootCamp не сложилось, и коллеги предложили поделиться новостями разработки через статью на Хабр. Это моя первая статья в сообществе, но сам я, будучи читателем, ощутимо устал от обилия дегенеративного контента, так что эта статья написана с использованием только натурального интеллекта (да-да, натуральный интеллект тоже умеет в длинные тире — проще нажать Alt+0151, чем потом откачивать редактора, любящего типографские правила))).

ВступлениеМы живём в разрастающемся мире технологий и информации. Этой информации нужно где-то храниться, ее с годами становится всё больше и больше, и скорость роста масштабов впечатляет — чего только стоит недавно отгремевший кризис памяти, поднявший акции компаний-производителей чипов и цены на хранители данных. Так что вопрос цены хранения данных как никогда актуален.

В зависимости от этапа жизненного цикла мы можем хранить данные:на быстром, но ограниченном в объёме дорогом хранилище (in-memory, NVME/PCIE SSD);на среднем по скорости, большем в объёме, более дешевом хранилище (SATA SSD);на наиболее медленном, кратно большем в объёме, наиболее дешевом хранилище (HDD). Также в зависимости от своего жизненного пути данные могут переходить от OLTP- к OLAP-профилю нагрузки. Здравый смысл подсказывает, что для того, чтобы данные хранились наиболее оптимальным способом, их стоит в зависимости от степени востребованности переносить на другие хранилища.

Это позволяет как экономить на самом хранении, так и снижать конкуренцию за быстрое и дорогое хранилище, увеличивает производительность и повышает эффективность системы.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.