pg_stl: анализ временных рядов прямо в PostgreSQL, без выгрузки данных

Значимый прорыв формирует отрасль ИИ: nadyaloseva 8 минут назад pg_stl: анализ временных рядов прямо в PostgreSQL, без выгрузки данных Средний 3 мин 63 Базы данных * C * PostgreSQL * Обзор Если вы работаете с временными рядами в PostgreSQL, скорее всего сталкивались с необходимостью в выгрузке данных в Python, а потом как-то возвращали результат обратно. Это работает, но неудобно и медленно. Я написала расширение pg_stl, которое позволяет делать всё это прямо внутри базы — на нативном C, без экспорта данных наружу.

В этой статье расскажу, что это такое, как работает и почему это быстрее, чем подход с Python. Зачем это нужноСтандартный подход к анализу временных рядов в PostgreSQL выглядит примерно так:• Делаем SELECT и выгружаем данные из базы• Отправляем их в Python или R• Считаем нужные метрики• Возвращаем результаты обратноУ такого подхода есть несколько минусов: риски безопасности, дополнительные зависимости, сложности самого процесса передачи данных туда-обратно, который съедает время. Расширение pg_stl решает эту проблему: всё вычисляется внутри базы, данные никуда не уходят, а C-код работает напрямую с памятью PostgreSQL через его внутреннее API.

Технические детали

Что реализованоВ расширении три алгоритма:• ACF (автокорреляционная функция) — показывает корреляцию ряда с самим собой на разных лагах. Помогает найти сезонность и наличие тренда. • PACF (частная автокорреляционная функция) — в отличие от ACF, показывает только прямую зависимость при заданном лаге, исключая влияние промежуточных.

Полезна для подбора параметров ARIMA. • STL-декомпозиция — разбивает ряд на три составляющие: тренд, сезонность и остаток. Основана на методе LOESS.

Как использоватьУстановкаЧерез Docker (проще всего):docker compose up --buildИли вручную (нужен PostgreSQL 16 и build-essential):makemake installpsql -d mydb -c "CREATE EXTENSION pg_stl;"Структура репозиторияРасширение опубликовано под лицензией PostgreSQL License — это permissive лицензия, позволяющая свободно использовать, копировать и модифицировать код без ограничений. Исходный код доступен на GitHub. com/nadyaloseva/pg_ts_analysisРасширение состоит из нескольких файлов, каждый из которых отвечает за свою часть работы.

Отраслевые последствия

c — основной файл с реализацией всех алгоритмов на языке C: автокорреляционной функции (ACF), частной автокорреляционной функции (PACF) и STL-декомпозиции. Именно здесь находится вся вычислительная логика. sql — SQL-файл, в котором объявляются функции расширения и описывается их сигнатура.

PostgreSQL использует его при установке, чтобы зарегистрировать функции и связать их с реализацией из stl. control — файл с метаданными расширения: название, версия и описание.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.