Ночной джоб, который сам нарезает партиции: cron, SQL-функция и сплиттер

В сфере искусственного интеллекта произошло заметное событие. grelikt 33 минуты назад Ночной джоб, который сам нарезает партиции: cron, SQL-функция и сплиттер Сложный 11 мин 1. NET * C# * Open source * PostgreSQL * Туториал redb. Croneredb ecosystemЕсть таблица GPS-точек.

Транспорт шлёт координаты каждые несколько секунд, за сутки набегают миллионы строк, и таблица секционирована по времени. Значит, кто-то должен заранее создавать партицию на завтра и отцеплять партиции старше девяноста дней. Иначе в одну прекрасную ночь вставка упадёт с no partition of relation "gps_points" found for row, и это будет ровно в тот момент, когда никто не смотрит.

Технические детали

Tsak schedulerЗадача старая как мир, и обычно решается одним из двух способов: pg_cron внутри базы или IHostedService с PeriodicTimer в приложении. У первого проблема с наблюдаемостью — джоб живёт в базе, а логи приложения о нём ничего не знают. У второго проблема с тем, что вокруг PeriodicTimer очень быстро нарастает своя маленькая инфраструктура: retry, логирование, «а что если предыдущий запуск ещё идёт», «а что если нод три».

Я покажу третий способ — маршрут. Дальше будет разбор коннектора redb. Quartz, вызов PostgreSQL-функции через SQL-коннектор, сплиттер с изоляцией ошибок и честный разговор про кластер, потому что именно там всё интересное и начинается.

Весь код в статье — на строковых URI. Fluent-билдеры в redb. Route есть, но URI читается без знания API, и его можно скопировать в конфиг.

Отраслевые последствия

Серия про экосистему redb и redb. Это продолжение цикла, свежие статьи — сверху:redb. Route — коннектор Amazon SQS + SNS: at-least-once и Publish-Subscribe через SNS→SQS.

Уходим от MassTransitredb. Route — коннектор RabbitMQ: RPC, конкурирующие консьюмеры и dead-letter. Уходим от MassTransitredb 3.

0: решение уровня энтерпрайз на . NET — своя БД, свой Apache Camel и рантайм с дашбордом (и всё это бесплатно)redb. Route: два маршрута за вечер — от отладочного воркера до энтерпрайза на Tsakredb.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.