Разворачивайте сразу платформу с помощью Stackfile

Значимый прорыв формирует отрасль ИИ: antonkrylov 22 минуты назад Разворачивайте сразу платформу с помощью Stackfile 4 мин 784 DevOps * *nix * Big Data * ОригиналГлавный объект этой статьи не Helm chart и не values файл. Главный объект это Torque stack file. В нем описан порядок разворачивания целой fraud платформы: подготовка хоста, доступ к Kubernetes, облачное хранилище, сервисы данных, приложения, публичные проверки, batch обработка, replay и финальная верификация.

Helmfile может координировать несколько Helm релизов. Argo CD и Flux могут синхронизировать Kubernetes объекты с Git. Terraform и Pulumi могут создать инфраструктуру.

Технические детали

Argo Workflows может запускать jobs. В этом стеке такие инструменты используются там, где они уместны, но граница стека шире. Развертывание начинается с удаленного Linux хоста, создает k3s lab на Firecracker microVM, открывает контролируемый tunnel для локального доступа к Kubernetes, создает или проверяет S3 bucket, устанавливает платформенные сервисы, разворачивает fraud workloads, запускает Spark, запускает replay и проверяет путь данных снаружи кластера.

Исходный пакет лежит в stacks/fraud-platform. В опубликованном варианте есть основной stack. yaml, production shaped entrypoint stack-packaged.

yaml и profile values, например values-prod. Lab profile ожидает TORQUE_LAB_SSH для целевого хоста и TORQUE_LAB_PUBLIC_IP для публичных endpoint проверок. Архитектура платформыУ платформы два пути данных.

Отраслевые последствия

Первый путь потоковый. Он начинается в payments API. Это публичный вход для событий.

API принимает сгенерированные card payment events, пишет каждое raw событие в topic payments. raw в Redpanda и сохраняет raw JSON object в S3. Redpanda в этом стеке не только очередь.

Он также дает schema registry с subjects для raw payment events, risk events и payment decisions. Финальная проверка читает эти subjects и проверяет backward compatibility. Flink читает raw topic и собирает scoring request.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.