Как я собрал корпоративного AI‑ассистента в Mattermost для девопс‑задач

Вот важная новость с фронта ИИ: fs94eskoe 25 минут назад Как я собрал корпоративного AI‑ассистента в Mattermost для девопс‑задач Простой 10 мин 707 Go * DevOps * Мессенджеры * Из песочницы Расскажу, как за несколько месяцев из простого пайплайна для решения багов с помощью LLM вырос полноценный AI‑ассистент, который живёт прямо в нашем корпоративном Mattermost, умеет сам ходить в десятки внешних систем (GitLab, Jira, Kubernetes, Prometheus и другие), и работает целиком внутри нашего контура — без обращений к внешним сервисам. Все запросы к моделям идут через LLM гейтвей за которым стоит несколько виртуалок с видеокартами для инференса. Сразу скажу что ассистент использовался при написании статьи.

С чего всё началосьКак то раз пришла задача: «У наших девопсов и разработчиков много времени уходит на разбор багов и первичную диагностику. Давай подумаем, как ускорить это с помощью нейросетей — чтобы хотя бы первый разбор инцидента ии брал на себя». Первая версия была простая: пайплайн, который шел по шагам:получить тикет получить репу проиндексировать репу в квадрант найти релевантные куски кода сгенерировать ответСо своей задачей худо‑бедно он справлялся, но хотелось большего — чтобы можно было что‑то уточнить или переспросить.

Технические детали

А не попоробовать ли написать своего агента, подумал я. Архитектура в общих чертахСхема получилась довольно простая:Пользователь в Mattermost │ (упоминание бота, личное сообщение, тред) ▼ Ассистент (Go) │ ├──► LLM Gateway - свои виртуалки с видеокартами на которых крутятся модели │ ├──► Postgres - диалоги, история действий, права, статистика │ ├──► Neo4j - граф знаний: факты, связи между сущностями, человеческие знания │ └──► Подключённые внешние системы через MCP: GitLab, Jira, Kubernetes, Prometheus, Jaeger, OpenSearch, чтение документов, работа в браузере, запуск задач и т. Набор технологий: Go, Postgres, Neo4j и локальные модели, никаких внешних подписок.

Всё крутится внутри корпоративного контура. В основе — фреймворк eino от ByteDance. Если совсем коротко, он отвечает за reAct loop: модель решает, какой инструмент вызвать → инструмент вызывается → результат возвращается модели → и так пока задача не решена.

Подробно про eino — это отдельная статья. Все запросы к моделям — через один гейтвейНачинал я с одной виртуалки с Ollama. Очень быстро выяснилось, что это неэффективно: ассистент думал над ответом по 10–15 минут — для живого диалога в чате это не годится.

Поэтому добавил вторую виртуалку и перешёл с Ollama на vLLM — на нем инференс гораздо быстрее.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.