Собственная LLM в корпоративном контуре: как мы собрали RAG на n8n и сократили расходы в 5,5 раза

В сфере искусственного интеллекта произошло заметное событие. masterova_o 2 минуты назад Собственная LLM в корпоративном контуре: как мы собрали RAG на n8n и сократили расходы в 5,5 раза 7 мин 0 Блог компании Flowwow Искусственный интеллект IT-инфраструктура * Мессенджеры * Машинное обучение * Кейс Привет, Хабр! На связи команда ИТ-инфраструктуры и автоматизации, а именно Ольга Мастерова, Анастасия Иванова и Филипп Теряев. Мы во Flowwow настоящие фанаты автоматизации.

На дату публикации этой статьи в нашем корпоративном мессенджере внедрено больше 270 автоматизаций, и это далеко не конец. У вас наверняка возникает закономерный вопрос: а зачем так много? Все просто: мы стараемся расходовать каждую минуту сотрудника эффективно.

Технические детали

Если можно упростить работу с помощью ботов и искусственного интеллекта, обязательно это сделаем. В этой статье мы расскажем, как сократили время на поиск информации в корпоративной базе знаний и превратили тысячи страниц документации в удобного ИИ-ассистента. А также поделимся, как реализовали локальный GPT, почему выбрали путь собственных решений вместо готовых сервисов, с какими инфраструктурными вызовами столкнулись и как в итоге собрали рабочие инструменты на базе self-hosted-версии low-code-платформы n8n, полностью закрыв данные внутри корпоративного контура.

Но для начала важный офтоп: в тот момент, когда мы начали задумываться об автоматизации работы с корпоративными знаниями, компания находилась в процессе переезда из Slack в новый корпоративный мессенджер. Это сильно повлияло на архитектурные решения, ограничения и сам подход к внедрению LLM. Поэтому перед тем как перейти к рассказу о нашем пути в разработке LLM, кратко поделимся, почему мы меняли мессенджер, как выбирали новый и какие ограничения получили на выходе.

Выбор мессенджера и наши ограниченияПричина переезда тривиальна: мы начали планировать миграцию сразу после первых кейсов отключения Slack. Мы четко понимали риски, но сознательно не торопились, так как на мессенджере было завязано большинство внутренних процессов: от постановки задач до напоминаний о заполнении табличек. Резкий переход мог сильно ударить по эффективности.

Отраслевые последствия

Поэтому мы проанализировали более 40 корпоративных мессенджеров, отсеивая те, что требовали долгого переобучения. Нам было критически важно сохранить существующие автоматизации. Ключевыми критериями отбора стали:схожесть с привычным функционалом, чтобы снизить порог входа для команды;развитое API и поддержка интеграций: у нас уже было много автоматизаций, которые нельзя потерять;подтвержденный опыт миграций и инструменты для переноса данных;кросс-платформенность: веб, десктоп и мобильные клиенты;адекватное менеджерское сопровождение на этапе внедрения.

По совокупности факторов и итогам нескольких пилотных проектов мы остановились на мессенджере «Пачка». Важно понимать, что бесшовного переезда не бывает. И для нас ключевой сложностью стало ограниченное количество готовых интеграций — часть привычных сценариев пришлось собирать с нуля.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.