Anything LLM для каждого

В сфере искусственного интеллекта произошло заметное событие. vadimspriggan 40 минут назад Anything LLM для каждого Средний 8 мин 1. 3K IT-инфраструктура * Искусственный интеллект Настройка Linux * Системное администрирование * Тестирование IT-систем * Туториал Привет! Если для себя лично можно как-то извернуться и купить подписку на ChatGPT, Claude или Gemini, то для бизнеса это не так-то просто.

И я сейчас говорю не про зарубежные карточки, а про разделение доступа и локальное хранение чувствительных данных компании. Передо мной встала задача обеспечить моим клиентам локальную LLM, в которую можно закидывать любые документы и получать по ним ответы. Как водится, бюджета на это не выделили.

Технические детали

Нужна демоверсия в боевом режиме для нескольких сотрудников, чтобы оценить профит. Я подготовил эту инструкцию для сисадминов, которые по ней смогут настроить рабочую версию RAG-системы на базе открытого ПО для небольшой компании. Сразу скажу, что для себя лично вполне можно обойтись без серверной версии AnythingLLM, она нужна только для реализации многопользовательского режима.

Десктопный AnythingLLM даст вам и вашим домашним доступ одной галочкой. Я принял решение купить обычный VPS, а в качестве вычислительного ядра использовать свою домашнюю 4060ti на 16 ГБ. На моём домашнем сервере уже развёрнута Ollama с целым набором моделей.

Его связь с миром обеспечивает MikroTik 4011 с гигабитным каналом и белым динамическим IP. Дальше нам остаётся только правильно развернуть AnythingLLM на VPS и подключить его к вычислительному ядру. Об этом и пойдёт речь ниже.

Отраслевые последствия

Установка пакетов на VPS (Ubuntu)Установка AnythingLLM через Docker ComposeНастройка IPsec (swanctl) на VPSНастройка MikroTikНастройка Ollama на домашнем ПКНастройка клиента L2TP и PPP на VPSНастройка порядка запуска демонов при старте UbuntuНастройка UFW на VPSБезопасность веб-интерфейса AnythingLLM (Nginx + SSL)Скрипт-сторож (Watchdog) для динамического IPПропустим этап первоначальной настройки VPS, об этом я писал в этой статье. Установка пакетов на VPS (Ubuntu)Устанавливаем службы VPN и необходимые плагины шифрования:# Установка зависимостей туннеля sudo apt update sudo apt install -y strongswan-swanctl xl2tpd libstrongswan-standard-plugins libstrongswan-extra-plugins # Установка Docker через официальный скрипт curl -fsSL -o get-docker. sh sudo sh get-docker.

Установка AnythingLLM через Docker ComposeСоздаем рабочую директорию и конфигурационный файл:mkdir -p /var/lib/anythingllm/storage mkdir -p ~/anythingllm cd ~/anythingllm nano docker-compose. yml Копируем туда следующий YAML-конфиг:services: anythingllm: image: mintplexlabs/anythingllm container_name: anythingllm ports: - "127. 1:3001:3001" environment: - STORAGE_DIR=/app/server/storage restart: unless-stopped volumes: - /var/lib/anythingllm/storage:/app/server/storage - /var/lib/anythingllm/.

env Обратите внимание на строчку "127. 1:3001:3001" — так мы изолируем контейнер от внешнего мира.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.