Эволюция клиента для Ollama: от PostgreSQL к MongoDB

Вот важная новость с фронта ИИ: kbooo 21 минуту назад Эволюция клиента для Ollama: от PostgreSQL к MongoDB Сложный 9 мин 776 Блог компании Beeline Cloud Java * MongoDB * Open source * Искусственный интеллект Кейс «Код уже писать не надо, надо знать только цель, а код напишет себя сам». Виктор Пелевин «iPhuck 10»Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ Beeline Cloud.

Продолжаю цикл статей о клиенте для облачного сервиса Ollama. В первой части я рассказал, как родился этот клиент, с какими трудностями пришлось столкнуться при организации стриминга, и даже оставил пасхалку. Однако, как и любой живой проект, этот клиент не стоит на месте.

Технические детали

В этой части хочу поговорить о трёх ключевых изменениях, которые произошли после выхода первой версии:Смена базы данных. Почему решил отказаться от PostgreSQL в пользу MongoDB. Оптимизация фронтенда.

Борьба с зависаниями интерфейса при обработке длинных промтов и ответов от нейросетей. Новая функциональность. «Анализ проекта» — удобный способ загрузить код для ревью, с умной фильтрацией через .

PostgreSQL vs MongoDB: история одной заменыВ первой версии проекта всё было «по-взрослому»: реляционная база данных PostgreSQL, таблица chat_history с чёткой структурой (id, user_message, assistant_response, model, created_at). Казалось бы, что может быть надёжнее? Но я понял, что переход на MongoDB способен значительно улучшить производительность при работе с большими текстами, но с определёнными оговорками.

Отраслевые последствия

Для нашего случая, когда проблема именно в сохранении больших ответов от LLM, MongoDB предлагает более прямое и эффективное решение. Дальше опишу ключевые различия PostgreSQL и MongoDB при работе с текстами. Понимание того, как каждая база данных обрабатывает большие данные, поможет увидеть, где можно выиграть в производительности.

PostgreSQL Механизм хранения. Использует TOAST (The Oversized-Attribute Storage Technique). Когда текст превышает ~2 КБ, он автоматически сжимается и перемещается в отдельные служебные TOAST-таблицы.

В основной таблице остаётся только указатель. TOAST — это мощный, но тяжёлый механизм. Он требует дополнительных операций сжатия/распаковки и чтения из нескольких таблиц, что создаёт нагрузку на процессор и дисковую систему.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.