Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama?

В сфере искусственного интеллекта произошло заметное событие. Neyroskuf 10 минут назад Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama? Уровень сложности Простой Время на прочтение 3 мин Охват и читатели 470 Блог компании Paybeam Искусственный интеллект Обзор Ryzen AI 9 HX 370 - это чип с NPU на 50 TOPS и Ollama его не видит - из-за своей архитектуры.

Собственно, сама Ollama работает поверх llama. cpp поддерживает GPU через CUDA, Metal, Vulkan и ROCm. А вот AMD GPU Ollama запускает - через ROCm и Vulkan.

Технические детали

Но AMD NPU на базе архитектуры XDNA туда, к сожалению, не входит. Ryzen AI 300, Ryzen 8040, Ryzen 7040 - у всех этих чипов есть нейронный процессор, который при запуске Ollama простаивает. И вот Lemonade Server появился именно для этого сегмента.

Что за Lemonade Для начала - это не корпоративный продукт AMD. Они финансируют разработку и предоставляют инженеров, но это не официальный продукт с корпоративным релизным циклом. Lemonade - это управляющий слой поверх нескольких специализированных движков.

Каждый движок обслуживает свою задачу. Для текстовых моделей - llama. cpp с поддержкой Vulkan и отдельная ROCm-сборка llama.

Отраслевые последствия

Для NPU - FastFlowLM (FLM) на чипах с архитектурой XDNA - это Ryzen AI 300 (Strix Point), Ryzen 8040 (Hawk Point) и Ryzen 7040 (Phoenix). Для распознавания речи - whisper. Для синтеза речи - Kokoro.

Для генерации изображений - sd-cpp. Всё это управляется фоновым процессом lemond на порту 13305. При старте Lemonade определяет доступное железо и выбирает движок.

На APU с Ryzen AI - FastFlowLM. На GPU с ROCm - специальная llamacpp-rocm сборка. На NVIDIA или без GPU - Vulkan или CPU-режим.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.