
Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama?
Neyroskuf 10 минут назад Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama? Уровень сложности Простой Время на прочтение 3 мин Охват и читатели 470 Блог компании Paybeam Искусственный...
Anthropic — What company has the best second artificial intelligence model at the end of June?
В сфере искусственного интеллекта произошло заметное событие. Neyroskuf 10 минут назад Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama? Уровень сложности Простой Время на прочтение 3 мин Охват и читатели 470 Блог компании Paybeam Искусственный интеллект Обзор Ryzen AI 9 HX 370 - это чип с NPU на 50 TOPS и Ollama его не видит - из-за своей архитектуры.
Собственно, сама Ollama работает поверх llama. cpp поддерживает GPU через CUDA, Metal, Vulkan и ROCm. А вот AMD GPU Ollama запускает - через ROCm и Vulkan.
Технические детали
Но AMD NPU на базе архитектуры XDNA туда, к сожалению, не входит. Ryzen AI 300, Ryzen 8040, Ryzen 7040 - у всех этих чипов есть нейронный процессор, который при запуске Ollama простаивает. И вот Lemonade Server появился именно для этого сегмента.
Что за Lemonade Для начала - это не корпоративный продукт AMD. Они финансируют разработку и предоставляют инженеров, но это не официальный продукт с корпоративным релизным циклом. Lemonade - это управляющий слой поверх нескольких специализированных движков.
Каждый движок обслуживает свою задачу. Для текстовых моделей - llama. cpp с поддержкой Vulkan и отдельная ROCm-сборка llama.
Отраслевые последствия
Для NPU - FastFlowLM (FLM) на чипах с архитектурой XDNA - это Ryzen AI 300 (Strix Point), Ryzen 8040 (Hawk Point) и Ryzen 7040 (Phoenix). Для распознавания речи - whisper. Для синтеза речи - Kokoro.
Для генерации изображений - sd-cpp. Всё это управляется фоновым процессом lemond на порту 13305. При старте Lemonade определяет доступное железо и выбирает движок.
На APU с Ryzen AI - FastFlowLM. На GPU с ROCm - специальная llamacpp-rocm сборка. На NVIDIA или без GPU - Vulkan или CPU-режим.
Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.





