Capacitor: от веба к мобильным приложениям. Часть 4. Интегрируем локальный LLM в проект

Значимый прорыв формирует отрасль ИИ: sudondie 27 минут назад Capacitor: от веба к мобильным приложениям. Интегрируем локальный LLM в проект Простой 13 мин 856 Разработка мобильных приложений * JavaScript * TypeScript * iOS * Android * FAQ Привет, Хабр! Продолжаем серию статей о разработке мобильных приложений с помощью Capacitor.

Если вы не читали предыдущие части, лучше начать с них:Часть 0. Зачем нужен CapacitorЧасть 1. Миграция проекта на CapacitorЧасть 2: Как написать свой плагинЧасть 3: OTA-обновленияВ этой части разберём, как запустить языковую модель прямо на телефоне — без сервера, без API-ключей и без постоянного интернета.

Технические детали

Зачем локальный AIНа первый взгляд может показаться, что локальная модель на телефоне — это лишняя сложность. Если уже есть ChatGPT, Claude или Gemini, зачем запускать всё на устройстве? Но у облачного подхода есть ограничения, которые в некоторых сценариях становятся критичными.

Пользователь может вводить заметки, сообщения, документы или даже медицинские данные. Не всегда разумно отправлять это на внешний сервер. Приложение должно работать в метро, в самолёте и в местах с плохой связью.

Даже быстрый сетевой запрос добавляет лишнее время, а в интерактивных сценариях это чувствуется. API-запросы требуют бюджета, и при росте аудитории это быстро становится заметной статьёй расходов. Локальный вывод закрывает все эти проблемы сразу.

Отраслевые последствия

За это приходится платить памятью, батареей и размером модели, но современные компактные модели уже умеют работать достаточно аккуратно даже на потребительских устройствах. Какую модель выбратьДля мобильных устройств лучше всего подходят квантизированные модели небольшого размера. Сейчас разумно смотреть на несколько семейств: Gemma, Qwen и Phi.

У каждого варианта есть свои сильные стороны, и универсального ответа здесь нет. Gemma 3Gemma 3 — понятный и уже хорошо проверенный вариант. Для простых сценариев можно смотреть на две модели:МодельПараметрыРазмер файлаДля когоGemma 3 270M270 млн~400 MBБыстрые задачи, слабые устройстваGemma 3 1B1 млрд~1.

2 GBБаланс качества и скоростиЭти модели работают через LiteRT в формате . task, поэтому их удобно использовать в Android-приложениях. Gemma 4Gemma 4 — более свежее поколение, ориентированное в том числе на edge-сценарии.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.