ИИ-ассистент с долговременной памятью, агентами и vision. Проблемы с Персональными Данными

Вот важная новость с фронта ИИ: Zazza 1 час назад ИИ-ассистент с долговременной памятью, агентами и vision. Проблемы с Персональными Данными Простой 9 мин 2. 7K Машинное обучение * Искусственный интеллект Разработка мобильных приложений * Оглавление:ИсторияПамять: факты, embeddings и забываниеРазные модели под разные задачиTool callingПланировщик и proactiveАгенты и мультиагентский пайплайнVision, который знает контекстПерсональные данные и GigaChatЧто делать дальшеИсторияИзначально ничего общего с ассистентом не было.

Мы с женой делали текстовую браузерную игру: выборы, немного тактики, бои. Она автор, я помогал адаптировать её тексты под формат игры и собирал бэкенд. Чтобы ей было удобно генерировать лор, я поднял отдельный репозиторий, прикрутил интеграцию с Claude и китайской GLM моделью, собрал админку игры на Symfony.

Технические детали

Контента она наделала много, и он был нужен и мне: характеристики персонажей, описания боёв. Запросы вроде «покажи бой Анвара с Медведем» или «какая воля у Кид» решались через локальную LLM (Ollama). Там же появилась первая связка, которая потом стала основой: Ollama на игровом ПК плюс Postgres с pgvector.

Эмбеддинги по лору игры — и простые запросы начинают работать быстро и бесплатно. Получился простенький RAG. Админка с Symfony + OllamaВторая проблема выросла из иллюстраций.

Для игры их нужно было много. Сначала генерация промптов для Stable Diffusion жила в админке, потом я вынес это в отдельное приложение — я уже писал про него ( Но главное не это. Главное, что пока я всё это собирал, я постоянно и подолгу общался с ИИ.

Отраслевые последствия

И ловил себя на том, что раз за разом пишу одно и то же: "у меня RTX 4070 Ti Super, 16 ГБ VRAM, мне надо вот это ... И в какой-то момент пришёл к логичному: "Если ИИ и так всё это знает обо мне, почему я должен повторять? " Так родилась идея ассистента, который помнит тебя между разговорами, умеет работать с документами и реально что-то делает, а не просто отвечает на вопросы.

Что я хотел получить:память: ассистент сам вытаскивает факты из диалога и хранит их;ассистенты: чаты с готовым промптом, по сути агенты;база знаний: прикрепляешь ссылку или файл, и ИИ работает прямо в этом контексте;и конкретные мои «хотелки»: "прочитай статью и перескажи коротко", "найди салонный фильтр для моей машины" (именно моей), "найди простую чёрную майку на маркетпйлесах" (без допроса про рост и размер), "напомни в 15:00 о ... ", "какие у меня планы на завтра? Стек выбрал такой: бэкенд на Go, фронт на Vue 3 как PWA и Capacitor для сборки APK под Android, в базе PostgreSQL с расширением pgvector (потому что уже было), LLM через облачные провайдеры.

Общая архитектурная схемаПамять: факты, embeddings и забываниеПамять делится на две части, и это важно их не смешивать. Первая часть — это векторный поиск по контексту. Когда приходит сообщение пользователя, я собираю промпт: системный шаблон, профиль, последние сообщения истории и релевантные куски из базы знаний через RAG.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.