Runtime‑память для локальной LLM: слепки, паттерны и эффект Memento

В сфере искусственного интеллекта произошло заметное событие. iiibax только что Runtime‑память для локальной LLM: слепки, паттерны и эффект Memento Средний 4 мин 0 Искусственный интеллект Open source * Кейс Из песочницы Я пишу локальный runtime JIN для диагностики поведения LLM, а также как эксперимент по имплементации долговременной памяти. Изначально проект задумывался как альтернатива тому, что уже существует в большом количестве и постоянно обсуждается: RAG, пересылке всей пачки сообщений туда‑сюда и так далееПоэтому первый MVP был простым: строка ввода, чистый чат с WebSocket‑стримингом и локальная модель. Сейчас JIN выглядит так:L1: память как состояние текущего разговораЧтобы модель не забывала разговор, я дал ей первый слой памяти.

После каждого ответа происходило сжатие текущего «вопрос — ответ» в смысловую запись. Что‑то вроде записок и полароидных снимков Леонарда из фильма Memento, только теперь записки генерирует LLM для следующего шага. Так в JIN появился L1 memory summarizer.

Технические детали

Этот слой получает контекст и возвращает обновлённый блок памяти. И это уже давало осмысленное продолжение диалога на некоторое время. Лог чата всё ещё нигде не сохранялся.

User message ↓ Brain / Service model ↓ Assistant response ↓ L1 memory summarizer ↓ Runtime memory update ↓ Next promptПример L1-памяти:session status: Session started on 2026-06-08 at 18:03 UTC (trace: 0. 50) user_request: User asked JIN to draw a house ("привет, нарисуй домик . 50) active topics: ASCII art generation (House drawing).

50) last_jin_response: Provided an ASCII representation of a small house and greeted the user. 50)L1 это самый шумный слой и на данный момент ещё нет чёткой структуры для хранения в нём данных. Помимо того, что сам JIN может создавать свои собственные поля для хранения, пользователь может репликами заставить стереть текущий L1 стейт почти полностью.

Отраслевые последствия

Правила жёстко не устанавливают формат сохранения, только примерный шаблон, и отдельного функционала очистки памяти не предусмотрено. Панель справа не только показывает текущие заметки, но и разницу с прошлым состоянием. Отдельным цветом подсвечиваются изменённые заголовки, это полезно для наблюдений как JIN структурирует и переиспользует ключи.

Проблема: факты, извлечённые L1, не описывают поведениеДопустим, пользователь пишет:Привет Привет ПриветМожно сохранить:last_user_message: Привет user_fact: User initiated conversation current_concern: Establishing initial topicИ такая реакция будет на каждый новый «Привет», а большего из L1 не выжать. Так появился L2 memory summarizerЕго логика чуть отличается от первого слоя, но суть примерно та же — выжать максимум из нескольких слепков L1, но не делать далеко идущих выводов.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.