VSA, которого не было: первый reasoner на 16 КБ без LLM

Вот важная новость с фронта ИИ: Fakeonomics 4 минуты назад VSA, которого не было: первый reasoner на 16 КБ без LLM Средний 4 мин 104 Искусственный интеллект Программирование микроконтроллеров * Кейс Первый обучаемый нейронный reasoner поверх Vector-Symbolic Architecture. 90% exact multi-hop QA в среднем (100% на 1-2 hop, 70% на 3-hop). 16 КБ тернарный резонатор.

Всё на CPU, ни одного GPU. Вступление: как VSA меня разочаровалVSA (Vector-Symbolic Architecture) существует с 1988 года. Идея красивая: кодируем факты векторами, связываем (bind) и складываем (bundle).

Технические детали

Никакого обучения, никакого backprop. Просто линейная алгебра. Я долго на это смотрел и думал: вот же идеальный движок для reasoning на микроконтроллере.

1024 числа - и у тебя база знаний. Но когда собрал бенчмарк, меня ждал холодный душ. При 96 фактах VSA отвечает правильно на 30% многошаговых вопросов.

Одношаговые - 90%, норм. Причина - шум суперпозиции: каждый новый факт зашумляет все предыдущие. Я перепроверил на размерностях 1024, 2048, 4096, 8192.

Отраслевые последствия

Результат одинаковый. Потому что шум не зависит от D - он растёт с количеством фактов, а не с размерностью. Все существующие решения - алгоритмические.

Kanerva 1988, Plate 2003, Frady 2021. Никто не пробовал просто взять и научить VSA убирать шум. Ну я и решил попробовать.

Проблема: шум, который не лечится размерностьюМатематика простая. Когда делаем bundle из N фактов, unbind возвращает сумму целевого сигнала и шума от остальных N-1 фактов. При N > 12 шум перебивает сигнал.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.