
VSA, которого не было: первый reasoner на 16 КБ без LLM
Fakeonomics 4 минуты назад VSA, которого не было: первый reasoner на 16 КБ без LLM Средний 4 мин 104 Искусственный интеллект Программирование микроконтроллеров * Кейс Первый обучаемый нейронный reasoner поверх...
Anthropic — What company has the best second artificial intelligence model at the end of June?
Вот важная новость с фронта ИИ: Fakeonomics 4 минуты назад VSA, которого не было: первый reasoner на 16 КБ без LLM Средний 4 мин 104 Искусственный интеллект Программирование микроконтроллеров * Кейс Первый обучаемый нейронный reasoner поверх Vector-Symbolic Architecture. 90% exact multi-hop QA в среднем (100% на 1-2 hop, 70% на 3-hop). 16 КБ тернарный резонатор.
Всё на CPU, ни одного GPU. Вступление: как VSA меня разочаровалVSA (Vector-Symbolic Architecture) существует с 1988 года. Идея красивая: кодируем факты векторами, связываем (bind) и складываем (bundle).
Технические детали
Никакого обучения, никакого backprop. Просто линейная алгебра. Я долго на это смотрел и думал: вот же идеальный движок для reasoning на микроконтроллере.
1024 числа - и у тебя база знаний. Но когда собрал бенчмарк, меня ждал холодный душ. При 96 фактах VSA отвечает правильно на 30% многошаговых вопросов.
Одношаговые - 90%, норм. Причина - шум суперпозиции: каждый новый факт зашумляет все предыдущие. Я перепроверил на размерностях 1024, 2048, 4096, 8192.
Отраслевые последствия
Результат одинаковый. Потому что шум не зависит от D - он растёт с количеством фактов, а не с размерностью. Все существующие решения - алгоритмические.
Kanerva 1988, Plate 2003, Frady 2021. Никто не пробовал просто взять и научить VSA убирать шум. Ну я и решил попробовать.
Проблема: шум, который не лечится размерностьюМатематика простая. Когда делаем bundle из N фактов, unbind возвращает сумму целевого сигнала и шума от остальных N-1 фактов. При N > 12 шум перебивает сигнал.
Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.





