Сутки из жизни G3A1SF: как я учу агента без backprop — днём он живёт, ночью учится

Вот важная новость с фронта ИИ: burlakovmb 45 минут назад Объяснить с Сутки из жизни G3A1SF: как я учу агента без backprop — днём он живёт, ночью учится 12 мин 802 Python * Искусственный интеллект Машинное обучение * Обзор Из песочницы Колония шиншилл: у каждого агента своя память, общая клеткаКолония из демо NOWA. Каждый зверёк — отдельный экземпляр одного и того же когнитивного ядра со своей памятью. Подписи вроде G0A5SF расшифровываются как поколение, номер в поколении и пол.

Меня зовут Михаил Бурлаков. Эта статья о проекте, который начался с вопроса, а не с технологии. Что происходит с агентом, который не решает одну задачу, а живёт — долго, в мире, который всё время меняется?

Технические детали

Что он запомнит, а что забудет? Как у него будут конкурировать память, настроение и привычка? И можно ли потом, глядя на его поступок, понять, почему он поступил именно так?

Современный ответ по умолчанию звучит так: возьми большую модель, задай функцию потерь и учи градиентом. Для распознавания и генерации текста это работает блестяще. Но у меня был другой предмет — существо, которое учится последовательно, по одному эпизоду.

Именно в таком режиме глобальный градиент склонен к катастрофическому забыванию: новое обновление затирает старое. Мне хотелось собрать агента иначе, на тех механизмах, которыми с этой проблемой справляется животное. Днём оно записывает опыт быстро и «начерно», а переписывает долговременную память ночью, во сне.

Отраслевые последствия

Получилась NOWA-Cognitive — когнитивная архитектура без обратного распространения ошибки, без глобальной функции потерь и без языковой модели в контуре решений. Код лежит на GitHub: github. com/burlakovmb/NOWA-Bio-Inspired-AI.

Это около 125 тысяч строк Python вместе с тестами и демо. Само ядро в src/ обходится стандартной библиотекой. Рассказывать устройство списком модулей скучно, поэтому я проведу вас через одни сутки одного конкретного агента и буду объяснять каждый механизм в тот момент, когда он ей понадобится.

Знакомьтесь: G3A1SFНашу героиню зовут G3A1SF. Имя она не выбирала, его выдал генератор колонии по шаблону : третье поколение, первая в нём, самка. Она родилась в коротком прогоне колонии с зерном генератора 11, о котором я ещё расскажу.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.