Терминал, которого нет: я научил модель на 360M параметров изображать bash, vim и tmux

В сфере искусственного интеллекта произошло заметное событие. opium 5 часов назад Краткое содержание статьи Терминал, которого нет: я научил модель на 360M параметров изображать bash, vim и tmux 11 мин 4. 5K Машинное обучение * Искусственный интеллект Перевод Автор оригинала: Simon Edwardsson Коротко: я дообучил языковую модель на 360 млн параметров работать терминалом. Никакого шелла и файловой системы за ней нет: на вход идёт каждое нажатие клавиши, а модель предсказывает, как изменится экран.

Она умеет создавать файлы, запускать vim и tmux, играть в змейку и обычно помнит, что вы написали несколько команд назад. Больше всего дали два приёма: научить модель исправлять собственные ошибки и декодировать строки экрана параллельно. Попробуйте в браузере (208 МБ) и наберите pythoon, чтобы убедиться, что это не настоящий шелл.

Технические детали

Демо рассчитано на десктопный браузер с WebGPU и физическую клавиатуру. Лучше всего открывать в Chrome или Edge. На современном телефоне оно тоже должно работать, но мучительно медленно.

Каждый кадр предсказывает модель на 360M параметров прямо в браузере. Кадр из видео автораКогда в прошлом году я увидел Genie 3, я начал представлять будущее, в котором приложения не пишут кодом, а обучают. Вместо игрового движка, который рисует сцену, модель предсказывает самый вероятный следующий кадр по действиям пользователя.

Разумеется, мне захотелось обучить собственную модель мира. Но у меня нет ни огромного GPU-кластера, ни горы видео, так что амбиции пришлось урезать: вместо игрового мира — терминал. Терминал оказался удачным выбором.

Отраслевые последствия

Это просто сетка символов вместо пикселей, и идеально размеченных обучающих данных можно нагенерировать сколько угодно, запуская настоящие шеллы. К тому же предобученная языковая модель уже неплохо представляет, что должны печатать ls или cat. Больше всего мне хотелось понять, сможет ли модель поддерживать согласованный мир или будет просто генерировать правдоподобный вывод терминала.

Итоговая модель основана на Qwen2. 5B и дообучена на сессиях терминала, записанных с настоящих программ внутри Docker. Как модель видит терминалОбычная LLM получает промпт и дописывает в конец токены, по одному.

На терминал это ложится плохо. Одно нажатие клавиши может само по себе что-то сделать, как esc в vim, а вывод не всегда появляется внизу: clear стирает экран и отправляет курсор наверх. Поэтому вместо потока текста нужно предсказывать изменения экрана.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.