Я хотел повторить Growing Neural CA за вечер. Ушёл месяц
Nasfermax 12 минут назад Я хотел повторить Growing Neural CA за вечер. Ушёл месяц Средний 12 мин 498 Машинное обучение * Искусственный интеллект Алгоритмы * Open source * Кейс Из песочницы 22 эксперимента, 9 потолков,...
Вот важная новость с фронта ИИ: Nasfermax 12 минут назад Я хотел повторить Growing Neural CA за вечер. Ушёл месяц Средний 12 мин 498 Машинное обучение * Искусственный интеллект Алгоритмы * Open source * Кейс Из песочницы 22 эксперимента, 9 потолков, один champion и неприятная правда про дисциплину экспериментаМесяц назад я прочитал на Хабре статью про нейронные клеточные автоматы. Маленькие нейросети управляют клетками на сетке, клетки сами собираются в букву T или крест, и всё это обучается без учителя через что-то вроде эволюции.
Я подумал: круто, повторю за пару вечеров, посмотрю как себя ведёт. Эта статья — про то, что было дальше. Спойлер: пара вечеров превратилась в месяц, я провёл 22 эксперимента, упёрся в потолок IoU 0.
Технические детали
44 на простой букве T, и главное чему научился — это вообще не про нейросети. Disclosure сразу: эксперименты я ставил в связке с Claude Code (это первый мой серьёзный опыт работы с AI-агентом, тут отдельная история). Осторожно, иллюстрация мигает!
Champion на seed 4: 5 065 параметров, 250 шагов симуляции, рост из горстки случайных стволовых клетокChampion на seed 4: 5 065 параметров, 250 шагов симуляции, рост из горстки случайных стволовых клетокЭто финальная модель. 5 065 параметров, 250 шагов симуляции, на старте — горстка случайных «стволовых» клеток в центре поля. Никаких градиентов, никакого обучения с учителем.
Только локальные правила и эволюционный отбор. С чего начиналБазовая идея NCA в моей версии: 15×15 сетка, на ней клетки. Клетка может быть пустой, стволовой (S), типа A или типа B.
Отраслевые последствия
Каждый шаг каждая живая клетка смотрит на 8 соседей по Муру, на свои координаты (y, x) и принимает решение: остаться, дифференцироваться в A, дифференцироваться в B, поделиться, умереть. Решение принимает крошечная нейросеть — у меня она называется LittleLM. Архитектура у LittleLM смешная по меркам современного ML.
Один блок multi-head attention, один линейный head, плюс embedding для типа клетки и для номера соседа. Итого 5 065 параметров. Это в 25 000 раз меньше GPT-2 small.
Но именно эти 5 тысяч чисел и обучаются генетическим алгоритмом, чтобы вся сетка из одной случайной точки выросла в букву T. Цель — IoU (пересечение/объединение) построенной формы с целевой буквой. 0 — ничего не совпало, 1.
Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.
