Как методичка из 1990-х объясняет устройство современных нейросетей

Вот важная новость с фронта ИИ: inkedsymon 13 минут назад Как методичка из 1990-х объясняет устройство современных нейросетей Средний 8 мин 358 Блог компании Selectel Машинное обучение * Искусственный интеллект Математика * Научно-популярное Мнение Разбирал старые методички по линейной алгебре (да, у меня правда есть такая привычка, не спрашивайте) и наткнулся на отрывок про химию. Автор пишет: «Молекула воды — это вектор (2, 0, 1). Молекула метана — вектор (4, 1, 0)».

И дальше без смущения переходит к линейной зависимости векторов, как будто написанное выше — самая естественная вещь на свете. Сначала я подумал, что это методическая вольность ради упражнения. Потом посидел с этим с полчаса и понял, что автор-то прав, а заодно и случайно объяснил, почему вообще из любой предметной области можно слепить нейросеть.

Технические детали

Просто в 1990-х это называлось линейной алгеброй, а не representation learning. Химия для тех, кто не любит химиюИдея простая. Берем набор из n атомов (водород, углерод, кислород, и т.

Каждому атому сопоставляем вектор, у которого на своем месте единица, а на остальных — нули:b1 = (1, 0, ... , 0) — водород,b2 = (0, 1, ... , 0) — углерод,b3 = (0, 0, 1, ...

Если этот набор координат вам знаком, поздравляю, вы только что вспомнили one-hot encoding. Тот самый, которым кодируют категориальные признаки перед тем, как отправить их в модель. Автор методички 1990-х годов, конечно, не использовал этот термин, но по факту описал именно его, только вместо токенов взял атомы.

Отраслевые последствия

Молекула — это просто линейная комбинация этих базисных векторов с целыми неотрицательными коэффициентами. Сколько атомов каждого сорта содержится в веществе, столько векторов и берем. Вот вектор молекулы воды в базисе (H, C, O): H2O = 2·b1 + 0·b2 + 1·b3 = (2, 0, 1).

А вот вектор молекулы углекислого газа: CO2 = 0·b1 + 1·b2 + 2·b3 = (0, 1, 2). Вектор молекулы — координаты в базисе атомов. Формально это называется «bag of atoms» (по аналогии с «bag of words»).

Порядок атомов теряется, и остается только их количество. Собственно, брутто-формула в химии — это и есть такой «bag» с самого начала, структурную формулу с этой информацией не спутаешь, но об этом чуть ниже. Молекула воды предсказывает саму себяВот тут я решил не верить на слово и все перепроверить.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.