Разбираемся в ML без воды: от базы до Attention. Часть 1

В сфере искусственного интеллекта произошло заметное событие. ysrgsyn 35 минут назад Разбираемся в ML без воды: от базы до Attention. Часть 1 Простой 7 мин 2K Математика * Машинное обучение * Туториал Из песочницы Сколько статей на хабре про машинное обучение? Обозначим их количество за и напишем -ю.

Это попытка собрать цельное понимание: пройти путь от «что это вообще такое» до условных трансформеров и связать всё в одну логичную цепочку. Попробую всё описать максимально простым языком, минимально опираясь на математическую терминологию. Как говорится, буду разбирать так, как сам это вижу и понимаю — без лишней теории, но и без магии.

Технические детали

Возможно, важноСкорее всего, серия в первую очередь подойдёт тем, кто хочет сделать первые шаги в ML, но если среди читателей окажутся люди, которые хорошо разбираются в теме — буду только рад замечаниям и исправлениям в комментариях. Введение Итак, что такое машинное обучение? Если коротко, это способ строить алгоритмы, которые по данным находят закономерности и используют их, чтобы делать предсказания для новых данных.

На практике данные обычно устроены так: есть признаки (features) — то, что описывает объект, и целевая переменная (target) — то, что мы хотим предсказать. Классический пример — задача, в которой мы предсказываем цены квартир. В таком случае features — это площадь, этаж, количество комнат, а target — цена.

Цель — построить на имеющихся данных модель. Забегая вперёд, стоит отметить, что целевая переменная не обязательно одна — бывают задачи с несколькими target‑ами. Но пока будем рассматривать случай с одной целевой переменной.

Отраслевые последствия

Дальше удобно перейти к формальному описанию: как эти данные и предсказания записываются в виде обозначений. Обозначим пространство признаков через , а каждый объект из этого пространства — вектором признаков вида , где — это ‑й признак (например, площадь, этаж и так далее). Также обозначим пространство таргетов за , а его элементы — .

Тогда задача машинного обучения сводится к поиску отображения , которое по признакам объекта предсказывает соответствующий таргет. То, насколько «ошибается» при переводе в , называется потерей (loss). Ясное дело, что степень «ошибки» можно измерять по‑разному (модуль разности, квадрат разности и так далее).

Функция, которая считает loss, называется функцией потерь (Loss Function) и обозначается (как ни странно) буквой . Выбор функции потерь — это критически важный этап, который напрямую зависит от типа решаемой задачи и особенностей данных. Итак, задача машинного обучения формулируется как поиск функции из некоторого класса функций , минимизирующей ошибку на данных:Чуть подробнее о классе функций Это набор всех возможных моделей конкретного типа.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.