habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16

В сфере искусственного интеллекта произошло заметное событие. Shannon 6 минут назад habrGPT. 5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16 17 мин 103 Искусственный интеллект Машинное обучение * Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT".

В оригинале правда обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов. Этапы обучения LLM с нуляКлассические этапы обучения LLM:pretrain - это base модель.

Технические детали

Дают неразмеченный сырой текст, модель учится продолжать. SFT - это instruct модель. Дают качественный, размеченный датасет.

RL, DPO - выравнивание модели, датасет с парами хороший-плохой ответ. Обучение с нуля начинается со случайных параметров, на вход необученной модели подается неразмеченный текст и модель шаг за шагом пытается предсказать следующие токены на основе предыдущего контекста. Вначале модель осваивает простые паттерны, такие как орфография и пунктуация, после начинается выявление более сложных связей, где происходит аппроксимация не только коротких связей, но и полных документов, например, идея которая озвучена в 1 главе получается развитие в 3 главе, и такие длинные связи тоже начинают выявляться.

Цель настроить параметры так, чтобы модель могла уверенно продолжать текст, где начало, середина и конце связаны друг с другом. Упрощенно можно на это посмотреть так, из случайного распределения параметров начинают проявляться структуры, эти структуры означает что паттерны найдены и знание усвоено:Анимация упрощенного процесса подбора параметров моделиАнимация (webp) процесса подбора параметров моделиМодель работает с токенами. Слова, перед тем как попадут в модель, разбиваются на токены, токены в свою очередь преобразуются в вектора, эти вектора можно назвать как "вектора сути".

Отраслевые последствия

Такие вектора тоже обучаются, и после обучения начинают передавать смысл слова. То, что имеет похожие смыслы или близкие сущности - они начинают располагаться всё ближе и ближе друг к другу в многомерном пространстве, формируя кластер семантической близости. Чем лучше обучена нейросеть, тем точнее будет их расположение в таком многомерном пространстве с огромной размерностью (размерность от 512 до 8192 и более).

Это называют эмбеддингами. ЭмбеддингиЭмбеддинги несут суть слова в многомерном пространстве, а не само слово, и так как это вектор, с векторами можно проводить работать через геометрию пространства. Например, есть Вектора "Король", "Мужчина", "Женщина".

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.