Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум

В сфере искусственного интеллекта произошло заметное событие. GoldenGekko 4 минуты назад Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум Простой 13 мин 23 Искусственный интеллект Машинное обучение * Python * Natural Language Processing * Туториал Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K.

И в прошлом году я решил серьёзно подойти к этому вопросу - поискал в интернете с чего начать. Интернет подсказал, что единственный путь начать - почитать Ересь Хоруса. Дальнейший поиск показал, что на момент поиска цикл содержит 56 романов, 24 повести и ещё всякое-разное, написанное более чем 19 различными авторами.

Технические детали

Столько читать у меня времени не было, поэтому было принято единственное правильное решение - обучу-ка я LLM на лоре Warhammer40K и пусть она меня просвещает! И чтобы было интереснее, код этой LLM я решил написать сам, на голом pytorch (ну почти). Данная статья - первая в цикле статей по созданию и обучению GPT-like LLM с нуля.

В них я постараюсь (в очередной раз) рассказать, как работают Decoder-only модели, как обучить небольшую LLM, сколько это заняло у меня времени. Статьи будут разбиты по логическим разделам и цикл будет примерно следующего содержания:Подготовка и токенизация данных (вы находитесь здесь)ТрансформерСборка и обучение LLMSFT этап (дообучение на Вопрос-Ответ)Интеграция с Hugging FaceСодержание может меняться и дополняться ссылками по мере написанияЕсли кому-то просто интересно, что получилось, и неохота ждать до конца, то результат под спойлеромСпойлер с результатомПолучилось - опыт в обучении модели с нуля. Не получилось - справочника по вселенной.

Модель вышла около 164М параметров, при этом датасет был всего 72М токенов и 2. Законы масштабирования не обманешь, получилось не очень - текст генерит, иногда даже связанный, instruct версия даже на вопросы иногда правильно отвечает. Но в целом - это не модель, которая живёт в мире Империума и Варпа.

Отраслевые последствия

Но я не собираюсь сдаваться и прорабатываю варианты 😀Код обучения тутБазовая модель тутInstruct версия тутНу а кому интересно, как написать и обучить модель с нуля - продолжим. И первое, что нам надо - данные. Сырые данныеДанные для LLM - это текст.

Если кто-то внезапно решил читать эту статью не понимая, как работают LLM, то грубо поясню - LLM тупо предсказывают вероятность следующего токена (читай буквы или слова) к уже имеющейся последовательности. И основная (и самая трудоёмкая) задача первого этапа обучения (pre-training) - это научить модель верно предсказывать эти токены, для чего и требуются огромные наборы различных текстов. Согласно закону масштабирования (известному также, как Закон масштабирования Шиншиллы) часто приводят ориентир около 20 токенов текста на один параметр модели.

Текст может быть любой, но главное помнить - на чём научишь LLM, так она и будет общаться. Условно, наберёшь датасет с форумов пацанских цитат - модель будет общаться, как Джейсон Стэйтем. Данные берут из разных источников.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.