Т9 за сотню долларов, ассистент за миллиард: сколько на самом деле стоит обучить LLM с нуля

Значимый прорыв формирует отрасль ИИ: «Лучший ChatGPT за $100», «китайцы обучили GPT-4 за шесть миллионов», «модель с нуля на одной игровой карте за вечер» — за последний год такие заголовки идут потоком. Почти все цифры в них честные.

Беда в том, что они про разные вещи. За словами «обучить LLM» прячется лестница в семь порядков: от десятков долларов на карте под столом до миллиарда на фронтире.

Технические детали

На каждой ступени за деньги покупают разное, и перепутать ступени дорого. Я работаю CTO ML-команды.

Расчет «взять открытые веса / дообучить / обучить с нуля» мы проделываем регулярно, и почти всегда он заканчивается не там, где ждет заказчик. Ниже — вся лестница с числами и первоисточниками: что реально обучить на RTX 5090, где начинается аренда кластера, из чего складывается смета фронтир-модели и почему «модель за $6 млн» и «компания с инфраструктурой на миллиард» — правда одновременно.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.