Qwen и локальные нейронки на Mac mini. Зачем и почему?

Значимый прорыв формирует отрасль ИИ: ArturGukasov 1 час назад Краткое содержание статьи Qwen и локальные нейронки на Mac mini. 8K Искусственный интеллект Компьютерное железо macOS * Кейс Зачем мне вообще локальная нейронка? Значит, есть какие-то задачи, когда в мои проекты или куда-то нужно получать от различных нейронок API-ключ, в некоторых ситуациях он стоит каких-то денег за запрос.

В некоторых ситуациях, допустим, если подключать API Клода или ChatGPT, например, для изготовления презентаций или PDF-файлов, это может доходить до 3$ за файл, или если 10 запросов, это может стоить и 1$. Чтобы это всё делать бесплатно, и нужна локальная нейронка. Потому что API-ключ ты можешь выдавать себе сам, получается, и не нужно использовать какие-то сторонние облачные серверы для этого.

Технические детали

В чём фишка именно Mac mini? У видеокарты, например, RTX, у неё своя память, 12 гигов. И, по идее, модель должна влезть в эту память.

У Mac с ARM-ным процессором память общая, и под модель уходит почти вся оперативка. Почти, потому что на моём 16-гиговом Mac mini видеоядру доступно около 10,7 гигабайт, остальное забирает система. Это даже меньше, чем 12 гигов у RTX.

Модель на 14 миллиардов параметров занимает около 9 гигабайт, то есть влезает целиком. 32 миллиарда уже не влезает, потому что под это нужно около 20 гигабайт. Так что на 16 гигах фишка с общей памятью почти не работает, смысл она имеет на маках от 32 гигов.

Отраслевые последствия

Скорость на моём маке около 11 токенов в секунду на модели 14B, по чужим тестам б/у RTX 3060 на такой же модели примерно вдвое быстрее. В чём ещё преимущество Mac mini? Ollama там работает из коробки, ставится одной командой, и видеоядро Mac задействует сама.

Никакие драйверы ставить не нужно. Естественно, он маленький, тихий, около 4 Вт в простое, до 65 Вт, конечно, может под нагрузкой. И этот Mac можно как сервер ещё использовать, в нём хранить всякие данные.

Ну и мне он достался почти даром, поэтому я и не выбирал, что я именно буду Mac использовать. Откуда у меня Mac miniМак мне принёс партнёр полгода назад, поделился, сказал, что сейчас такой использует под Claude. Я сначала не совсем понял, зачем именно Мак мне под Claude, когда есть какой-нибудь VPS, например.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.