А все-таки Qwen3.8-27B — думает меньше и быстрее чем 3.6

В сфере искусственного интеллекта произошло заметное событие. rtrgdfb 8 минут назад А все-таки Qwen3. 8-27B — думает меньше и быстрее чем 3. 6 Простой 3 мин 44 Искусственный интеллект Мнение В пятницу вышла Qwen3.

Скажу честно, с середины мая я отказался от подписок и сидел исключительно на локальной Qwen3. 6 (для всех своих домашних проектов), у меня даже статья была на эту тему. Поэтому мне было очень интересно увидеть на что способна новая Qwen3.

Технические детали

Тут на Хабре было несколько статей о том, что 3. 8 слишком долго думает и что у 3. 8 слишком много галлюцинаций (что как мне кажется не совсем корректно), поэтому я решил поделиться настройками, которые работают (у меня), надеюсь они будут кому-нибудь полезны.

8-27B превзошла мои самые смелые ожидания, и уж что-что а задумчивой она не кажется. ЗагрузкаТак получилось, что я не использую GGUF файлы от Unsloth. Как-то давно я попробовал их GGUF и качество мне очень не понравилось, не знаю уж как они его готовят, но почему-то качество работы той старой модели было не очень (много галлюцинаций и повторов), поэтому я обычно конвертирую gguf самостоятельно (прошу не ругаться и тапками не кидаться).

Сообщение о том что модель доступна для скачивания пришло минут на 40 раньше чем я ожидал, ну окей, создал новую папку и загрузил веса. hf download Qwen/Qwen3. 6-27B --repo-type model --local-dir .

Отраслевые последствия

8-27B_official_sources_from_QwenДалее создал gguf файл:pipenv run python convert_hf_to_gguf. 8-27B_official_sources_from_Qwen/ --outfile ~/models1/Qwen3. 8-27B/my_conversions/Qwen3.

guff --outtype f16Насколько я понимаю данная операция просто переупаковывает тензоры в один файл формата GGUF с точностью F16, GPU на этом этапе не используется и скорость зависит только от CPU и диска. В моем случае это заняло примерно 14 минут. Я запускаю модель на старенькой 4090, поэтому следующим шагом идет квантование.

Использую Q4_K_M, поэтому следующей командой, которую я запустил была:llama-quantize Qwen3. gguf Q4_K_Mтут пришлось еще минут 5 подождать. ЗапускИ вот модель готова к запуску!

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.