MTPLX против oMLX: одна модель, два сервера, разница в 3–6 раз

Значимый прорыв формирует отрасль ИИ: Первая — «Локальный агент для кода на Mac: MTPLX + pi + Qwen3. В первой части я посадил кодового агента pi на локальную Qwen3. 8-27B через MTPLX и прогнал сложную задачу в разных режимах размышлений.

Осталось сомнение, которое MTPLX сам не снимает: сколько тут даёт его многотокенное предсказание (multi-token prediction, MTP), а сколько сработало бы на любой MLX-обвязке? Толчком стал разговор с ChatGPT. Я спросил, какой MLX-сервер поставить на MacBook Pro с M4 Max, и получил уверенный ответ: oMLX быстрее и качественнее остальных на таком железе.

Технические детали

Звучало правдоподобно, проверить было интересно вдвойне. Я поставил oMLX, взял ту же модель и ту же задачу и повторил все те же режимы. Заодно отвечаю на вопросы из комментариев к первой части — про режим по умолчанию, шум вентиляторов и память.

Итог короткий: совет не подтвердился. В моих прогонах MTPLX заканчивал задачу в 2,8–6,4 раза быстрее, а по скрытым тестам связки сравнялись. Оговорки тоже короткие: сборки модели разные, а каждый режим на oMLX я запускал по одному разу.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.