У любого ускорителя Python есть число: во сколько раз он быстрее. Меряют его на ядрах - сортировка, обход дерева, арифметика в цикле. Сервис устроен не так: обработчик ходит в базу, считает в numpy, сериализует ответ, и...

Вот важная новость с фронта ИИ: У любого ускорителя Python есть число: во сколько раз он быстрее. Меряют его на ядрах - сортировка, обход дерева, арифметика в цикле. Сервис устроен не так: обработчик ходит в базу, считает в numpy, сериализует ответ, и байткода, к которому это число применимо, в нём может почти не остаться.

CinderX ускоряет байткод, и за пределы байткода это число не распространяется. Доля байткода в вашем сервисе - свойство вашего кода, а не расширения, и пока она не посчитана, «ставить или нет» решается угадыванием. Что такое CinderXCinderX - расширение к CPython: бинарный пакет, который ставится в существующий интерпретатор.

Технические детали

Он подменяет собой frame evaluator (функцию, которую CPython зовёт на исполнение каждого кадра), и дальше исполнение идёт через него. Внутри:JIT - компилирует код-объект целиком в машинный код. Static Python - отдельный компилятор типизированного подмножества Python.

Порождает собственные опкоды, которые JIT опускает дальше в машинный код. Параллельный сборщик мусора - распараллеливает две фазы сборки, включается вызовом. Облегчённые фреймы - в скомпилированном кадре заполняется только то подмножество полей, которое нужно самому машинному коду.

Остальное достраивается, если рантайм запросит настоящий кадр. Работают вместе с JIT. Библиотечные примитивы - типизированные контейнеры и примитивные аналоги встроенных функций.