4.6-битные сети: от теории к практике. Причём здесь HardTanh?

Вот важная новость с фронта ИИ: Уже прошло два года с тех пор, как мы предложили схему 4. 6-битного квантования и рассказали про нее, в том числе и на Хабре: раз и два.

6-битном квантовании веса и входы слоя принимают такие целые значения, что их попарные произведения помещаются в знаковый 8-битный тип данных. Такая схема позволила нам вычислять нейронные сети на процессорах мобильных устройств быстрее, чем в 8-битном формате, и точнее, чем в 4-битном, потому что уровней квантования больше.

Технические детали

За прошедшее время у нас появился опыт практического применения таких сетей, и оказалось, что для реального использования важны не только схема квантования и алгоритм умножения. Не меньше вопросов возникает по поводу того, как устроены активации, как хранить карты признаков между слоями, как обрабатывать ветвления и как именно обучается квантованная сеть.

Сегодня в статье как раз поговорим про это.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.